データ分析基盤

スポンサーリンク
データ分析基盤

Embulkを使った分析基盤のデータ型について – データ分析入門シリーズ

Embulkを使う上で型の不整合に関するエラーに遭遇することが多かったので情報を整理します。Embulkを使う上では、データソース、Embulk、BigQueryの3つの型を意識する必要があります。 この記事では、それぞれのスキーマで定義...
データ分析基盤

Digdagを使ってスケジューリングをしてみよう – データ分析入門シリーズ

データ分析基盤を作っていく上で、定期実行したい場面は数多くあります。これまで定期実行といえば cron を使っていました。データのロードも cron で実行することはできますが、ログを収集したり、複雑なタスク管理をcronで実現するのは少し...
データ分析基盤

Embulkで独自のログを解析するためにparserを開発する – データ分析入門シリーズ

独自に出力しているログを Embulk 経由で BigQuery に流すまでの作業記録です。 目標 下記の記事では MySQL の値を Embulk にロードできるようになりました。 MySQL の値をロードするために embul...
データ分析基盤

Embulkを使ってMySQLのデータをBigQueryに流す手順 – データ分析入門シリーズ

Embulkを使ってMySQLのテーブルをBigQueryに流すまでの手順を書いています。 環境を準備する MySQLが動いているサーバ(あるいはMySQLにアクセス可能なサーバ)にembulkをインストールしてコマンドを使えるようにし...
データ分析基盤

GCPのBigQueryを試してみた – データ分析入門シリーズ

Google Cloud Platformも大して使ったことがなかったのに BigQuery を使ってみることになった。調べたり手を動かした結果を記録してます。 BigQueryって何? 大きなデータを扱うためには適切な物理サーバを用意...
データ分析基盤

Embulkをインストールする手順 – データ分析入門シリーズ

準備編 embulkにはJavaが必要です。今回用意していたサーバにはJavaを準備していなかったので下記の手順でJavaを使えるようにしました。 インストール手順 公式ページ()のクイックスタートに従って進めていきます。 ...
タイトルとURLをコピーしました