データ分析基盤 Embulkで独自のログを解析するためにparserを開発する – データ分析入門シリーズ
独自に出力しているログを Embulk 経由で BigQuery に流すまでの作業記録です。
目標
下記の記事では MySQL の値を Embulk にロードできるようになりました。
MySQL の値をロードするために embul...
データ分析基盤 データ分析基盤 Embulkを使ってMySQLのデータをBigQueryに流す手順 – データ分析入門シリーズ
Embulkを使ってMySQLのテーブルをBigQueryに流すまでの手順を書いています。
環境を準備する
MySQLが動いているサーバ（あるいはMySQLにアクセス可能なサーバ）にembulkをインストールしてコマンドを使えるようにし...
physical 副鼻腔炎を自宅で治すおすすめの方法：馬油
長年苦しめられてきた副鼻腔炎を改善することに成功したので、副鼻腔炎・蓄膿症の症状に悩んでいて改善の可能性を増やしたい方に向けて、自分で治すのに良い薬を2つ紹介する。一つ目の チクナイン は広告も出ているし、知っている人も多いだろう。二つ目の...
blog Search Console が更新されないときに確認するコト
最近、突然Search Consoleの情報が更新されなくなった。ブログに不備があったのか心配になって調べたところわかったことがあったので Search Console が更新されなくて困っている方のために書いておく。
Search Co...
physical 低気圧に弱い人には五苓散がおすすめ！使ってみた感想とか
低気圧になると体調不良になる人って多いですよね。自分の場合は、頭痛・めまい・倦怠感・吐き気などの症状が出ます。他にも喘息・腰痛・肩こり・関節痛の症状がある話も聞きます。そんな人におすすめの漢方「五苓散（ごれいさん）」を紹介します。
五苓散...
データ分析基盤 GCPのBigQueryを試してみた – データ分析入門シリーズ
Google Cloud Platformも大して使ったことがなかったのに BigQuery を使ってみることになった。調べたり手を動かした結果を記録してます。
BigQueryって何？
大きなデータを扱うためには適切な物理サーバを用意...
dev CloudWatch Logsでログを管理する方法
クラウド時代になったのでログの管理もAWS上でやろう。CloudWatchは初めて触れるので公式ドキュメントを読みながら理解を深めていきます。
CloudWatch Logs では何ができるの？
CloudWatch Logsを使う...
physical 【体験談】新型コロナワクチン（モデルナ）を接種してきた【2回目】
新型コロナワクチン、一回目の接種から約1ヶ月。2回目の接種を済ませてきました。副反応も終わったので前回に続いてレポートを書きます。
一回目の様子はこちら
接種前日までに用意したもの
友達に副反応の話を聞きながらビビってました。動け...
データ分析基盤 Embulkをインストールする手順 – データ分析入門シリーズ
準備編
embulkにはJavaが必要です。今回用意していたサーバにはJavaを準備していなかったので下記の手順でJavaを使えるようにしました。
インストール手順
公式ページ（）のクイックスタートに従って進めていきます。
...
dev EC2インスタンスにJavaをインストールする手順
プレインストールのJavaが存在していると思ってたが存在していなかった。
Amazon Corretto
ディストリビューションとしてAmazon Correto 8を選びました。というのもEmbulkを使いたかったのですが、
...