データ分析基盤 Digdagを使ってスケジューリングをしてみよう – データ分析入門シリーズ
データ分析基盤を作っていく上で、定期実行したい場面は数多くあります。これまで定期実行といえば cron を使っていました。データのロードも cron で実行することはできますが、ログを収集したり、複雑なタスク管理をcronで実現するのは少し...
gleaner
データ分析基盤 
データ分析基盤 Embulkで独自のログを解析するためにparserを開発する – データ分析入門シリーズ
独自に出力しているログを Embulk 経由で BigQuery に流すまでの作業記録です。目標下記の記事では MySQL の値を Embulk にロードできるようになりました。MySQL の値をロードするために embulk-input-...
データ分析基盤 Embulkを使ってMySQLのデータをBigQueryに流す手順 – データ分析入門シリーズ
Embulkを使ってMySQLのテーブルをBigQueryに流すまでの手順を書いています。環境を準備するMySQLが動いているサーバ（あるいはMySQLにアクセス可能なサーバ）にembulkをインストールしてコマンドを使えるようにしておきま...
physical 副鼻腔炎を自宅で治すおすすめの方法：馬油
長年苦しめられてきた副鼻腔炎を改善することに成功したので、副鼻腔炎・蓄膿症の症状に悩んでいて改善の可能性を増やしたい方に向けて、自分で治すのに良い薬を2つ紹介する。一つ目の チクナイン は広告も出ているし、知っている人も多いだろう。二つ目の...
blog Search Console が更新されないときに確認するコト
最近、突然Search Consoleの情報が更新されなくなった。ブログに不備があったのか心配になって調べたところわかったことがあったので Search Console が更新されなくて困っている方のために書いておく。Search Cons...
physical 低気圧に弱い人には五苓散がおすすめ！使ってみた感想とか
低気圧になると体調不良になる人って多いですよね。自分の場合は、頭痛・めまい・倦怠感・吐き気などの症状が出ます。他にも喘息・腰痛・肩こり・関節痛の症状がある話も聞きます。そんな人におすすめの漢方「五苓散（ごれいさん）」を紹介します。五苓散五苓...
データ分析基盤 GCPのBigQueryを試してみた – データ分析入門シリーズ
Google Cloud Platformも大して使ったことがなかったのに BigQuery を使ってみることになった。調べたり手を動かした結果を記録してます。BigQueryって何？大きなデータを扱うためには適切な物理サーバを用意してセッ...
dev CloudWatch Logsでログを管理する方法
クラウド時代になったのでログの管理もAWS上でやろう。CloudWatchは初めて触れるので公式ドキュメントを読みながら理解を深めていきます。CloudWatch Logs では何ができるの？CloudWatch Logsを使うとEC2イン...
physical 【体験談】新型コロナワクチン（モデルナ）を接種してきた【2回目】
新型コロナワクチン、一回目の接種から約1ヶ月。2回目の接種を済ませてきました。副反応も終わったので前回に続いてレポートを書きます。一回目の様子はこちら接種前日までに用意したもの友達に副反応の話を聞きながらビビってました。動けなくなって詰まな...
データ分析基盤 Embulkをインストールする手順 – データ分析入門シリーズ
準備編embulkにはJavaが必要です。今回用意していたサーバにはJavaを準備していなかったので下記の手順でJavaを使えるようにしました。インストール手順公式ページ（）のクイックスタートに従って進めていきます。まずは最新版のjarファ...