データ分析基盤 Embulkで独自のログを解析するためにparserを開発する – データ分析入門シリーズ
独自に出力しているログを Embulk 経由で BigQuery に流すまでの作業記録です。目標下記の記事では MySQL の値を Embulk にロードできるようになりました。MySQL の値をロードするために embulk-input-...
dev
データ分析基盤 データ分析基盤 Embulkを使ってMySQLのデータをBigQueryに流す手順 – データ分析入門シリーズ
Embulkを使ってMySQLのテーブルをBigQueryに流すまでの手順を書いています。環境を準備するMySQLが動いているサーバ（あるいはMySQLにアクセス可能なサーバ）にembulkをインストールしてコマンドを使えるようにしておきま...
blog Search Console が更新されないときに確認するコト
最近、突然Search Consoleの情報が更新されなくなった。ブログに不備があったのか心配になって調べたところわかったことがあったので Search Console が更新されなくて困っている方のために書いておく。Search Cons...
データ分析基盤 GCPのBigQueryを試してみた – データ分析入門シリーズ
Google Cloud Platformも大して使ったことがなかったのに BigQuery を使ってみることになった。調べたり手を動かした結果を記録してます。BigQueryって何？大きなデータを扱うためには適切な物理サーバを用意してセッ...
dev CloudWatch Logsでログを管理する方法
クラウド時代になったのでログの管理もAWS上でやろう。CloudWatchは初めて触れるので公式ドキュメントを読みながら理解を深めていきます。CloudWatch Logs では何ができるの？CloudWatch Logsを使うとEC2イン...
データ分析基盤 Embulkをインストールする手順 – データ分析入門シリーズ
準備編embulkにはJavaが必要です。今回用意していたサーバにはJavaを準備していなかったので下記の手順でJavaを使えるようにしました。インストール手順公式ページ（）のクイックスタートに従って進めていきます。まずは最新版のjarファ...
dev EC2インスタンスにJavaをインストールする手順
プレインストールのJavaが存在していると思ってたが存在していなかった。Amazon CorrettoディストリビューションとしてAmazon Correto 8を選びました。というのもEmbulkを使いたかったのですが、 Embulk v...
blog Apache の設定で noindex を指定する方法 – SEO対策
noindexとは？noindex（ノーインデックス）は、該当のページを検索結果に表示しないようにインデックスに登録しないでねーという設定です。単純に表示させたくないページに指定するほか、重複コンテンツ、質の低いページに設定してインデックス...
dev apple-touch-iconを設定しよう！アクセスログに大量の404エラーが出ていませんか？
アクセスログに「apple-touch-iconが見つからない」という404エラーが大量に出ているのに気づいた。apple-touch-iconって何？apple-touch-iconはWebクリップと呼ばれるアイコンのことだ。iPhone...
dev CPU数を確認する方法
コマンドラインでCPUの数を確認するためのコマンド。ちなみにプロセッサー数はこれで確認できる。