CloudWatch Logsでログを管理する方法

クラウド時代になったのでログの管理もAWS上でやろう。CloudWatchは初めて触れるので公式ドキュメントを読みながら理解を深めていきます。

CloudWatch Logs では何ができるの？

CloudWatch Logsを使うとEC2インスタンスをはじめとするAWSリソースからログファイルをモニタリング、保存、アクセスできます。これまでサーバにssh接続してログファイルをgrepしていたときと比べて、次のようなメリットがあります：

CloudWatch Logsの機能の中でも特徴的なものをさらに詳しくみてみます。

CloudWatch Logsには Insights という機能があります。専用のクエリ言語でログデータをインタラクティブに検索・分析できる機能です。

直近の25件のログを検索する例：

fields @timestamp, @message | sort @timestamp desc | limit 25

1 時間あたりの例外の数のリストを取得する例：

filter @message like /Exception/ 
    | stats count(*) as exceptionCount by bin(1h)
    | sort exceptionCount desc

ログデータを使ってアプリケーションやシステムをモニタリングすることができます。

例えば、

といったことができる。これらのモニタリングがログだけで実現可能で、アプリケーションのコードに変更を加える必要がありません。

デフォルトではログを無制限に保持することができます。もちろん、ロググループごとに保持期間を設定することもできて、1日~10年の間で保持期間を選択できます。

収集したログは耐久性の高いストレージにアーカイブしておいて、あとで必要になったときに生データにアクセスすることも可能です。

CloudWatch Logsを使ってログ管理をはじめるには2つの選択肢があります。

CloudWatchエージェントの使用が推奨されていて、古いエージェントはサポートされているものの移行するよう促されています。この記事でもCloudWatchエージェントを使う方法について触れます。

ちなみに、古いエージェントから新しいエージェントに移行する場合、新しいエージェントパッケージに含まれているウィザードを使うと、同じログを収集できるようにしてくれます。

CloudWatchエージェントは、Amazon Linux 2のパッケージとして使うことができます。インストール方法は簡単で、次のコマンドを実行するだけです。

sudo yum install amazon-cloudwatch-agent

IAMロールに CloudWatchAgentServerPolicy が付与されている必要があることにだけ注意します。

yumがインストールしているパッケージは下記コマンドで一覧できるのでgrepして確認しておきます。

yum list installed

他に次の方法でもダウンロードすることができます。

CloudWatchエージェントを起動する前に、設定ファイルを作成する必要があります。設定ファイルは、収集するメトリクスとログを指定したJSON形式のファイルです。

設定ファイルの作成方法は、

などがあります。設定ファイルの変更を反映するには、エージェントを再起動する必要があります。

…続きは後日。