【td-agent】td-agentをインストールしてみた【使ってみた】

どうも、Kです。
今回はtd-agentをインストールしようと思います。

＜やりたい事＞
td-agentでapacheのログを読んで、それをファイルに吐く

＜今回の環境＞

Amazon Linux AMI release 2015.03
（Apache/2.4.12をインストール済）

＜td-agentインストール＞
td-agentのインストールと、td-agentのconf用ディレクトリを作成します。

# curl -L https://td-toolbelt.herokuapp.com/sh/install-redhat-td-agent2.sh | sh
# chkconfig td-agent on
# mkdir -p /etc/td-agent/conf.d

＜fluent-pluginインストール＞
fluent-pluginをインストールします。

# td-agent-gem install fluent-plugin-record-reformer

上記のpluginがインストールされたか確認します。

# td-agent-gem list --local |grep fluent-plugin
  fluent-plugin-mongo (0.7.10)
  fluent-plugin-record-reformer (0.7.0)
  fluent-plugin-rewrite-tag-filter (1.4.1)
  fluent-plugin-s3 (0.5.9)
  fluent-plugin-scribe (0.10.14)
  fluent-plugin-td (0.10.27)
  fluent-plugin-td-monitoring (0.2.1)
  fluent-plugin-webhdfs (0.4.1)

fluent-plugin-record-reformerがインストールされてますね。

＜td-agentのconf設定＞

# vim /etc/td-agent/td-agent.conf
  include conf.d/*.conf

# vim /etc/td-agent/conf.d/test.conf
  <source>
    type tail
    format apache
    path /var/log/httpd/access_log
    pos_file /var/log/td-agent/access_log.pos
    tag apache.access.log
  </source>

  <match apache.access.**>
    type record_reformer
    output_tag reformed.${tag}
    time ${time}
  </match>

  <match reformed.apache.access.**>
    type file
    path /var/log/td-agent/access
  </match>

ここまで設定できれば、td-agentをstartさせましょう。

/etc/init.d/td-agent start

＜確認＞
設定が上手くいってるか確認しましょう。
localhostにアクセスして、apacheのログを生成します。

# curl http://localhost/
# tail -f /var/log/td-agent/access.20150822_0.log（access.20150822_0.logのファイル名は変動します。/var/log/td-agent/access.YYMMDD～というファイルをtailで確認して下さい）
 2015-08-22T22:18:23+09:00 reformed.apache.access.log {"host":"127.0.0.1","user":"-","method":"GET","path":"/","code":"301","size":"-","referer":"-","agent":"curl/7.40.0","time":"2015-08-22 22:18:23 +0900"}

上記のとおりログがはかれていれば成功です。