[td-agent] td-agent 설치 및 테스트

td-agent 설치하는 예제이다. td-agent는 fluentd의 래퍼 프로그램이다. 

rpm은 다음 링크로 설치한다. 

http://docs.fluentd.org/articles/install-by-rpm

$ sudo usermod -a -G adm td-agent

$ sudo -E /usr/sbin/td-agent-gem install fluent-plugin-record-reformer -v 0.8.2

$ sudo -E /usr/sbin/td-agent-gem install fluent-plugin-grep -v 0.3.4

$ sudo -E /usr/sbin/td-agent-gem install fluent-plugin-fields-parser -v 0.1.1

설치가 제대로 되었는지 확인한다. 

$ td-agent --version

td-agent 0.12.12

설정 파일을 생성한다.

$ sudo vi /etc/td-agent/td-agent.conf

 <source>

    type tail

    path /tmp/test.log

    pos_file /var/run/td-agent/test.log.pos

    tag public.test-service1.raw

    format /^(?<time>\S+ \S+) - \[(?<level>\S+)\] (?<msg>.+)/

    time_format %Y-%m-%d %H:%M:%S,%L

  </source>

  <match public.test-service1.raw>

    type record_reformer

    enable_ruby false

    tag public.test-service1

    <record>

      hostname ${hostname}

      phase alpha

    </record>

  </match>

  <match public.test-service1>

    type stdout

  </match>
</source>

  

문법을 확인한다.

sudo td-agent -c /etc/td-agent/td-agent.conf

데몬 실행 후 /tmp/test.log 로그를 확인한다.

2017-08-18 19:39:39,000 - [WARN] time over

2017-08-18 19:39:39 +0900 public.test-service1: {"level":"WARN","msg":"time over","hostname":"aaaaa.google.com","phase":"alpha"}

잘 동작하면 td-agent가 계속 동작하도록 한다.

sudo /sbin/chkconfig td-agent on