fluent에는 fluent-plugin-forest(https://github.com/tagomoris/fluent-plugin-forest)라는 플러그인이 있다.


fluent 설정에 자주 보이는 편한 플러그인으로.. 


의미는 패턴화, 또는 그룹핑을 가능케 하는 표현식으로 보면 좋을 것 같다. 







특정 태그 명으로 반복되는 경우


<match service.blog>
  @type file
  time_slice_format %Y%m%d%H
  compress gz
  path /var/log/blog.*.log
</match>
<match service.portal>
  @type file
  time_slice_format %Y%m%d%H
  compress gz
  path /var/log/portal.*.log
</match>



아래와 같이 forest와 template을 같이 사용해 패턴화할 수 있다. 


<match service.*>
  @type forest
  subtype file
  remove_prefix service
  <template>
    time_slice_format %Y%m%d%H
    compress gz
    path /var/log/${tag}.*.log
  </template>
</match>





아래와 같은 패턴으로 로그가 들어오면..


아래와 같이 패턴화할 수 있다. 


<match bar.id.*>

    @type copy 

    <store> 

         type forest 

         subtype file_alternative 

         <template> 

             path /var/tmp/${tag_parts[2]}/rawdata.csv

         </template>

    </store>

</match>



참조 : https://qiita.com/yococo/items/8fa81747310e0a61808e




'Cloud' 카테고리의 다른 글

[k8s] 쿠버네티스의 로그 수집 툴  (0) 2018.02.06
[k8s] postgresql 운영 - stateful (펌질)  (0) 2018.01.25
[fluentd]의 fluent-plugin-forest(forest)  (0) 2018.01.22
[fluentd] filter/record에 예약어 존재  (0) 2017.12.18
NIFI의 provenance 의 drop event  (0) 2017.12.12
NIFI 팁  (0) 2017.12.08
Posted by 김용환 '김용환'