Apache NIFI

apache nifi는 (배치가 아닌) 실시간으로 data 처리와 분배 기능을 제공하는 툴이다. 

저용량 트래픽에서는 실제 사용할만한 녀석으로 보인다.

• 편리한 UI 기능 (Dataflow를 쉽게 개발할 수 있고, 시스템 간의 데이터 이동과 내용을 볼 수 있는 기능과 UI를 제공), 데이터의 input/output을 볼 수 있음
• 성공 / 실패 / 전송량 여부를 UI로 확인할 수 있다는 점
• 실시간 데이터 전송에(only) 필요한 유용한 기능을 제공
• 멀티테넌시(Multi-tenant)를 지원 - peter가 좋아할 듯
• 커보러스 인증(hdp)
• 독립형 JVM(얀과 붙을 필요 없음)
• HA를 위한 제로 마스터 클러스터링(https://ko.hortonworks.com/blog/apache-nifi-1-0-0-zero-master-clustering/)
• export/import 기능(https://community.hortonworks.com/questions/46683/how-to-save-my-nifi-flow-into-xml.html)을 제공해서 공유 또는 git 관리를 가능케 함.
• 호튼 웍스가 지원
• HDFS append가 됨(https://github.com/apache/nifi/commit/a7d06412f8e4809157bf1074d659b5420546190f)
• 간단한 파일 저장 Processor 코딩(https://github.com/pcgrenier/nifi-examples/blob/master/src/main/java/rocks/nifi/examples/processors/JsonProcessor.java) 

기능면으로 봤을 때는 매력적이다.

대용량 트래픽(테라 급)에서도 잘 동작하는 지 테스트해봐야 할 것 같다.