Flume
- Hadoop과 함께 개발
- Built-in sinks for HDFS and HBase
- 원래는 log aggregation을 다루기 위해 만들어짐
- Data와 하둡클러스터 사이의 buffer
Components of an agent
- Source
- 데이터가 들어오는 장소
- 선택적으로 channel selector 와 interceptor들을 가질수 있음
- Channel
- 데이터가 어떻게 전달되는지 (메모리 또는 파일을 통해서)
- Sink
- 데이터가 가는 장소
- Sink Groups로 묶어질수 있음
- 하나의 sink는 오직 하나의 채널로 연결가능
- sink가 메시지를 처리하면 채널은 해당 메시지를 삭제하라고 통보받음.
Built-in Source Types
- Spooling directory
- Avro
- Kafka
- Exec
- Thrift
- Netcat
- HTTP
- Custom
- and more
Built-in Sink Types
- HDFS
- Hive
- HBase
- Avro
- Thrift
- Elasticsearch
- Kafka
- Custom
- and more