Home Flume
Post
Cancel

Flume

Flume

  • Hadoop과 함께 개발
    • Built-in sinks for HDFS and HBase
  • 원래는 log aggregation을 다루기 위해 만들어짐
  • Data와 하둡클러스터 사이의 buffer

Components of an agent

  • Source
    • 데이터가 들어오는 장소
    • 선택적으로 channel selector 와 interceptor들을 가질수 있음
  • Channel
    • 데이터가 어떻게 전달되는지 (메모리 또는 파일을 통해서)
  • Sink
    • 데이터가 가는 장소
    • Sink Groups로 묶어질수 있음
    • 하나의 sink는 오직 하나의 채널로 연결가능
      • sink가 메시지를 처리하면 채널은 해당 메시지를 삭제하라고 통보받음.

Built-in Source Types

  • Spooling directory
  • Avro
  • Kafka
  • Exec
  • Thrift
  • Netcat
  • HTTP
  • Custom
  • and more

Built-in Sink Types

  • HDFS
  • Hive
  • HBase
  • Avro
  • Thrift
  • Elasticsearch
  • Kafka
  • Custom
  • and more
This post is licensed under CC BY 4.0 by the author.

Trending Tags