网站建设自查维护报告广州市研发网站建设怎么样

1.source

Source: 数据源:通过source组件可以指定让Flume读取哪里的数据，然后将数据传递给后面的 channel
Flume内置支持读取很多种数据源，基于文件、基于目录、基于TCP\UDP端口、基于HTTP、Kafka的 等等、当然了，如果这里面没有你喜欢的，他也是支持自定义的

1.taildir source： 实时读取文件数据，并且支持断点续传

2.avro source: Flume之间互相进行数据传输一般配合avro sink使用

3.nc source: 接收网络端口的

4.exec source: 监控文件，不支持断点续传

5.spooling source: 监控文件夹，支持断点续传，传输进去一个写好的文件，丢进来是什么样就传输出去（时效性差）

6.kafka source: 读取kafka中的数据

2.channel

接受Source发出的数据，可以把channel理解为一个临时存储数据的管道
Channel的类型有很多:内存、文件，内存+文件、JDBC等

1.file channel：

​   慢，基于磁盘，但可以优化，有一个索引（在内存中）机制，从随机读写，到指定位置读写，索引也会备份到磁盘中，也可以进行二次备份

2.memory channel：

优点是效率高，因为就不涉及磁盘IO
缺点有两个
1:可能会丢数据，如果Flume的agent挂了，那么channel中的数据就丢失了。
2:内存是有限的，会存在内存不够用的情况

3.kafka channel: 数据存储在kafka集群

​   将数据发送到kafka消息队列中，这个也是比较常见的，主要针对实时计算场景，数据不落盘，实时传输，最后使用实时计算框架直接处理。

①结合source和sink使用

②结合source 和拦截器直接将数据写入到kafka中

③直接使用kafka channel结合sink使用

3.sink

从Channel中读取数据并存储到指定目的地
Sink的表现形式有很多:打印到控制台、HDFS、Kafka等，

1.hdfs sink

​   将数据传输到HDFS中，这个是比较常见的，主要针对离线计算的场景

2.kafka sink

​   将数据发送到kafka消息队列中，这个也是比较常见的，主要针对实时计算场景，数据不落盘，实时传输，最后使用实时计算框架直接处理。

3.avro sink

​ 用于多个flume之间的信息传递