当前位置: 首页 > news >正文

做的好的学校网站快照首页排名优化服务

做的好的学校网站,快照首页排名优化服务,南昌市建设局网站,爬虫科技网站建设通道是在代理上暂存事件的存储库。Source 添加事件,Sink 将其删除。 1、Memory Channel 事件存储在具有可配置最大大小的内存中队列中。它非常适合需要更高吞吐量的流,但在agent发生故障时会丢失暂存数据 Property Name Default Description type …

通道是在代理上暂存事件的存储库。Source 添加事件,Sink 将其删除。

1、Memory Channel

事件存储在具有可配置最大大小的内存中队列中。它非常适合需要更高吞吐量的流,但在agent发生故障时会丢失暂存数据

Property Name

Default

Description

type

The component type name, needs to be memory

Example for agent named a1:

a1.channels = c1

a1.channels.c1.type = memory

a1.channels.c1.capacity = 10000

a1.channels.c1.transactionCapacity = 10000

a1.channels.c1.byteCapacityBufferPercentage = 20

a1.channels.c1.byteCapacity = 800000

2、JDBC Channel.

事件存储在由数据库支持的持久性存储中。JDBC 通道目前支持嵌入式 Derby。这是一个持久的通道,非常适合可恢复性很重要的流。

Property Name

Default

Description

type

The component type name, needs to be jdbc

Example for agent named a1:

a1.channels = c1

a1.channels.c1.type = jdbc

3、Kafka Channel

提供高可用性和复制,因此,如果agent或 Kafka 崩溃,这些事件会立即提供给其他sink

Kafka 通道可用于多种方案:

1. 使用 Flume source和sink器 - 它为事件提供了一个可靠且高度可用的通道

2. 使用 Flume source和interceptor,但没有sink - 它允许将 Flume 事件写入 Kafka topic,供其他应用程序使用

3. 使用 Flume sink,但没有source - 这是一种低延迟、容错的方式,可以将事件从 Kafka 发送到 Flume sink,例如 HDFS、HBase 或 Solr

目前支持 Kafka 服务器版本 0.10.1.0 或更高版本。测试完成到 2.0.1,这是发布时最高的可用版本。

配置参数的组织方式如下

1. 与通道相关的配置值一般应用于通道配置级别,例如:a1.channel.k1.type =

2. 与 Kafka 或通道运行方式相关的配置值以“kafka”为前缀(这与 CommonClient 配置无关),例如:a1.channels.k1.kafka.topic 和 a1.channels.k1.kafka.bootstrap.servers。这与 hdfs 接收器的运行方式没有什么不同

3. 特定于生产者/消费者的属性以 kafka.producer 或 kafka.consumer 为前缀

4. 在可能的情况下,使用 Kafka 参数名称,例如:bootstrap.servers 和 acks

Property Name

Default

Description

type

The component type name, needs to be org.apache.flume.channel.kafka.KafkaChannel

kafka.bootstrap.servers

List of brokers in the Kafka cluster used by the channel This can be a partial list of brokers, but we recommend at least two for HA. The format is comma separated list of hostname:port

Example for agent named a1:

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel

a1.channels.channel1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka-3:9092

a1.channels.channel1.kafka.topic = channel1

a1.channels.channel1.kafka.consumer.group.id = flume-consumer

4、File Channel

 默认情况下,文件通道使用用户主目录内的检查点和数据目录的路径。因此,如果代理中有多个文件通道实例处于活动状态,则只有一个实例能够锁定目录并导致另一个通道初始化失败。因此,有必要提供所有已配置通道的显式路径,最好是在不同的磁盘上。此外,由于文件通道将在每次提交后同步到磁盘,因此可能需要将其与将事件批处理在一起的接收器/源耦合,以便在多个磁盘不可用于检查点和数据目录的情况下提供良好的性能。

Property Name Default

Description

 

type

The component type name, needs to be file.

Example for agent named a1:

a1.channels = c1

a1.channels.c1.type = file

a1.channels.c1.checkpointDir = /mnt/flume/checkpoint

a1.channels.c1.dataDirs = /mnt/flume/data

http://www.15wanjia.com/news/192482.html

相关文章:

  • 做网站选哪家公司网站开发公司+重庆
  • 宝洁网站建设评价公司建立网站的必要性
  • 查网站空间商乐清网站优化
  • 公司网站企业文化怎么做深圳数字展厅
  • 公众号开发设计费用哈尔滨seo搜索优化公司排名
  • 企业网站怎样做免费网站建设需要写代码吗
  • 怎么做淘宝网站种子搜索神器在线搜
  • 创意视差wordpress主题seo快速优化软件
  • 老网站文章突然无收录珠海网站开发维护科技公司
  • 做外贸网站需要营业执照网站备案快速
  • 万云网络网站职业装定制
  • 襄阳市网站建设做电商网站的步骤
  • 内部网站如何做做得好的营销网站
  • 网站开发费用算无形资产么工业设计公共服务平台
  • 毕业设计网站开发要做什么互联网行业排行榜
  • 金华做网站公司自己申请网站空间
  • 闲置物品交易网站怎么做的网页设计公司蒙特
  • 在对方网站做友情链接太原关键词优化平台
  • 大学生网站设计作品成品代码wordpress中文优化版
  • 网站备案号码网站改版 更换域名
  • 手机网站开发哪个好网站开发 安全
  • 内蒙古做网站公司网站开发中网页上传和发布
  • php做听歌网站房屋信息网站
  • 网站建设的可行性报告成都访问公司网站
  • 设计网站公司搜索y湖南岚鸿知名小米网站开发语言
  • 做网站外快360免费wifi下载
  • 吉林网站建设吉林iis7怎么安装php网站
  • jsp网站开发详解 pdf制作网页哪家好
  • 怎么用自己的服务器做网站湖南建筑信息网一体化平台
  • 做问卷调查赚钱好的21个网站景观设计公司有哪些