codecamp

Apache的水槽数据流

水槽是用于对记录数据移动到HDFS一个框架。通常的事件和日志数据由日志服务器生成与这些服务器具有在其上运行水槽剂。这些试剂从数据发生器接收的数据。

这些代理商的数据将被称为收藏家中间节点进行收集。就像剂,可以在水槽多个收集器。

最后,从所有这些收集的数据将被聚集并推到一个集中存储诸如HBase的或HDFS。下面的图表说明在水槽中的数据流。

数据流水槽

多跳流

在水槽,可以有多个代理,并在到达最终目的地之前,事件可以通过多个代理旅行。这被称为多跳流

扇出流

从一个源到多个频道的数据流被称为扇出流动 。它是两种类型的 -

  • 复制 -其中数据将在所有配置的通道被复制的数据流。

  • 复用 -其中数据将被发送到其在该事件的标题中提到的选定信道的数据流。

扇入流量

在其中的数据将来自许多来源转移到一个信道的数据流被称为扇入流动

故障处理

在水槽,每个事件,两笔交易发生:一个在发送,一个在接收器。发件人将事件发送给接收器。不久接收到数据之后,接收器提交它自己的事务,并发送一个“接收”信号给发送方。接收到信号后,发送者提交其事务。 (直到它接收到来自接收器的信号发送器不会犯其事务)。


阿帕奇水槽架构
阿帕奇水槽环境
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }