codecamp

从HDFS部署Samza工作

如果要将Samza作业的.tar.gz包发布到HDFS，本教程将使用hello-samza来说明如何运行Samza作业。

上传包

hadoop fs -put ./target/hello-samza-0.12.0-dist.tar.gz /path/for/tgz

添加HDFS配置

将集群的 hdfs-site.xml 文件放入 〜/ .samza / conf 目录（与纱线-site.xml相同的位置）。如果设置了 HADOOP_CONF_DIR，如果 hdfs-site.xml 不存在，那么将 hdfs-site.xml 放在配置目录中。

更改属性文件

将属性文件中的 yarn.package.path 更改为 HDFS 位置。

yarn.package.path=hdfs://<hdfs name node ip>:<hdfs name node port>/path/to/tgz

那么你应该能够按照 hello-samza的 描述运行Samza的工作。

用Samza远程调试
部署Samza Job到CDH
温馨提示
下载编程狮App，免费阅读超1000+编程语言教程
取消
确定
目录

Samza 入门

Samza详细介绍

Samza 与其他流处理项目的比较

Samza API

Samza的核心

Samza 作业部署

Samza YARN

Samza 相关操作

Samza REST服务

Samza 附录

关闭

 MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }