网络技术

找论坛
小暖忆_
Lv3 太平洋舰队中士
太平洋舰队中士 贡献225,距离下一级还需125贡献
楼主
2018-09-12 15:40 0 0 只看楼主
电梯直达 
[p=24, null, left]摘要: 用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。 解决方案: jar -resources test_mr.[/p]
用户在DataWorks上执行MapReduce作业的时候,文件大于10M的JAR和资源文件不能上传到Dataworks,导致无法使用调度去定期执行MapReduce作业。

解决方案:
第一步:大于10M的resources通过MaxCompute CLI客户端上传,

add jar C:\test_mr\test_mr.jar -f;//添加资源
第二步:目前通过MaxCompute CLI上传的资源,在Dataworks左侧资源列表是找不到的,只能通过list resources查看确认资源;

list resources;//查看资源

第三步:瘦身Jar,因为Dataworks执行MR作业的时候,一定要本地执行,所以保留个main就可以;


jar -resources test_mr.jar,test_ab.jar //resources在客户端注册后直接引用-classpath test_mr.jar  //瘦身策略:在gateway上提交要有main和相关的mapper和reducer,额外的三方依赖可以不需要,其他都可以放到resourcescom.aliyun.odps.examples.mr.test_mr wc_in wc_out;
通过上述方法,我们可以在Dataworks上跑大于10M的MR作业。


原文链接
本文为云栖社区原创内容,未经允许不得转载。

您需要登录后才可以发帖 登录 | 立即注册

其他登录方式:

常用表情
太平洋电脑网论坛帖子仅代表作者本人意见,不代表网站立场。请勿轻信特价、汇款、中奖等信息,
请勿轻易透露个人资料,因此产生的一切后果,PConline不承担任何责任
回复 发新帖 找论坛 反馈 回顶部