网络技术

找论坛
zst_banyue
Lv5 太平洋舰队上尉
太平洋舰队上尉 贡献966,距离下一级还需134贡献
楼主
2018-03-12 15:53 0 0 只看楼主
电梯直达 
[p=32, null, left]摘要: 大家好,这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多,本文按照多个因素逐步排查,最终解决问题,希望大家以后再遇到此类问题,请参考此文,相信能够顺利解决您的问题。[/p]原文:http://click.aliyun.com/m/43552/
一、问题现象[p=32, null, left]此案例中,DataWorks项目位于华东2,RDS Mysql数据源位于华东1(VPC网络),使用DataWorks进行数据同步之前,首先需要建立数据源,但在建立数据源RDS Mysql的配置页面,“测试连通性”失败,即数据源并没有连通。评论
[/p]二、问题处理过程[p=32, null, left](1)首先,应该判断该数据源是否支持“测试连通性”[/p][p=32, null, left]遇到测试连通性问题,首先应该判断该数据源是否支持“测试连通性”,请大家参考《各数据源测试连通性支持情况》。请注意,通过经典网络或VPC网络的跨区域访问,是不保证连通性的,但RDS产品除外,也就是说本案例中的数据源是支持测试连通性的。(本案例中项目和数据源的基本情况,已经在开篇位置介绍了)。[/p][p=32, null, left](2)数据源是否配置了完整的白名单[/p][p=32, null, left]接下来,我们看下是否在Mysql数据库配置了白名单。关于白名单,请参考《数据集成添加白名单》。该文档详细介绍了每个region对应的白名单内容(请注意添加您的项目所在region的白名单,而非您的数据源所在region的白名单)。经过核实,这个RDS Mysql数据源的白名单如下:[/p][p=32, null, left]评论[/p][p=32, null, left]这正是项目所在region华东2的白名单,所以白名单错误或不完整的原因也排除了。而且开篇第一张图报错中出现的100.104.205.10这个ip也在上述白名单中。[/p][p=32, null, left](3)数据源配置页面的信息是否正确接下来需要核实该数据源配置页面的信息是否正确了。[/p][p=32, null, left]经过核实,RDS实例ID、RDS实例购买者ID、数据库名、用户名、密码,均没有任何问题。而且,用此处填写的数据库名、用户名、密码可以成功登陆Mysql数据库。如下图:[/p][p=32, null, left]评论[/p][p=32, null, left]说明基本信息填写正确。[/p][p=32, null, left](4)通过公网连接,“测试连通性”是否能成功[/p][p=32, null, left]上述数据源配置页面,在“数据源类型”选择的是“阿里云数据库(RDS)”,即通过内网连接。接下来尝试下在“数据源类型”选择“有公网IP”,即尝试下通过公网连接,“测试连通性”是否能成功,但测试结果依然失败,并且报错依然是“Access denied”,并且121.43.110.160这个ip也在配置的白名单中。如下图:评论
[/p][p=32, null, left](5)核查数据库账号的权限[/p][p=32, null, left]既然上述配置、白名单等都没问题,那接下来看下该数据库账号(这里假设是zhangsan)的权限问题。[/p][p=32, null, left]DataWorks的数据集成功能,底层是通过开源工具DataX来进行同步的,DataX是通过select操作去数据源中读取数据的,下图是一个同步任务的日志,从日志中可以看到,同步任务是通过执行select语句去读取数据的,如下图所示:评论[/p][p=32, null, left]也就是说,用户必须能够登录数据库,并有select权限,才能进行数据同步。那我们首先看下用户’zhangsan’的权限和属性。[/p][p=32, null, left]?登录Mysql数据库后,执行:[/p][p=32, null, left]评论[/p][p=32, null, left]执行结果如下:[/p][p=32, null, left]评论[/p][p=32, null, left]经过上图分析,该用户'zhangsan'没有show grants for zhangsan; 的权限,同样也没有权限查询mysql数据库user表中,用户为'zhangsan'的账号和允许登录的ip。而且,当前用户'zhangsan'的连接情况是正常的。[/p][p=32, null, left]?通过有root权限的相关人员查询得到,该用户'zhangsan'绑定了登录ip,即只有在指定ip下才能用此账号登录,即:[/p][p=32, null, left]Host: 116.228.89.206[/p][p=32, null, left]User: zhangsan[/p][p=32, null, left]也就是说,用户zhangsan是无法通过用于同步的阿里云服务器登录其数据库的,测试连通性当然就失败了!由此,我们终于找到了测试连通性失败的原因![/p][p=32, null, left]接下来,用root账户新建用户lisi,然后给lisi赋select权限,命令如下:grant select on 数据库.* to lisi@'%' identified by 'user_password'; [/p][p=32, null, left]// 给lisi赋select权限,并允许在任意ip登录[/p][p=32, null, left]flush privileges;[/p][p=32, null, left]//刷新MySQL的系统权限相关表由此,再进行RDS Mysql数据源的测试连通性就成功了。[/p]三、结论&建议
[p=32, null, left]当使用DataWorks数据集成功能,遇到数据源测试连通性失败的时候,可以依照上述排查思路,一步步排查,并请注意数据源中配置账号的权限问题。[/p]

您需要登录后才可以发帖 登录 | 立即注册

其他登录方式:

常用表情
太平洋电脑网论坛帖子仅代表作者本人意见,不代表网站立场。请勿轻信特价、汇款、中奖等信息,
请勿轻易透露个人资料,因此产生的一切后果,PConline不承担任何责任
回复 发新帖 找论坛 反馈 回顶部