GBase 8a数据库集群,通过load方式从数据源sftp/ftp/hadoop等加载入库,如果数据源本身配置了反向DNS解析,则会导致数据源无法及时返回导致及时加载很小的文件,也会耗时很长。
目录导航
1、现象
通过ftp和sftp加载非常少的数据,比如1万行,甚至1行,也需要几十秒。
2、原因
默认vsftpd和sshd都有dns反向解析功能,而系统如果没有配置对应的dns解析,则要耗费时间等待解析超时。
3、解决方案
关闭反向解析,功能。
对于vsftpd,需要编辑其配置文件
/etc/vsftpd.conf
添加如下参数:
reverse_lookup_enable=NO
保存退出后,重启vsftpd服务
service vsftpd restart
对于sftp,需要修改
/etc/ssh/sshd_conf
将如下参数去掉注释,参数值改成No
# UseDNS yes
改成
UseDNS no
然后重启sshd服务。 service sshd restart
4、效果
更改前
从上图可以看到,本地file加载性能是很快的,所以肯定是协议本身问题。 修改后效果
性能有极大提升。