南大通用GBase 8a集群通过sftp和ftp加载单个小文件非常慢的问题,关闭DNS反向解析

GBase 8a数据库集群,通过load方式从数据源sftp/ftp/hadoop等加载入库,如果数据源本身配置了反向DNS解析,则会导致数据源无法及时返回导致及时加载很小的文件,也会耗时很长。

1、现象

通过ftp和sftp加载非常少的数据,比如1万行,甚至1行,也需要几十秒。

2、原因

默认vsftpd和sshd都有dns反向解析功能,而系统如果没有配置对应的dns解析,则要耗费时间等待解析超时。

3、解决方案

关闭反向解析,功能。

对于vsftpd,需要编辑其配置文件
/etc/vsftpd.conf
添加如下参数:
reverse_lookup_enable=NO

保存退出后,重启vsftpd服务
service vsftpd restart

对于sftp,需要修改
/etc/ssh/sshd_conf
将如下参数去掉注释,参数值改成No
# UseDNS yes
改成
UseDNS no

然后重启sshd服务。 service sshd restart

4、效果

更改前

从上图可以看到,本地file加载性能是很快的,所以肯定是协议本身问题。 修改后效果

性能有极大提升。