GBase 8a的导出功能支持ftp,sftp等协议。如果导出内容较多,则目标文件需要一段时间才能生成。而在导出期间如果该文件被使用,则其内容处于不完整状态,会造成数据不一致,格式报错等情况。本文通过python实现ftp和sftp的改名功能,在一定规则下规避这个情况。
标签: 导出
包含南大通用GBase 8a MPP数据库集群 数据导出 内容的文章
南大通用GBase 8a导出定长格式数据文件的方法
定长格式,每个字段占用相同的字节数,无需再考虑分隔符,可以简化加载处理逻辑,但一般会出现空间浪费。当数据内容复杂,不好设置合适的分隔符时,定长可能是唯一的方案。本文介绍GBase 8a导出定长数据的方法。
南大通用GBase 8a导出报错This version of GBase doesn't yet support 'outfile remotely for dis-Express Engine tables
南大通用GBase 8a数据库集群支持导出数据到本地和远端服务,比如sftp,ftp,hadoop等,但要求必须是express引擎表。对其它引擎类型的表,比如元数据表为memory 或者 gssys引擎,当前版本尚不支持导出到远端的功能,只能先导出到本地,否则就会报This version of GBase doesn't yet support 'outfile remotely for dis-Express Engine tables的错误。
南大通用GBase 8a导出加载数据时,字段内容包含换行\n怎么处理
南大通用GBase 8a数据库集群,支持导出时指定行分隔符和列分隔符,如果数据中的字符和其冲突,可以考虑用多个字符做分隔符,当然也可以用不常见或冲突几率低的不可见字符做分隔符。
GBaes 8a导出文件时指定大小 fiesize
GBaes 8a导出文件时指定大小 fiesize
南大通用GBase 8a导出加载报错FIELDS ESCAPED STRING must be only one byte
南大通用GBase 8a导出加载报错FIELDS ESCAPED STRING must be only one byte
南大通用GBase 8a导出和加载使用多个不可见字符做分隔符
南大通用GBase 8a加载使用不可见字符做分隔符
南大通用GBase 8a导出本地文件时多了目录,gbase_export_directory参数用处
南大通用GBase 8a数据库集群提供select into outfile方式导出数据到文件,指定本地文件时,数据库参数gbase_export_directory会自动创建同名的目录。如果想去掉,需要关闭这个参数。
南大通用GBase 8a导出报错File XXX already exists和强制覆盖写解决方案writemode by overwrites
南大通用GBase 8a数据库集群提供select into outfile方式导出数据到文件,如果导出的文件已经存在,则会报File XXX already exists的错误。如果想强制覆盖写入,可以增加writemode by overwrites解决。
南大通用GBase 8a 导出时报错FileSystem Error : Permission denied
南大通用GBase 8a数据库集群提供select into outfile方式导出数据到文件,由于数据库进程运行在dbaUser,一般都是操作系统gbase用户,所以简单的本地导出的目录,需要gbase用户的写入权限。如果无权限则报FileSystem Error : Permission denied错误。