南大通用GBase 8a数据库集群支持hadoop加载,但要求每个节点都要配置主机IP的配置信息(DNS),如没有配置则会报Couldn't resolve host name错误
标签: 加载
包含南大通用GBase 8a MPP数据库集群 加载 内容的文章
南大通用GBase 8a获得加载的任务号taskId的参数gbase_loader_last_task_id
南大通用GBase 8a通过load方式进行数据加载,每个加载任务一旦启动,会产生一个task id号码,用户可以通过其查看错误数据等信息。 数据库通过session级的变量gbase_loader_last_task_id获得最后一次加载的任务号。
南大通用GBase 8a的global hash索引参数key_dc_size导致加载耗时波动
南大通用GBase 8a数据库集群支持global Hash索引,用于精确查询。为了方便释放空间,提供了key_dc_size参数,如果该参数和每次加载的数据量出现匹配,将会很容易出现抖动。
南大通用GBase 8a 加载大量小文件时,通过NOSPLIT参数较少执行计划耗时
南大通用GBase 8a 数据库集群,在记载的执行计划阶段,要先获得每个加载文件的大小,然后接近容量平均的方式,分发个多个加载服务进行处理。如果文件很多,也很小,其耗时也将很多,甚至接近真正加载的耗时。通过NOSPLIT参数吗,可以去掉这个检测,直接按文件数量划分工作量。
南大通用GBase 8a加载极慢卡住原因,是某台机器网卡故障导致
某客户反馈,加载卡住,但将某台数据节点服务器停掉后,性能恢复。在尝试手工加载时,发现确实很慢。
南大通用GBase 8a加载报错Serious errors,at least partition of table is invalid or offline
南大通用GBase 8a数据库集群,是通过主副本来保持一致性,如果主备分片所在服务器都出现OFFLINE或服务CLOSE,就会出现主副本都不可用,报Serious errors,at least partition of table is invalid or offline。
南大通用GBase 8a加载LOAD报错 Too many bad records 原因和解决方案
南大通用GBase 8a 数据库集群通过LOAD方式加载入库到一张表里面,当用户数据和表列定义出现不匹配是,会生成错误数据被忽略掉 skipped records, 用户可以通过max_bad_records参数设定最多错误行数,默认为不限制,如果超过则报Too many bad records错误。
南大通用GBase 8a 加载LOAD数据无法入库错误 Validate error
南大通用GBase 8a 数据库集群通过load方式将数据加载入库到一张表里,当数据某一列的值,无法转换为表对应字段类型时,比如带字母的字符串转化为数字,则会报Validate error这类错误。原因可能是列的顺序匹配错误,或原始数据采集问题。
南大通用GBase 8a 加载LOAD数据无法入库错误 skipped records,Out of range value
南大通用GBase 8a 在加载LOAD时,如果发现数据和目标表不匹配,会将错误数据和原因,写入到日志里。 其中Out of range value错误是因为数据超过了范围,包括数字过大或过小,日期超过限制等。
南大通用GBase 8a 加载LOAD数据无法入库错误 skipped records,The number of data columns is less than the number of columns defined
南大通用GBase 8a 在加载LOAD时,如果发现数据和目标表不匹配,会将错误数据和原因,写入到日志里。 其中The number of data columns is less than the number of columns defined 错误是因为文件列数少于表的指定列数。数据按照分隔符切分的字段数量和表或指定的字段数量不匹配导致。