南大通用GBase 8a数据库的数据入库方式,从85版本的加载服务器dispserver + dispcli的客户端方式,改成了通过SQL语句+数据源(ftp,sftp,http,hdoop)方式。其中的参数,也从老版本的配置文件方式,改成了数据库参数方式。绝大部分都支持sesssion设置,以便每次加载进行一些资源调整。
标签: 加载
包含南大通用GBase 8a MPP数据库集群 加载 内容的文章
南大通用GBase 8a集群通过sftp和ftp加载单个小文件非常慢的问题,关闭DNS反向解析
南大通用GBase 8a数据库集群,通过load方式从数据源sftp/ftp/hadoop等加载入库,如果数据源本身配置了反向DNS解析,则会导致数据源无法及时返回导致及时加载很小的文件,也会耗时很长。
南大通用GBase 8a集群加载日期类型datetime自定义格式参数
南大通用GBase 8a集群加载日期类型datetime自定义格式参数。日期包括date,datetime和timestamp,其中datetime支持毫秒。
南大通用GBase 8a集群Blob longblob text大字段类型的加载
南大通用GBase 8a集群Blob longblob text大字段类型的加载,可以通过指定type_text,type_base64,type_url几个方式进行加载入库。
南大通用GBase 8a集群加载的错误数据导出到指定ftp/sftp/服务器目录下
南大通用GBase 8a数据库集群,通过load方式从各种数据源加载入库,当出现数据与表不匹配时,将把数据保存到指定位置。老版本默认是保存到连接节点的日志目录下,而新版本提供了直接保存到sftp/ftp服务器目录下,减轻数据库本身的负担。
南大通用GBase 8a集群通过SQL查询加载历史记录日志
南大通用GBase 8a数据库集群,通过load加载入库,并在加载完成后,将加载信息记录到文件loader_result.log日志文件里,用户可以自行对文件进行分析。数据库也提供了SQL的方式从元数据表load_result查询。如果加载日志行数非常多,将占用很多的内存资源。
南大通用GBase 8a集群通过SQL获得加载错误数据信息日志
南大通用GBase 8a数据库通过LOAD 加载方式入库数据,当数据某一行与表结构不匹配时会产生错误数据,数据库在加载完成后,提供了show load logs命令,来查询加载产生的错误数据。当然用户也可以自行到错误文件里进行查询,毕竟如果错误数据行数太多,全部查看还是非常消耗资源的。
南大通用GBase 8a集群查看加载进度的方法
南大通用GBase 8a集群查看加载进度,可以从如下的表可以查到 information_schema.load_status
南大通用GBase 8a集群对IPV6的支持情况
南大通用GBase 8a集群对IPV6的支持情况
南大通用GBase 8a集群ODBC获得加载行数,忽略行数,任务ID等
南大通用GBase 8a集群ODBC获得加载行数,忽略行数,任务ID等