南大通用GBase 8a 提供了查看当前系统运行期状况的元数据表,其中performance_schema.CACHE_usage_info表包含了当前服务的内存缓冲信息,以及每个DC的具体详情CACHE_CELL_STATUS_INFO。本文介绍该表的使用方法
月度归档: 2021年5月
南大通用GBase 8a集群统计运行期内存使用情况_gbase_session_memory_stat参数
南大通用GBase 8a通过系统元数据表的形式,统计当前内存的使用情况。该功能通过_gbase_session_memory_stat参数进行开启,包括全局的data,large,temp三个内存堆,也支持session级的内存使用。
Clickhouse 设置和查看参数值set和show settings
Clickhouse 支持通过show settings 读取当前参数的值。也支持通过set 命令设置参数值。
文件存储学习记录
文件存储学习记录
Clickhouse 测试tpc-h的SQL1语句,物化视图优化提升百倍
本文针对TPC-h的SQL1 ,在Clickhouse数据库上做性能测试和优化,特别是物化视图预聚合部分。其中原始表59986052行,查询耗时6.047秒,物化视图3817行,查询耗时0.025;数据量差距15715倍,性能差距241.88倍。
clickhouse-client 批量导入数据文件时指定分隔符
Clickhouse的客户端程序clienthouse-client可以用于批量导入数据文件,其中参数format_csv_delimiter可以用于指定数据的分隔符。
Clickhouse 修改默认的数据目录配置文件,迁移数据解决空间不足
Clickhouse默认是安装到/var/lib/clickhouse目录下,很容易将根目录空间占满。通过修改配置文件,将数据目录指向新的位置,并将数据迁移到新目录来解决空间问题。
OLAP和OLTP系统适合场景的对比
OLAP和OLTP系统适合场景的对比,1)行存储的写入是一次性完成,消耗的时间比列存储少,并且能够保证数据的完整性,缺点是数据读取过程中会产生冗余数据,如果只有少量数据,此影响可以忽略;数量大可能会影响到数据的处理效率。2)列存储在写入效率、保证数据完整性上都不如行存储,它的优势是在读取过程,不会产生冗余数据,这对数据完整性要求不高的大数据处理领域,比如互联网,犹为重要。
数据库行存和列存对比图和动画演示
本文采用图和动画的形式,展示数据库里,列存和行存的对比差异。包括对比图和对比动画演示。
南大通用GBase 8a通过python获得指定表的所有event信息
南大通用GBase 8a 默认能获得所有的故障event信息,当event比较多时,需要人工将信息进行筛选。本文通过pyton调用gcware库获得指定表的所有event信息。