南大通用GBase 8a安全重建表的一个方案

当由于某些原因需要重建表时,需要锁定表,避免该表在重建期间又被更改,导致新表和老表数据不一致。本文提供一个应用层的安全重建方案。

警告

在95的版本(截止2022-01-24),测试发现dml、ddl会释放掉锁,导致后面无法串行执行。如有新方案或改进,会更新本文档。

目前版本只针对862有效。

方案内容

该方案通过如下几个步骤来实现

  • 锁住表
  • 建一个新表,结构和原有的一样
  • 将数据从原有表迁移到新表
  • 将原有表改名
  • 将新表改名成原有表
  • 释放锁
  • 将改名的老表删除【可选】

实现例子

如下的一个shell脚本,传入2个参数,库名和表名,连接数据库的用户名和密码,需要根据实际情况做修改。其中的sign是方便查找哪些表做了处理的一个临时表名标志。

如下例子没有包含删除老表的部分,建议进行人工确认后,再删除老表,避免操作失误导致数据丢失

该脚本开始清理了残留表,为了安全,默认是注释掉的。

[gbase@rh6-1 ~]$ cat gbase_rebuild_table.sh
dbname=$1
tablename=$2
sign='ABCDEFG'
echo --${tablename}--
gccli -ugbase -pXXXXX -vvv -D${dbname} <<EOF
-- drop table if exists ${tablename}_${sign}_OLD;
-- drop table if exists ${tablename}_${sign}_NEW;
lock table  ${tablename} write;
create table ${tablename}_${sign}_NEW like ${tablename};
insert into ${tablename}_${sign}_NEW select * from  ${tablename};
rename table  ${tablename} to ${tablename}_${sign}_OLD;
rename table ${tablename}_${sign}_NEW to  ${tablename};
unlock tables;
EOF
[gbase@rh6-1 ~]$

执行效果

[gbase@rh6-1 ~]$ sh gbase_rebuild_table.sh testdb t2
--t2--
--------------
drop table if exists t2_ABCDEFG_OLD
--------------

Query OK, 0 rows affected, 3 warnings (Elapsed: 00:00:00.11)

--------------
drop table if exists t2_ABCDEFG_NEW
--------------

Query OK, 0 rows affected, 3 warnings (Elapsed: 00:00:00.23)

--------------
lock table  t2 write
--------------

Query OK, 0 rows affected (Elapsed: 00:00:00.00)

--------------
create table t2_ABCDEFG_NEW like t2
--------------

Query OK, 0 rows affected (Elapsed: 00:00:00.39)

--------------
insert into t2_ABCDEFG_NEW select * from  t2
--------------

Query OK, 0 rows affected (Elapsed: 00:00:00.10)
Records: 0  Duplicates: 0  Warnings: 0

--------------
rename table  t2 to t2_ABCDEFG_OLD
--------------

Query OK, 0 rows affected (Elapsed: 00:00:01.24)

--------------
rename table t2_ABCDEFG_NEW to  t2
--------------

Query OK, 0 rows affected (Elapsed: 00:00:00.93)

--------------
unlock tables
--------------

Query OK, 0 rows affected (Elapsed: 00:00:00.00)

Bye

对其它业务的影响

经测试,在lock期间,该表可以继续查询,但所有DML,DDL将阻塞,直到unlock tables. 之后阻塞的SQL将继续运行,或者阻塞超时而报错退出。

连接断开,锁会自动释放。

持有表锁的session,该表被rename, 甚至drop,并不会导致锁被释放。其它session如果对该表做操作,依然会等待表锁。

gbase> create table t2 like t1;
^CQuery aborted by Ctrl+C
ERROR 1727 (HY000): try to lock in gcluster failed:  (GBA-02LO-0002) Failed to lock: [testdb.t2580D5F90-B287-4199-B057-E6FBD44B5BFA] GC_AIS_ERR_EXIST