南大通用GCDW技术栈-GCDW物理机版本使用hdfs作为存储的安装

GCDW新版本支持hdfs作为存储，本文介绍GCDW物理机版本配置hdfs的方法，包括hadoop的simple和kerberos认证模式。

参考

GCDW技术栈-kerberos的搭建和凭证生成

GCDW技术栈-hadoop+kerberos配置

GBase 8a GCDW存算分离主机版安装使用预览

主机名DNS配置

/etc/hosts

将hadoop的namenode节点IP和主机名，写入hosts文件里，用于DNS解析。

10.0.2.141  hadoop141

hadoop简单认证方式的参数

hadoop简单方式是任何机器都可以访问hadoop, 在安装GCDW 物理机版本时，需要提供的参数较少

demo.options

GCDW_STORAGE_STYLE = hdfs
GCDW_HDFS_NAMENODES=10.0.2.141:9870
GCDW_HDFS_URI=hdp://hdfs@10.0.2.141:9870/

GCDW_STORAGE_STYLE

存储类型，目前支持s3和hdfs两种类型。本文使用hdfs

GCDW_HDFS_NAMENODES

namenode节点的地址和端口，逗号分隔。比如

10.0.2.141:9870,10.0.2.142:9870

GCDW_HDFS_URI

访问URI,格式为

hdp://用户@地址:端口/【路径/】

路径可选，是一个提前建好的目录。不指定的话放在hdfs的根上。

Kerberos认证方式的配置参数

比简单模式，多了几个参数

GCDW_STORAGE_STYLE = hdfs
GCDW_HDFS_NAMENODES=10.0.2.141:9870
GCDW_HDFS_URI=hdp://hdfs@10.0.2.141:9870/
GCDW_HDFS_AUTH_MODE=kerberos
GCDW_HDFS_PRINCIPAL=hdfs/hadoop141@GCDW
GCDW_HDFS_KEYTAB=ftp://hdfs:hdfs@10.0.2.141//opt/keytab/hdfs.keytab
GCDW_HDFS_KERBEROS_CONFIG=ftp://hdfs:hdfs@10.0.2.141//etc/krb5.conf

GCDW_HDFS_AUTH_MODE

默认不填写是简单认证模式,本处改成kerberos

GCDW_HDFS_PRINCIPAL

使用的kerberos的用户

GCDW_HDFS_KEYTAB

包含kerberos用户和密码的凭据文件，可以从远端ftp下载，也可以指定本地文件，比如/opt/hdfs.keytab

GCDW_HDFS_KERBEROS_CONFIG

kerberos的配置文件，是从KDC机器上复制过来的，必须保持一致。 可以用ftp下载，也可以用本地，比如/etc/krb5.conf

安装过程

与GBase 8a MPP集群安装方式一样

[gbase@localhost gcinstall]$ ./gcinstall.py --silent=demo.options
*********************************************************************************
Thank you for choosing GBase product!
。。。
10.0.2.148              install gcware and cluster on host 10.0.2.148 successfully.
adding user and nodes message to foundationdb
adding user and nodes message to foundationdb successfully
Starting all gcluster nodes ...
adding new datanodes to gcware ...
[gbase@localhost gcinstall]$

其中adding user部分检查hdfs的连通性，然后将租户信息写入foundataiondb。

后续操作和S3存储的一样

创建warehouse, 用指定的租户（instance)用户和密码登录，设置用户的默认warehouse等，就不重复了。

参考 GBase 8a GCDW存算分离主机版安装使用预览