【大数据基础平台】星环TDH社区开发版单机部署
博主 "开着拖拉机回家"带您 Go to New World.✨
个人主页——开着拖拉机回家_大数据运维-CSDN博客 ✨
感谢点赞和关注 ，每天进步一点点！加油！
目录
博主 "开着拖拉机回家"带您 Go to New World.✨
一、概述
二、安装TDH-CE-DEV
2.1 环境准备
2.2 安装TDH社区开发版
2.3 自助申请许可证
三、基本配置
3.1 开启安全
3.2 Hyperbase设置
3.3 安装TDH客户端
3.4 集群外使用hadoop client
3.4.1 使用zookeeper-client
3.4.2 使用hadoop/hdfs
3.4.3 使用hbase shell
一、概述
TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。
社区版官网：TDH社区版-TDH Community Edition-星环科技
二、安装TDH-CE-DEV
2.1 环境准备
主机名和映射配置
cat /etc/hosts
192.168.2.117 devops
hostnamectl set-hostname devops关闭防火墙或者配置端口
systemctl stop firewalld.service
systemctl disable firewalld.service安装docker ，需有网且配置好 repo 源，或者离线安装
yum install docker
systemctl start docker.service
systemctl status docker.service
systemctl enable docker.servicedocker 启动完成
2.2 安装TDH社区开发版
官网地址：TDH社区版-TDH Community Edition-星环科技
下载的单机安装包：TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
解压并且加载镜像
[root@tdh-node01 yum.repos.d]# cd /opt/
[root@tdh-node01 opt]# ll
total 12045828
drwx--x--x. 4 root root 4096 Oct 24 11:14 containerd
-rw-------. 1 root root 7104777216 Jun 7 21:31 tdh-standalone-2023.5.tar
-rw-r--r--. 1 root root 5230133572 Oct 24 09:32 TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker load -i tdh-standalone-2023.5.tar
74ddd0ec08fa: Loading layer [==================================================>] 238.6MB/238.6MB
e74f7e968b61: Loading layer [==================================================>] 6.866GB/6.866GB
Loaded image: tdh-standalone:2023.5
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
tdh-standalone 2023.5 296d67572acb 4 months ago 7.08GB镜像加载完成
执行下方指令启动容器并运行镜像
docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh-standalone:2023.5
docker ps -a
docker logs -f xxx容器启动后需等待30s至2分钟
浏览器访问管理节点8180端口， 默认用户名和密码都是admin
接受
集群名称
默认的单节点主机信息
确认 下一步
安全组件密码设置
服务总览
下一步确定 安装
安装中
安装完成
2.3 自助申请许可证
登录星环云网站：https://cloud.transwarp.cn/home
编辑组织信息
申请许可证
回到TDH Manager，输入账号进行“许可证申请”。
完成申请
安装完成
三、基本配置
3.1 开启安全
进入全局服务下的Guardian服务详情页,选择一键开启安全
输入密码
完成配置刷新
3.2 Hyperbase设置
使用hyperbase前需要进行依赖配置，如果开启安全还需要进行赋权操作。
安装结束后进入Quark服务详情页，更新quark依赖关系；
选择HypeHbase1
点击配置服务，配置完成后进行重启服务
确定快速重启
如果开启安全，需要进入guardian server页面，为hive用户赋予hyperbase权限。
点击Guardian服务详情页，进入Guardian Server权限页面进行编辑；
登录
进入权限配置页面
选择权限 Hypebase1
编辑
“+” 新增
保存
3.3 安装TDH客户端
Manager为用户提供了两种下载tdh-client的方式，其中选择manager自带tdh-client下载可能会比较慢，本章节将介绍如何进行快速下载。
Manager页面下载客户端，选择“随产品包上传”下载tdh-client。
选择所有组件 ，确定
下载 后上传/opt路径解压如下：
拷贝容器内的bundled_tdh_client目录到本地。此处假设客户端解压到了目录/opt下，命令为：
[root@devops opt]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
1d5c56eca76d tdh-standalone:2023.5 "/usr/bin/boot.sh" 2 hours ago Up 2 hours laughing_perlman
[root@devops opt]#
[root@devops opt]# docker cp 1d5c56eca76d:/var/lib/transwarp-manager/master/content/resources/bundled_tdh_client .
[root@devops opt]# ls
ansible bundled_tdh_client containerd py TDH-Client tdh-client.tar
[root@devops opt]#
[root@devops opt]# ls bundled_tdh_client/
hadoop hyperbase inceptor init.sh kafka redis sqoop zookeeper
复制bundled_tdh_client目录下的内容到解压后的TDH-Client目录下。
[root@devops opt]# cp -nr bundled_tdh_client/* TDH-Client/完成后即可使用TDH-Client。 使用TDH-Client前还需设置JAVA_HOME环境变量。
3.4 集群外使用hadoop client
首先您需要保证JAVA_HOME设置正确。已准备好TDH-Client（TDH-Client文件夹下有init.sh），下方假定TDH-Client存储路径为：/opt
3.4.1 使用zookeeper-client
在guardian上下载zookeeper租户的keytab，假定路径是/opt/TDH-Client/kerberos/zookeeper.keytab
将常用的几个 keytab文件下载 放到/opt/TDH-Client/kerberos 路径下
执行
export ZOOKEEPER_KEYTAB=/opt/TDH-Client/kerberos/zookeeper.keytab
source /opt/TDH-Client/init.sh
3.4.2 使用hadoop/hdfs
# 查看 principal
klist -kt /opt/TDH-Client/kerberos/hdfs.keytab
# 认证
kinit -kt /opt/TDH-Client/kerberos/hdfs.keytab hdfs@TDH创建文件夹和上传文件测试
3.4.3 使用hbase shell
在guardian上下载hbase租户的keytab，假定路径是/tmp/hbase.keytab /opt/TDH-Client/kerberos/hbase.keytab， 如果没有认证直接进入 命令报错如下：
klist -kt /opt/TDH-Client/kerberos/hbase.keytab
确认后执行下方命令方可使用.
export HYPERBASE_KEYTAB=/opt/TDH-Client/kerberos/hbase.keytab
source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hbase.keytab hbase@TDHhbase shel 进入命令行，创建表kangll , put 数据
create 'kangll',{NAME=>'d',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
alter 'kangll', {NAME => 't',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
put 'kangll','e312673c87115b12#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','f8a5414345987335#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','ab68b01fb2fb77d9#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','0fbdc950ab7bac48#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','03852b8d2e682a2d#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','36506147bed193c9#20230215#1','t:md','2023-02-23 18:27:07.692'查询成功
参考文档地址：
https://docs.transwarp.cn/#/documents-support/docs-detail/document/CE-PLATFORM/23-5/003TDH-CE-DEV-InstallManual?docType=docs%3Fcategory%3DTDH%26index%3D0&docName=%E7%A4%BE%E5%8C%BA%E5%BC%80%E5%8F%91%E7%89%88%E5%AE%89%E8%A3%85%E6%89%8B%E5%86%8C