iserver大数据一键部署说明

目录

1. 软件包说明
2. 操作系统安装
   2.1 安装操作系统
   2.2 网络环境配置
   2.3 计算机名更改
3. 一键部署安装
   3.1 配置文件修改
   3.1.1 Host.conf
   3.1.2 Init.conf
   3.1.3 Setting
   3.2 onestep 部署配置
   3.3 执行 bin/01preinstall.sh
   3.4 执行 bin/02installssh.sh
   3.5 执行 bin/03installSoft.sh
4. 大数据环境验证
5. 配置IOBJECTS JAVA
6. IOBJECTS FOR SPARK导数据至HBASE
7. IDESKTOP JAVA配置工作空间
8. ISERVER发布工作空间

操作流程

1 软件包说明
软件包说明表：

2 操作系统安装

• 2.1安装操作系统
  安装CentOS7.5操作系统，注意服务器GUI，ssh服务等需要安装，设置root用户与密码
• 2.2 网络环境配置
  以root用户登录后，设置静态ip
  输入命令
  vi /etc/sysconfig/network-scripts/ifcfg-eth0
  编辑：
  
  之后保存并退出并Systemtcl restart network重启网卡

关于DNS可以：

vim   /etc/resolv.conf
nameserver 192.168.0.1
nameserver 8.8.8.8
nameserver 8.8.4.4

• 2.3 计算机名更改
  hostnametcl set-hostname计算机名
  

3 一键部署安装

• 3.1 配置文件修改
  拷贝ExpressSetupDistributedGIS.tar到主节点机器（只在主节点拷贝就行）
  针对配置文件修改：
  
  • 3.1.1 Host.conf
    
    每行依次为：IP地址 计算机名 root密码
    每列依次为：主节点 子节点1 子节点2 …
  • 3.1.2 Init.conf
    执行大数据环境的组、用户、密码
    
  • 3.1.3 Setting
    大数据软件配置，默认即可
    
• 3.2 onestep 部署配置

1. 拷贝ExpressSetupDistributedGIS.tar 到 192.168.230.145 机器的 /home目录，这里吧145机器作为主机部署，并解压。
   
   解压后，目录结构如下如：
   

2. 修改 conf/host.conf 文件内容，格式是：机器ip，机器名，root用户密码修改后如下图：
   

3. 修改 conf/init.conf文件内容：
   第一组参数是软件具体部署的用户和密码信息。这个必须填
   接下来是指定安装的软件，这里hadoop、zookeeper和hbase这三款产品是一组，顺序不能颠倒。
   然后是软件安装路径，一般都安装在新建的用户下。
   详细截图如下：
   

• 3.3 执行 bin/01preinstall.sh

1. 检查 bin目录和expect目录下的所有文件，需要有执行权限。如果没有 用chmod 777命令赋予权限
2. 这个执行脚本，必须在root用户下执行，主要做了如下几个事：安装expect软件；安装并部署ntp时间同步服务器关闭防火墙安装Java；并根据配置，修改所有软件参数
   
3. 验证，所有机器都会部署，我们登录到147机器验证时间同步服务：
   
   切换到map用户，验证Java
   

• 3.4 执行 bin/02installssh.sh
  在145主机，切换到map账户，执行这个脚本，执行结果如下：
  
• 3.5 执行 bin/03installSoft.sh
  同上，还是在145主机，map账户，执行这个脚本。
  安装软件，这个过程需要几分钟。
  安装后，会在安装件安装目录生成 start_all.sh 和 stop_all.sh 后续用户可以用这两个脚本来统一启动和关闭软件。
  4 大数据环境验证

1. 验证hadoop：
   
2. 验证hbase：
   
3. 验证spark：
   

5 配置iObjects Java

组件包：supermap-spark-10.0.0-20190815.zip

配置iObjects Java有两种途径，第一种是配置环境变量，在Windows操作系统中，将iobjectsjava Windows产品的bin目录路径设置到spark-env.h 的 PATH 中：

set PATH=%PATH%:{iobjectsjava Windows产品的bin目录}

在Linux 操作系统中，将 iobjectsjava Linux产品的bin目录路径设置到spark-env.h 的 LD_LIBRARY_PATH 中：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:{iobjectsjava Linux产品的bin目录}

其中，Linux操作系统还支持直接将产品包拷贝至/opt/SuperMap/iobjects/1000目录下，SuperMap产品会默认找该路径下的组件包。

6 iObjects for Spark导数据至hbase

1. 指定spark集群环境，可以省略的步骤，默认local执行
   打开SuperMap iObjects for Spark/bin目录下的iobjects4spark.sh文件进行编辑，填写修改需要执行算法的spark集群地址。
   

Spark集群地址可在web页面中查看：

2. 在SuperMap iObjects for Spark/bin目录下使用tools工具的copy-features将数据集导入HBase，参考以下写法（或参看bdt.xls）：



支持导入的数据源类型出了udb之外还有以下几种，具体写法可参考产品包中README.pdf：

在hbase的web页面中确认已经成功导入数据。

7 iDesktop Java配置工作空间

使用iDesktop Java【打开数据库型数据源】，选择【HBase】数据库，填写zookeeper地址，选择catalog名称。

打开需要发布的数据集，全幅、（配置风格）、保存地图、保存工作空间

8 iServer发布工作空间

将工作空间文件拷贝至iserver服务器上，使用iserver发布工作空间