戎码一生为了谁！
戎码一生为了谁！

鲲鹏泰山（arm）服务器搭建ambari

鲲鹏搭建ambari以及项目部署说明

1.介绍

Ambari是Apache Software Foundation中的一个顶级项目，它可以创建、管理、监视Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等）的集群，使得Hadoop以及相关的大数据软件更容易使用。

Ambari本身是一个分布式架构的软件，由Ambari Server和Ambari Agent两部分组成，用户可通过Ambari Server通知Ambari Agent安装对应的软件，Ambari Agent会定时地发送各个机器每个软件模块的状态给Ambari Server，最终这些状态信息会呈现在Ambari的GUI界面上，方便用户了解到集群的各种状态，并进行相应的维护。

1.1简要介绍

部署Ambari集群前，需准备每台服务器环境：安装OS（本文统一采用CentOS 7.6操作系统）、关闭SELinux权限、关闭防火墙等；部署Ambari集群的整体流程大致分为2步：

  1. 配置部署环境。

该步骤包括：更新本地yum源、安装Ambari Server、拷贝安装OpenJDK等。

  1. 部署Ambari Server。
软件 版本
OpenJDK 1.8.0
Ambari 2.7.3.0.0

该步骤包括：Ambari Server Setup、启动Ambari Server服务、安装Ambari Agent、安装组件、启动组件服务等。

1.2部署流程图

部署流程图如图1所示。

图1 部署流程图
鲲鹏泰山（arm）服务器搭建ambari_第1张图片

1.3物理组网

物理组网方式如图2所示。

图2 物理组网
鲲鹏泰山（arm）服务器搭建ambari_第2张图片

说明： yum源服务器最好单独拿一台服务器独立部署。

2.环境要求

表1 TaiShan服务器部署场景
项目 说明
服务器 TaiShan 200服务器
CPU 华为鲲鹏920处理器
网络 可访问外网
磁盘分区 对磁盘分区无要求

3. 配置部署环境

3.1检查操作系统

表4 TaiShan服务器的操作系统要求
项目 版本
CentOS 7.6 aarch64
Kernel 4.14.0

3.1.1检查操作系统版本。

cat /etc/redhat-release

在这里插入图片描述

说明： 支持的操作系统为CentOS 7.5 、7.6

3.1.2****检查操作系统默认语言。

echo $LANG

在这里插入图片描述

l 若操作系统默认语言为en_US.UTF-8，则进入3.1.3。

l 若操作系统默认语言非en_US.UTF-8，则执行以下步骤：

​ 将默认语言由中文切换为英文。

echo ‘export LANG=en_US.UTF-8’>> ~/.bashrc

.将当前会话关闭后重新登录。

3.1.3设置操作系统时区。

操作系统时区统一设置为（Asia /Shanghai)。

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

说明： 如果安装OS时已经将时区设置为Asia /Shanghai，则[3]*

(#kunpengambarihdp_04_0004__li54271650182818).1.3可忽略。

3.2设置域名解析

集群所有主机都必须配置域名解析，才能实现Server对Agent的顺利访问。建议由系统管理员统一配置，配置方法如下：

3.2.1在每台主机上设置相应的主机名。

l 编辑网络配置文件。

vi /etc/sysconfig/network

设置文件内容为：

NETWORKING=yes

HOSTNAME= {主机名}

l 设置主机名。

hostnamectl set-hostname {主机名}

3.2.2配置“/etc/hosts”。

l 为集群中每一台主机添加一行包含主机IP地址与完整主机名的信息。

vi /etc/hosts

例如：

鲲鹏泰山（arm）服务器搭建ambari_第3张图片

l 可以在一台主机上配置，然后同步“/etc/hosts”到集群中所有节点上。

scp /etc/hosts root@{目标ip}:/etc/hosts**/**

l 重启所有节点网络服务。

systemctl restart network

3.2.3验证。

l hostname -i 正确返回主机IP地址

l hostname -f 正确返回主机名称

3.3关闭防火墙

说明： Ambari部署Hadoop集群时需要保证Ambari Server能够连接到Ambari Agent。

进行安装任务，集群所有主机都必须关闭防火墙。

systemctl disable firewalld

systemctl stop firewalld

3.4关闭selinux和配置limits参数

3.4.1更改SELinux为宽容模式。

setenforce 0

3.4.2****编辑/etc/selinux/config文件，永久禁止SELinux自动启动。

vi /etc/selinux/config

设置SELINUX=disabled，如下所示：
鲲鹏泰山（arm）服务器搭建ambari_第4张图片

3.4.3集群所有主机设置umask，设置用户创建目录默认权限。

umask 0022

echo umask 0022 >> /etc/profile

3.4.5编辑“/etc/security/limits.conf”文件。

vi /etc/security/limits.conf

添加如下最后四行的内容：

鲲鹏泰山（arm）服务器搭建ambari_第5张图片

# End of file

* hard nproc 65535

* soft nproc 65535

* hard nofile 65535

* soft nofile 65535

3.5禁用交换分区

在群内所有主机禁用交换分区。

sysctl vm.swappiness=0

echo vm.swappiness=0 >> /etc/sysctl.conf

3.6设置节点互信ssh免密登录

Ambari Server与Ambari Agent服务器之间需要配置ssh无密访问，Ambari Server通过SSH公钥授权远程登录其他主机。配置方法如下

3.6.1产生ssh密钥。

l 在集群每台主机产生SSH认证密钥对。

ssh-keygen -t rsa

鲲鹏泰山（arm）服务器搭建ambari_第6张图片

3.6.2配置ssh免密登录。

将Ambari Server生成的公钥文件id_rsa.pub拷贝至集群其他Ambari Agent主机。

在Ambari Server主机执行：

cd ~/.ssh/

ssh-copy-id -i ~/.ssh/id_rsa.pub root@{target_host}

说明：{target_host}包括hadoop集群的所有主机，可以是主机名或IP地址。

· 该命令完成后会在{target_host}的~/.ssh/目录下生成文件authorized_keys。

3.6.3所有主机设置文件目录权限。

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

3.6.4 Ambari Server主机分别免密码登录检查。

ssh {tarqet.host}

​

3.7配置OS镜像源

集群中每台服务器均需配置本地镜像源。

3.7.1挂载镜像源。

在有OS镜像文件文件的目录下执行：

mount YOUR_OS.iso /media/ -o loop

说明： YOUR_OS.iso用实际的iso包名代替。（iso镜像为安装的centos镜像，需手动上传）

3.7.2配置本地源。

l 备份repo。

cd /etc/yum.repos.d

mkdir -p /etc/yum.repos.d/bak

mv *.repo bak

l 创建并编辑local.repo文件。

vi local.repo

在local.repo文件中添加如下内容：

[local] name=local repo

baseurl=file:///media

enabled=1

gpgcheck=0

生效本地源。

yum clean all

yum makecache

3.8安装JDK（两种方法二选一）

说明： 集群内所有主机，如果需要开启kerberos，还需jce安装包。

3.8.1方法一：RPM包安装

安装JDK（需先执行配置OS镜像源）。

yum install java-1.8.0-openjdk -y

打开环境变量的配置文件。

vi /etc/profile

添加下面语句至文件最后。

export JAVA_HOME=/usr/lib/jvm/java

export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH

3.8.2方法二：Tar包安装

说明： 尽量选择jdk1.8及以上版本，x86服务器如 TaiShan服务器如 jdk-8u222-linux-aarch64.tar.gz，这里以TaiShan服务器为例。

下载安装包（根据具体环境选择下载）

ARM环境下载地址：(此路径可能更新，具体路径可自行搜索)

https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u222-b10/OpenJDK8U-jdk_aarch64_linux_hotspot_8u222b10.tar.gz

也可以去如下地址自行选择对应版本：

https://adoptopenjdk.net/releases.html

官方下载地址：

https://www.oracle.com/technetwork/java/javase/downloads/index.html

l 解压及修改权限。

tar -zxvf OpenJDK8U-jdk_x64_linux_hotspot_8u222b10.tar

chown -R root:root jdk8u222-b10/

chmod -R 755 jdk8u222-b10/

l 移动到“/usr/local”目录下。

mv jdk8u222-b10/ /usr/local/

l 打开环境变量的配置文件。

vi /etc/profile

l 添加下面语句至文件最后。

export JAVA_HOME=/usr/local/jdk8u222-b10

export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH

l 更新环境变量。

source /etc/profile

3.9搭建yum源服务器

准备一台服务器，作为yum源。搭建yum源服务器需要做到以下几步：关闭防火墙、关闭selinux权限、安装Apache-Httpd服务和管理rpm包，部分操作参照关闭防火墙~禁用交换分区章节。

**3.9.1****下载rpm包

说明： 以防遗漏，请全部下载。

鲲鹏rpm下载地址：

https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/HDP-UTILS-1.1.0.22/repos/HDP-UTILS-1.1.0.22-centos7.tar.gz

https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/HDP-GPL/3.x/updates/3.1.0.0/HDP-GPL-3.1.0.0-centos7-gpl.tar.gz

https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ambari/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz

https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/HDP/3.x/updates/3.1.0.0/HDP-3.1.0.0-centos7-rpm.tar.gz

3.9.2安装httpd组件

l 安装httpd和createrepo。

yum install httpd createrepo

l 开启httpd服务。

service httpd start

l 验证。

systemctl status httpd.service

若状态为running，则安装并启动成功：

鲲鹏泰山（arm）服务器搭建ambari_第7张图片

3.9.3管理rpm包

l Ambari rpm包：

分别创建如下目录，管理ambari的rpm包。

mkdir -p /var/www/html/entry/ambari/2.7.3.0.0/centos7/aarch64

其中把前面下载tar.gz包解压出的rpm包进行分类，鲲鹏计算平台的包放到aarch64目录
鲲鹏泰山（arm）服务器搭建ambari_第8张图片

l HDP rpm包：

分别创建如下目录，管理hdp的rpm包。

mkdir -p /var/www/html/entry/hdp/3.1/centos7/aarch64

aarch64

│ ├── atlas-metadata_3_1_0_0_78-1.1.0.3.1.0.0-78.aarch64.rpm

│ ├── bigtop-jsvc-1.0.15-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-client-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-conf-pseudo-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-datanode-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-fuse-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-journalnode-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-namenode-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-secondarynamenode-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-hdfs-zkfc-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-httpfs-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-httpfs-server-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-libhdfs-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-mapreduce-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-mapreduce-historyserver-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-source-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-nodemanager-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-proxyserver-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-registrydns-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-resourcemanager-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-timelinereader-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hadoop_3_1_0_0_78-yarn-timelineserver-3.1.1.3.1.0.0-78.aarch64.rpm

│ ├── hbase_3_1_0_0_78-2.0.2.3.1.0.0-78.aarch64.rpm

│ ├── hive_3_1_0_0_78-3.1.0.3.1.0.0-78.aarch64.rpm

│ ├── hive_3_1_0_0_78-jdbc-3.1.0.3.1.0.0-78.aarch64.rpm

│ ├── livy2_3_1_0_0_78-0.5.0.3.1.0.0-78.aarch64.rpm

│ ├── phoenix_3_1_0_0_78-5.0.0.3.1.0.0-78.aarch64.rpm

│ ├── ranger_3_1_0_0_78-hbase-plugin-1.2.0.3.1.0.0-78.aarch64.rpm

│ ├── ranger_3_1_0_0_78-hdfs-plugin-1.2.0.3.1.0.0-78.aarch64.rpm

│ ├── ranger_3_1_0_0_78-hive-plugin-1.2.0.3.1.0.0-78.aarch64.rpm

│ ├── ranger_3_1_0_0_78-yarn-plugin-1.2.0.3.1.0.0-78.aarch64.rpm

│ ├── spark2_3_1_0_0_78-2.3.2.3.1.0.0-78.aarch64.rpm

│ ├── spark2_3_1_0_0_78-yarn-shuffle-2.3.2.3.1.0.0-78.aarch64.rpm

│ └── tez_3_1_0_0_78-0.9.1.3.1.0.0-78.aarch64.rpm

3.9.4创建yum源仓库

l 使用createrepo命令，创建yum源仓库。

cd /var/www/html/entry/ambari/2.7.3.0.0/centos7 && createrepo .

cd /var/www/html/entry/hdp/3.1/centos7 && createrepo .

须知：createrepo 后需要加路径，上述命令最后的“.”，表示当前路径，不可缺少，否则会报错。

执行以上两条命令后，将在以上两个目录分别生成repodata文件夹：

[root@Management-1 centos7]# ll

total 12

drwxr-xr-x 2 root root 4096 Oct 15 16:34 aarch64

drwxr-xr-x 2 root root 4096 Oct 15 19:01 repodata

l 配置repo文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YLMO9ML9-1595222397398)(file:///C:\Users\xayj\AppData\Local\Temp\ksohtml15564\wps21.jpg)]说明： 这一步需在集群中每台服务器上执行。

l 创建并编辑ambari.repo文件。

cd /etc/yum.repos.d

vi ambari.repo

在ambari.repo文件中添加如下内容：

[ambari]

name=ambari repo

baseurl=http://{yum源服务器ip}/entry/ambari/2.7.3.0.0/centos7

enabled=1

gpgcheck=0

l 创建并编辑hdp.repo文件。

vi hdp.repo

在hdp.repo文件中添加如下内容：

[hdp]

name=hdp repo

baseurl=http://{yum源服务器ip}/entry/hdp/3.1/centos7

enabled=1

gpgcheck=0

说明： baseurl可以在浏览器中验证是否能够正常访问。

l 生效源地址。

yum clean all

yum makecache

3.10操作系统时钟设置

集群中所有节点主机的时间必须设置同步才能访问Ambari的Web Ul界面。

3.10.1****安装NTP服务。

l 检查是否安装NTP服务。

rpm -qa|grep ntp

在这里插入图片描述

l 安装 NTP 服务。

yum install ntp -y

3.10.2检测时间同步是否开机自启。

在集群内所有节点检查是否设置时钟同步开机自启。

systemctl is-enabled ntpd

在这里插入图片描述

若已设置，则进入3.10.3。

若未设置，则设置开机自启。

systemctl enable ntpd

3.10.3（可选）配置 NTP server。

l 在集群中的其中一台服务器配置NTP server。

vi /etc/ntp.conf

说明： 有外部时钟源则跳过此操作。

参照下面内容进行设置。

# Hosts on local network are less restricted.

restrict IP address1 mask IP address2 nomodify notrap

#允许内网其他机器同步时间，IP address1为当前网关，IP address2为子网掩码
# Use public servers from the pool.ntp.org project.

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#server 0.centos.pool.ntp.org iburst #注释掉原时钟服务器

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

server IP address #设置本机为时钟服务器

Fudge IP address stratum 10

l 设置时间为当前时间。

例：date -s ‘20191010 13:49’

l 重启ntp服务。

systemctl restart ntpd.service

3.10.4配置ntp client。

在其他服务器中配置。

vi /etc/ntp.conf

# Hosts on local network are less restricted.

restrict IP address1 mask IP address2 nomodify notrap

# Use public servers from the pool.ntp.org project.

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

server IP address  perfer                      #设置为ntpserver的ip           

fudge IP address  stratum 10

重启ntp服务。

systemctl restart ntpd.service

3.10.5 5分钟后验证ntp时钟同步。

输入ntpstat

ntp server状态如下:

synchronised to local net at stratum 6

time correct to within 12 ms

polling server every 64 s

ntp client状态如下:

synchronised to NTP server (IP address) at stratum 7

time correct to within 41 ms

polling server every 1024 s

3.11(可选)创建普通用户

3.11.1主机server1创建普通用户，用于安装ambari-server及日常维护。

groupadd bigdata

useradd -g bigdata -d /home/bigdata bigdata

3.11.2修改bigdata密码。

echo “bigdata@123” | passwd --stdin bigdata

3.11.3 给bigdata用户设置root权限。

cp /etc/sudoers /etc/sudoers_bak

echo “bigdata ALL=(ALL) NOPASSWD:ALL” >> /etc/sudoers

2. 部署Ambari

4.1安装数据库

4.1.1安装数据库服务。

说明： 在集群中server服务器上执行即可。

l 安装mariadb及mysql相关服务。

说明：也可以自行安装mysql

yum install mariadb mariadb-server.aarch64 mysql-connector-java.noarch -y

l 启动并设置mariadb为开机启动。

systemctl start mariadb

systemctl enable mariadb

l 启动状态查询。

systemctl status mariadb.service

l 状态为running则启动成功：

鲲鹏泰山（arm）服务器搭建ambari_第9张图片

l 登录并修改默认密码。

mysql -uroot -p

默认没有密码，按回车即可登录。

[root@server1 yum.repos.d]# mysql -uroot -p

Enter password:

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MariaDB connection id is 2

Server version: 5.5.60-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
MariaDB [(none)]>

设置密码。

set password = password(‘密码’);

MariaDB [(none)]> set password = password(**'root'**);

Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> flush privileges;

Query OK, 0 rows affected (0.00 sec)

须知：****flush privileges**必须执行，否则设置不生效。

l 验证密码。

退出后重新登录，查看密码是否修改成功。

MariaDB [(none)]> exit;

Bye

 [root@server1 yum.repos.d]# mysql -uroot -p
 Enter password:
 
 Welcome to the MariaDB monitor.  Commands end with ; or \g.
 
 Your MariaDB connection id is 4
 
Server version: 5.5.60-MariaDB MariaDB Server

 Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

 Type 'help;' or '\h' for help. Type '\c' to clear the current input
 statement.
  

 MariaDB [(none)]>

l 创建Ambari数据库并配置权限。

MariaDB [(none)]> create database ambari;
 
Query OK, 1 row affected (0.00 sec)
  
MariaDB [(none)]> use ambari;
 
Database changed

MariaDB [ambari]> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)

MariaDB [ambari]> GRANT ALL PRIVILEGES on *.* To 'ambari'@'%'
IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)

MariaDB [ambari]> CREATE USER 'ambari'@'**server1**' IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.01 sec)
 

MariaDB [ambari]> GRANT ALL PRIVILEGES on *.* To 'ambari'@'**server1**' IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)
  
 
MariaDB [ambari]> CREATE USER 'ambari'@'**agent1**' IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)
   
 
MariaDB [ambari]> GRANT ALL PRIVILEGES on *.* To 'ambari'@'**agent1**'
IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)

MariaDB [ambari]> CREATE USER 'ambari'@'**agent2**' IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)
 
MariaDB [ambari]> GRANT ALL PRIVILEGES on *.* To 'ambari'@'**agent2**'
IDENTIFIED BY 'ambari123';
Query OK, 0 rows affected (0.00 sec)

MariaDB [ambari]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

说明： 根据实际情况进行修改，需要对集群中每一台服务器创建用户。

4.2部署Ambari-server

本章操作可选用bigdata或者root用户执行。(以下二选一)

4.2.1下载安装Ambari-server

l root用户执行：

yum install ambari-server.aarch64

l bigdata用户执行：

执行su bigdata

sudo yum install ambari-server.aarch64

4.2.2初始化Ambari数据库连接配置

l 在集群中所有服务器上切换回root用户添加环境变量，否则无法执行下一步。（若上步用root则不用切换）

vi /etc/profile

export buildNumber=2.7.3.0.0

l 生效环境变量。

source /etc/profile

l 初始化Ambari数据库连接配置。

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

bigdata用户需执行：

sudo ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

鲲鹏泰山（arm）服务器搭建ambari_第10张图片

4.2.3 Ambari-server安装配置

l 安装Ambari-server。

ambari-server setup

l （若非root）bigdata用户执行：

sudo ambari-server setup

鲲鹏泰山（arm）服务器搭建ambari_第11张图片

说明： 若使用普通用户安装Ambari-server，参数“Customize user account for ambari-server daemon [y/n] (n)?”选择“y”，
参数“Enter user account for ambari-server daemon (root)”则输入建立的普通用户。
参数“Path to JAVA_HOME”根据安装JDK的实际路径填写。

鲲鹏泰山（arm）服务器搭建ambari_第12张图片

说明： 参数Enter Database Password（bigdata）输入安装数据库中设置的密码。

l 根据实际情况输入后回车。

鲲鹏泰山（arm）服务器搭建ambari_第13张图片

4.2.4初始化Ambari数据库

l 登录mysql。

mysql -uroot -p

MariaDB [(none)]> use ambari;
Database changed
MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

l 验证脚本是否初始化成功，出现以下table列表：

鲲鹏泰山（arm）服务器搭建ambari_第14张图片

4.2.5启动Ambari服务

l 启动Ambari服务。

ambari-server start

l (若非root用户)bigdata用户执行：

sudo ambari-server start

鲲鹏泰山（arm）服务器搭建ambari_第15张图片

l （可选）Ambari 相关命令

查看Ambari server状态。

ambari-server status

[root@Namenode1 centos7]# ambari-server status

Using python  /usr/bin/python

Ambari-server status**Ambari Server running**

Found Ambari Server PID: 18130 at: /var/run/ambari-server/ambari-server.pid

4.3部署Hadoop集群

4.3.1登录Ambari界面

启动ambari-server后，通过客户端浏览器登录Ambari的界面。

浏览器网址：http://:8080。

默认登录用户名/密码为：admin/admin。

鲲鹏泰山（arm）服务器搭建ambari_第16张图片

4.3.2启动Ambari部署向导

单击“Launch Install Wizard”搭建集群。
鲲鹏泰山（arm）服务器搭建ambari_第17张图片

输入集群的名字，不能使用空格和其他特殊字符。例如：“cluster1”

鲲鹏泰山（arm）服务器搭建ambari_第18张图片

单击“下一步”，进入选择版本。

4.3.3选择版本

将除了redhat7之外的os选项通过右边的remove删除。

鲲鹏泰山（arm）服务器搭建ambari_第19张图片

在redhat7对应的base url中填入hdp.repo文件中的地址，这里为http://{yum源服务器ip}/entry/hdp/3.1/centos7。

在这里插入图片描述

单击“下一步”，进入安装选项。

4.3.4安装选项

在目标主机中填入集群中所有服务器的主机名。

鲲鹏泰山（arm）服务器搭建ambari_第20张图片

填入server主机的ssh密钥。

通过cat ~/.ssh/id_rsa命令获取。

鲲鹏泰山（arm）服务器搭建ambari_第21张图片

单击“REGISTER AND CONFIRM”，进入确认主机。

4.3.5确认主机

安装ambari-agent，并检测主机，保证检查结果没问题。
鲲鹏泰山（arm）服务器搭建ambari_第22张图片
鲲鹏泰山（arm）服务器搭建ambari_第23张图片

单击“下一步”，进入部署基础服务。

4.3.6部署基础服务

说明： 没有特别说明直接单击下一步即可。

选择服务，单击“下一步”。

根据自己需要，安装HDFS、ZooKEEPER、Ambari Metrics、Atlas、hive、tez、yarn+mapreduce等服务

鲲鹏泰山（arm）服务器搭建ambari_第24张图片

须知：**有可能会出现以下几种情况，都选择continue或proceed anyway。
鲲鹏泰山（arm）服务器搭建ambari_第25张图片
鲲鹏泰山（arm）服务器搭建ambari_第26张图片
鲲鹏泰山（arm）服务器搭建ambari_第27张图片

须知：Datanode directories只能配置数据盘对应的目录，配置系统盘目录容易将系统盘写满，导致服务挂起。NameNode directories配置的目录数量控制在2-3个，可以配置为系统盘较大的目录。

格式化数据盘和挂盘命令参考：

parted /dev/sdb mklabel gpt

parted /dev/sdb mkpart logical 0% 100%

mkfs.xfs -f /dev/sdb1

mkdir -p /hadoop/data1

mount /dev/sdb1 /hadoop/data1

输入集群的密码，此处都为默认密码。

鲲鹏泰山（arm）服务器搭建ambari_第28张图片

鲲鹏泰山（arm）服务器搭建ambari_第29张图片

说明： 添加Hive服务时需要在MySQL所在的server中新建一个名称为Hive的Database。

登录MySQL。

mysql -u root -p

创建名称为Hive的Database。

create database hive;

退出MySQL。

exit;

上图中，Database 的下拉框选择Existing MySQL/MariaDB，Username为安装数据库中创建的Ambari，密码为ambari123，Database URL的主机部分需改成mysql server主机的hostname，图中server主机是server1，根据实际情况填写。如：jdbc:mysql://server1/hive

Test connection成功后可单击“下一步”。

鲲鹏泰山（arm）服务器搭建ambari_第30张图片

鲲鹏泰山（arm）服务器搭建ambari_第31张图片

鲲鹏泰山（arm）服务器搭建ambari_第32张图片

鲲鹏泰山（arm）服务器搭建ambari_第33张图片

鲲鹏泰山（arm）服务器搭建ambari_第34张图片

**须知：**当前页面时需要刷新一下浏览器页面，使当前界面中Repositories中有url地址。

鲲鹏泰山（arm）服务器搭建ambari_第35张图片

等待安装完成。

鲲鹏泰山（arm）服务器搭建ambari_第36张图片
鲲鹏泰山（arm）服务器搭建ambari_第37张图片

4.3.7添加服务若上面没有添加服务也可安装完基本组件之后安装，如下

添加Yarn+MapReduce2服务：

单击add service，选择yarn+mapreduce2。
鲲鹏泰山（arm）服务器搭建ambari_第38张图片

鲲鹏泰山（arm）服务器搭建ambari_第39张图片

鲲鹏泰山（arm）服务器搭建ambari_第40张图片

鲲鹏泰山（arm）服务器搭建ambari_第41张图片

鲲鹏泰山（arm）服务器搭建ambari_第42张图片

鲲鹏泰山（arm）服务器搭建ambari_第43张图片

单击“下一步”，等待安装完成。

鲲鹏泰山（arm）服务器搭建ambari_第44张图片

**须知：**安装完，可能会有以下告警，请重启带重启标志的组件。

鲲鹏泰山（arm）服务器搭建ambari_第45张图片

l 添加hive服务

单击add service，选择Hive和Tez。

鲲鹏泰山（arm）服务器搭建ambari_第46张图片
鲲鹏泰山（arm）服务器搭建ambari_第47张图片

鲲鹏泰山（arm）服务器搭建ambari_第48张图片

设置Hive的Database。
鲲鹏泰山（arm）服务器搭建ambari_第49张图片
鲲鹏泰山（arm）服务器搭建ambari_第50张图片

说明： 添加Hive服务时需要在MySQL所在的server中新建一个名称为Hive的Database。

登录MySQL。

mysql -u root -p

创建名称为Hive的Database。

create database hive;

退出MySQL。

exit;

上图中，Database 的下拉框选择Existing MySQL/MariaDB，Username为安装数据库中创建的Ambari，密码为ambari123，Database URL的主机部分需改成mysql server主机的hostname，图中server主机是server1，根据实际情况填写。如：jdbc:mysql://server1/hive

Test connection成功后可单击“下一步”。

鲲鹏泰山（arm）服务器搭建ambari_第51张图片

等待安装完成。
鲲鹏泰山（arm）服务器搭建ambari_第52张图片

说明： Check Tez失败可忽略。
鲲鹏泰山（arm）服务器搭建ambari_第53张图片

l 添加spark服务

单击add service，选择spark2。
鲲鹏泰山（arm）服务器搭建ambari_第54张图片

鲲鹏泰山（arm）服务器搭建ambari_第55张图片

鲲鹏泰山（arm）服务器搭建ambari_第56张图片

鲲鹏泰山（arm）服务器搭建ambari_第57张图片
鲲鹏泰山（arm）服务器搭建ambari_第58张图片

等待安装完成。后重启相应服务
鲲鹏泰山（arm）服务器搭建ambari_第59张图片

须知：**安装完，可能会有以下告警，请重启带重启标志的组件。

本文为参考华为技术栈成功搭建之后所编写，若有侵权请及时联系！

你可能感兴趣的:(ambari,hadoop,ambari,服务器)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • swagger访问路径 igotyback swagger
    Swagger2.x版本访问地址：http://{ip}:{port}/{context-path}/swagger-ui.html{ip}是你的服务器IP地址。{port}是你的应用服务端口，通常为8080。{context-path}是你的应用上下文路径，如果应用部署在根路径下，则为空。Swagger3.x版本对于Swagger3.x版本（也称为OpenAPI3）访问地址：http://{ip
  • 高级编程--XML+socket练习题 masa010 java开发语言
    1.北京华北2114.8万人上海华东2,500万人广州华南1292.68万人成都华西1417万人（1）使用dom4j将信息存入xml中（2）读取信息，并打印控制台（3）添加一个city节点与子节点（4）使用socketTCP协议编写服务端与客户端，客户端输入城市ID，服务器响应相应城市信息（5）使用socketTCP协议编写服务端与客户端，客户端要求用户输入city对象，服务端接收并使用dom4j
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器） 编程经验分享 开发工具服务器sshlinux
    目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
  • git - Webhook让部署自动化 大猪大猪
    我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
  • Linux查看服务器日志 TPBoreas 运维linux运维
    一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
  • Python多线程实现大规模数据集高效转移 sand&wich 网络python服务器
    背景在处理大规模数据集时，通常需要在不同存储设备、不同服务器或文件夹之间高效地传输数据。如果采用单线程传输方式，当数据量非常大时，整个过程会非常耗时。因此，通过多线程并行处理可以大幅提升数据传输效率。本文将分享一个基于Python多线程实现的高效数据传输工具，通过遍历源文件夹中的所有文件，将它们移动到目标文件夹。工具和库这个数据集转移工具主要依赖于以下Python标准库：os：用于文件系统操作，如
  • 笋丁网页自动回复机器人V3.0.0免授权版源码 希希分享 软希网58soho_cn源码资源笋丁网页自动回复机器人
    笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
  • 深入浅出 -- 系统架构之负载均衡Nginx的性能优化 xiaoli8748_软件开发 系统架构系统架构负载均衡nginx
    一、Nginx性能优化到这里文章的篇幅较长了，最后再来聊一下关于Nginx的性能优化，主要就简单说说收益最高的几个优化项，在这块就不再展开叙述了，毕竟影响性能都有多方面原因导致的，比如网络、服务器硬件、操作系统、后端服务、程序自身、数据库服务等，对于性能调优比较感兴趣的可以参考之前《JVM性能调优》中的调优思想。优化一：打开长连接配置通常Nginx作为代理服务，负责分发客户端的请求，那么建议开启H
  • 最简单将静态网页挂载到服务器上(不用nginx) 全能全知者 服务器nginx运维前端html笔记
    最简单将静态网页挂载到服务器上(不用nginx)如果随便弄个静态网页挂在服务器都要用nignx就太麻烦了，所以直接使用Apache来搭建一些简单前端静态网页会相对方便很多检查Web服务器服务状态：sudosystemctlstatushttpd#ApacheWeb服务器如果发现没有安装web服务器：安装Apache：sudoyuminstallhttpd启动Apache：sudosystemctl
  • 阿里云服务器4核8G配置购买及价格类文章汇总（10篇） 阿里云最新优惠和活动汇总
    阿里云服务器4核8G配置如何购买？价格是多少？4核8G配置的阿里云服务器可以通过云服务器产品页购买也可以通过阿里云活动去下单购买，一般通过活动购买的用户比较多，但是不同实例规格的阿里云服务器价格不一样，带宽不同价格也不一样，本文为大家汇总了10篇关于阿里云服务器4核8G配置购买教程文章和价格类文章，分为购买类文章和价格类文章，以供大家参考如何购买阿里云服务器4核8G配置和最新优惠价格是多少。阿里云
  • windows下python opencv ffmpeg读取摄像头实现rtsp推流 拉流 图像处理大大大大大牛啊 opencv实战代码讲解视觉图像项目windowspythonopencv
    windows下pythonopencvffmpeg读取摄像头实现rtsp推流拉流整体流程1.下载所需文件1.1下载rtsp推流服务器1.2下载ffmpeg2.开启RTSP服务器3.opencv读取摄像头并调用ffmpeg进行推流4.opencv进行拉流5.opencv异步拉流整体流程1.下载所需文件1.1下载rtsp推流服务器下载RTSP服务器下载页面https://github.com/blu
  • NPM私库搭建-verdaccio（Linux） Beam007 npmlinux前端
    1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • [实验室服务器使用]使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器 YuanDaima2048 工具使用服务器vscodepycharmcmd代理模式机器学习实验
    文章总览：YuanDaiMa2048博客文章总览实验室服务器使用：使用VSCode、PyCharm、MobaXterm和CMD连接远程服务器在进行实验室工作时，远程连接服务器是常见的需求之一。本篇文章根据个人的一些使用介绍使用不同工具连接服务器的方法，并提供优化功能，使服务器能够使用本机代理的说明。准备服务器账号信息Host（主机）:10.XXX.XX.XXXPort（端口）:[SSHPort]U
  • L1 L2 L3 缓存 京天不下雨 windows缓存windows
    L1L2L3缓存L1Cache(一级bai缓存)是CPU第一层高速缓存，分为数据缓存和指令缓存。du内置的zhiL1高速缓存的容量和结构对daoCPU的性能影响较大，不过高速缓冲存储器均由静态RAM组成，结构较复杂，在CPU管芯面积不能太大的情况下，L1级高速缓存的容量不可能做得太大。一般服务器CPU的L1缓存的容量通常在32—4096KB。L2由于L1级高速缓存容量的限制，为了再次提高CPU的运
  • golang实现从服务器下载文件到本地指定目录 余生逆风飞翔 golang服务器开发语言
    一、连接服务器，采用sftp连接模式packagemiddlewaresimport("fmt""time""github.com/pkg/sftp""golang.org/x/crypto/ssh")//建立服务器连接funcConnect(user,password,hoststring,portint)(*sftp.Client,error){var(auth[]ssh.AuthMethod
  • 鲲鹏 ARM 架构 麒麟 Lylin v10 安装 Nginx (离线) 焚木灵 arm开发架构nginx服务器
    最近做一个银行的项目，银行的服务器是鲲鹏ARM架构的服务器，并且是麒麟v10的系统，这里记录一下在无法访问外网安装Nginx的方法。其他文章：鲲鹏ARM架构麒麟Lylinv10安装Mysql8.3(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Node和NVM(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装Pm2(离线)-CSDN博客鲲鹏ARM架构麒麟Lylinv10安装P
  • Nginx之代理模块 ngx_http_proxy_module 途径日暮不赏丶 nginxnginx
    正向代理正向代理是指位于客户机（A）和站点服务器（B）之间的代理服务器（C），为了从站点服务器（B）获取资源，客户机（A）向代理服务器（C）发送请求并指定站点服务器（B），然后代理服务器（C）向站点服务器（B）转交请求并将获取的资源返回给客户机（A）。上述这样的代理模式称为正向代理，正向代理最大的特点：客户端非常明确要访问的服务器地址；服务器只清楚请求来自哪个代理服务器，而不清楚来自哪个具体的客户
  • 导致格式错误的 Lambda 代理响应的原因以及如何修复它 zqhdz米时空 汇编
    当人们尝试使用AWSAPIGateway和AWSLambda构建无服务器应用程序时，经常出现的一个问题是_由于配置错误而执行失败：Lambda代理响应格式错误。_没有什么比通用错误消息更糟糕的了，它们不会告诉您解决问题所需的任何内容，对吧？AWS并不是以其错误消息设计而闻名，如果甚至可以这样称呼它的话，更不用说为您提供解决问题的方法了。那么如何修复这个Lambda错误以及是什么原因造成的呢？花椒壳
  • 网关gateway学习总结 猪猪365 学习总结学习总结
    一微服务概述:微服务网关就是一个系统!通过暴露该微服务的网关系统,方便我们进行相关的鉴权,安全控制,日志的统一处理,易于监控的相关功能!实现微服务网关技术都有哪些呢?1nginx:nginx是一个高性能的http和反向代理web的服务器,同事也提供了IMAP/POP3/SMTP服务.他可以支撑5万并发链接,并且cpu,内存等资源消耗非常的低,运行非常的稳定!2Zuul:Zuul是Netflix公司
  • Nginx之ngx_http_proxy_connect_module模块 小米bb Nginxnginxhttp运维
    近期由于项目需要使用到https正向代理，而nginx官方模块仅支持做http正向代理，一番百度学习后发现了该模块，故今日记录下此笔记供大家一起学习交流ngx_http_proxy_connect_module模块主要用于隧道SSL请求的代理服务器GitHub地址：http://www.github.com/chobits/ngx_http_proxy_connect_modulenginx配置：
  • Nginx：高性能的Web服务器与反向代理 张某布响丸辣 nginx前端服务器javaSpringBoot
    在当今的互联网世界中，Web服务器的选择对于网站的性能、稳定性和安全性至关重要。Nginx（发音为“engineX”）凭借其卓越的性能、丰富的功能集和灵活的配置选项，成为了众多网站和应用程序的首选Web服务器和反向代理。本文将深入探讨Nginx的特点、应用场景、基本配置以及它如何助力你的Web项目。Nginx简介Nginx是一个开源的、高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/
  • Android shell 常用 debug 命令 晨春计 Audiodebugandroidlinux
    目录1、查看版本2、am命令3、pm命令4、dumpsys命令5、sed命令6、log定位查看APK进程号7、log定位使用场景1、查看版本1.1、Android串口终端执行getpropro.build.version.release#获取Android版本uname-a#查看linux内核版本信息uname-r#单独查看内核版本1.2、linux服务器执行lsb_release-a#查看Lin
  • 解决SDK Manager 中 没有 Support Library 木鱼wzh
    1、直接修改SDK-MANAGER打开sdk-manager—->Tools—->options然后点击packages—->showobsoletepackages即可在最下面的Extras目录下找到推荐两个自己使用的镜像服务器：mirrors.neusoft.edu.cn端口80mirrors.dormforce.net端口802、去官网下载SupportLibrar点击这里进入官网进入百度云
  • Nginx从入门到实践(三) 听你讲故事啊
    动静分离动静分离是将网站静态资源（JavaScript，CSS，img等文件）与后台应用分开部署，提高用户访问静态代码的速度，降低对后台应用访问。动静分离的一种做法是将静态资源部署在nginx上，后台项目部署到应用服务器上，根据一定规则静态资源的请求全部请求nginx服务器，达到动静分离的目标。rewrite规则Rewrite规则常见正则表达式Rewrite主要的功能就是实现URL的重写，Ngin
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Nginx的使用场景：构建高效、可扩展的Web架构 张某布响丸辣 nginx前端架构
    Nginx，作为当今最流行的Web服务器和反向代理软件之一，凭借其高性能、稳定性和灵活性，在众多Web项目中扮演着核心角色。无论是个人博客、中小型网站，还是大型企业级应用，Nginx都能提供强大的支持。本文将探讨Nginx的几个主要使用场景，帮助读者理解如何在实际项目中充分利用Nginx的优势。1.静态文件服务对于包含大量静态文件（如HTML、CSS、JavaScript、图片等）的网站，Ngin
  • 【nginx】ngx_http_proxy_connect_module 正向代理 等风来不如迎风去 网络服务入门与实战nginxhttp运维
    50.65无法访问服务器，(403错误)50.196可以访问服务器。那么，配置65通过196访问。需要一个nginx作为代理【nginx】搭配okhttp配置反向代理发送原生的nginx是不支持okhttp的CONNECT请求的。大神竟然给出了一个java工程GINX编译ngx_http_proxy_connect_module及做正向代理是linux构建的。是windows构建的：编译Windo
  • 强大的销售团队背后 竟然是大数据分析的身影 蓝儿唯美 数据分析
    Mark Roberge是HubSpot的首席财务官，在招聘销售职位时使用了大量数据分析。但是科技并没有挤走直觉。 大家都知道数理学家实际上已经渗透到了各行各业。这些热衷数据的人们通过处理数据理解商业流程的各个方面，以重组弱点，增强优势。 Mark Roberge是美国HubSpot公司的首席财务官，HubSpot公司在构架集客营销现象方面出过一份力——因此他也是一位数理学家。他使用数据分析
  • Haproxy+Keepalived高可用双机单活 bylijinnan 负载均衡keepalivedhaproxy高可用
    我们的应用MyApp不支持集群，但要求双机单活（两台机器：master和slave）： 1.正常情况下，只有master启动MyApp并提供服务 2.当master发生故障时，slave自动启动本机的MyApp，同时虚拟IP漂移至slave，保持对外提供服务的IP和端口不变 F5据说也能满足上面的需求，但F5的通常用法都是双机双活，单活的话还没研究过 服务器资源 10.7
  • eclipse编辑器中文乱码问题解决 0624chenhong eclipse乱码
    使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题，Eclipse提供了灵活的设置文件编码格式的选项，我们可以通过设置编码 格式解决乱码问题。在Eclipse可以从几个层面设置编码格式：Workspace、Project、Content Type、File 本文以Eclipse 3.3（英文）为例加以说明： 1. 设置Workspace的编码格式： Windows-&g
  • 基础篇--resources资源 不懂事的小屁孩 android
    最近一直在做java开发，偶尔敲点android代码，突然发现有些基础给忘记了，今天用半天时间温顾一下resources的资源。 String.xml    字符串资源   涉及国际化问题  http://www.2cto.com/kf/201302/190394.html   string-array
  • 接上篇补上window平台自动上传证书文件的批处理问卷 酷的飞上天空 window
    @echo off : host=服务器证书域名或ip，需要和部署时服务器的域名或ip一致 ou=公司名称, o=公司名称 set host=localhost set ou=localhost set o=localhost set password=123456 set validity=3650 set salias=s
  • 企业物联网大潮涌动：如何做好准备？ 蓝儿唯美 企业
    物联网的可能性也许是无限的。要找出架构师可以做好准备的领域然后利用日益连接的世界。 尽管物联网（IoT）还很新，企业架构师现在也应该为一个连接更加紧密的未来做好计划，而不是跟上闸门被打开后的集成挑战。“问题不在于物联网正在进入哪些领域，而是哪些地方物联网没有在企业推进，” Gartner研究总监Mike Walker说。 Gartner预测到2020年物联网设备安装量将达260亿，这些设备在全
  • spring学习——数据库（mybatis持久化框架配置） a-john mybatis
    Spring提供了一组数据访问框架，集成了多种数据访问技术。无论是JDBC，iBATIS(mybatis)还是Hibernate，Spring都能够帮助消除持久化代码中单调枯燥的数据访问逻辑。可以依赖Spring来处理底层的数据访问。 mybatis是一种Spring持久化框架，要使用mybatis，就要做好相应的配置： 1，配置数据源。有很多数据源可以选择，如：DBCP，JDBC，aliba
  • Java静态代理、动态代理实例 aijuans Java静态代理
    采用Java代理模式，代理类通过调用委托类对象的方法，来提供特定的服务。委托类需要实现一个业务接口，代理类返回委托类的实例接口对象。 按照代理类的创建时期，可以分为：静态代理和动态代理。 所谓静态代理：　指程序员创建好代理类，编译时直接生成代理类的字节码文件。 所谓动态代理：　在程序运行时，通过反射机制动态生成代理类。   一、静态代理类实例： 1、Serivce.ja
  • Struts1与Struts2的12点区别 asia007 Struts1与Struts2
    1) 在Action实现类方面的对比：Struts 1要求Action类继承一个抽象基类；Struts 1的一个具体问题是使用抽象类编程而不是接口。Struts 2 Action类可以实现一个Action接口，也可以实现其他接口，使可选和定制的服务成为可能。Struts 2提供一个ActionSupport基类去实现常用的接口。即使Action接口不是必须实现的，只有一个包含execute方法的P
  • 初学者要多看看帮助文档 不要用js来写Jquery的代码 百合不是茶 jqueryjs
    解析json数据的时候需要将解析的数据写到文本框中,  出现了用js来写Jquery代码的问题;   1, JQuery的赋值  有问题    代码如下: data.username 表示的是:  网易            $("#use
  • 经理怎么和员工搞好关系和信任 bijian1013 团队项目管理管理
            产品经理应该有坚实的专业基础，这里的基础包括产品方向和产品策略的把握，包括设计，也包括对技术的理解和见识，对运营和市场的敏感，以及良好的沟通和协作能力。换言之，既然是产品经理，整个产品的方方面面都应该能摸得出门道。这也不懂那也不懂，如何让人信服？如何让自己懂？就是不断学习，不仅仅从书本中，更从平时和各种角色的沟通
  • 如何为rich:tree不同类型节点设置右键菜单 sunjing contextMenutreeRichfaces
    组合使用target和targetSelector就可以啦，如下： <rich:tree id="ruleTree" value="#{treeAction.ruleTree}" var="node" nodeType="#{node.type}" selectionChangeListener=&qu
  • 【Redis二】Redis2.8.17搭建主从复制环境 bit1129 redis
    开始使用Redis2.8.17 Redis第一篇在Redis2.4.5上搭建主从复制环境，对它的主从复制的工作机制，真正的惊呆了。不知道Redis2.8.17的主从复制机制是怎样的，Redis到了2.4.5这个版本，主从复制还做成那样，Impossible is nothing! 本篇把主从复制环境再搭一遍看看效果，这次在Unbuntu上用官方支持的版本。   Ubuntu上安装Red
  • JSONObject转换JSON--将Date转换为指定格式 白糖_ JSONObject
    项目中，经常会用JSONObject插件将JavaBean或List<JavaBean>转换为JSON格式的字符串，而JavaBean的属性有时候会有java.util.Date这个类型的时间对象，这时JSONObject默认会将Date属性转换成这样的格式：   {"nanos":0,"time":-27076233600000,
  • JavaScript语言精粹读书笔记 braveCS JavaScript
    【经典用法】：   //①定义新方法 Function .prototype.method=function(name, func){ this.prototype[name]=func; return this; } //②给Object增加一个create方法，这个方法创建一个使用原对
  • 编程之美-找符合条件的整数 用字符串来表示大整数避免溢出 bylijinnan 编程之美
    import java.util.LinkedList; public class FindInteger { /** * 编程之美 找符合条件的整数 用字符串来表示大整数避免溢出 * 题目：任意给定一个正整数N，求一个最小的正整数M(M>1)，使得N*M的十进制表示形式里只含有1和0 * * 假设当前正在搜索由0，1组成的K位十进制数
  • 读书笔记 chengxuyuancsdn 读书笔记
    1、Struts访问资源 2、把静态参数传递给一个动作 3、<result>type属性 4、s:iterator、s:if c:forEach 5、StringBuilder和StringBuffer 6、spring配置拦截器 1、访问资源 (1)通过ServletActionContext对象和实现ServletContextAware,ServletReque
  • [通讯与电力]光网城市建设的一些问题 comsci 问题
          信号防护的问题,前面已经说过了,这里要说光网交换机与市电保障的关系       我们过去用的ADSL线路,因为是电话线,在小区和街道电力中断的情况下,只要在家里用笔记本电脑+蓄电池,连接ADSL,同样可以上网........     
  • oracle 空间RESUMABLE daizj oracle空间不足RESUMABLE错误挂起
    空间RESUMABLE操作  转 Oracle从9i开始引入这个功能，当出现空间不足等相关的错误时，Oracle可以不是马上返回错误信息，并回滚当前的操作，而是将操作挂起，直到挂起时间超过RESUMABLE TIMEOUT，或者空间不足的错误被解决。 这一篇简单介绍空间RESUMABLE的例子。 第一次碰到这个特性是在一次安装9i数据库的过程中，在利用D
  • 重构第一次写的线程池 dieslrae 线程池 python
    最近没有什么学习欲望,修改之前的线程池的计划一直搁置,这几天比较闲,还是做了一次重构,由之前的2个类拆分为现在的4个类. 1、首先是工作线程类:TaskThread,此类为一个工作线程,用于完成一个工作任务,提供等待(wait),继续(proceed),绑定任务(bindTask)等方法 #!/usr/bin/env python # -*- coding:utf8 -*-
  • C语言学习六指针 dcj3sjt126com c
    初识指针，简单示例程序： /* 指针就是地址，地址就是指针 地址就是内存单元的编号 指针变量是存放地址的变量 指针和指针变量是两个不同的概念 但是要注意： 通常我们叙述时会把指针变量简称为指针，实际它们含义并不一样 */ # include <stdio.h> int main(void) { int * p; // p是变量的名字， int *
  • yii2 beforeSave afterSave beforeDelete dcj3sjt126com delete
    public function afterSave($insert, $changedAttributes) { parent::afterSave($insert, $changedAttributes); if($insert) { //这里是新增数据 } else { //这里是更新数据 } }  
  • timertask shuizhaosi888 timertask
    java.util.Timer timer = new java.util.Timer(true); // true 说明这个timer以daemon方式运行（优先级低， // 程序结束timer也自动结束），注意，javax.swing // 包中也有一个Timer类，如果import中用到swing包， // 要注意名字的冲突。 TimerTask task = new
  • Spring Security（13）——session管理 234390216 sessionSpring Security攻击保护超时
    session管理 目录   1.1     检测session超时 1.2     concurrency-control 1.3     session 固定攻击保护         
  • 公司项目NODEJS实践0.3[ mongo / session ...] 逐行分析JS源代码 mongodbsessionnodejs
        http://www.upopen.cn   一、前言         书接上回，我们搭建了WEB服务端路由、模板等功能，完成了register 通过ajax与后端的通信，今天主要完成数据与mongodb的存取，实现注册 / 登录 /
  • pojo.vo.po.domain区别 LiaoJuncai javaVOPOJOjavabeandomain
    　　POJO = "Plain Old Java Object"，是MartinFowler等发明的一个术语，用来表示普通的Java对象，不是JavaBean, EntityBean 或者 SessionBean。POJO不但当任何特殊的角色，也不实现任何特殊的Java框架的接口如，EJB， JDBC等等。 　　 　　即POJO是一个简单的普通的Java对象，它包含业务逻辑
  • Windows Error Code OhMyCC windows
    0 操作成功完成. 1 功能错误. 2 系统找不到指定的文件. 3 系统找不到指定的路径. 4 系统无法打开文件. 5 拒绝访问. 6 句柄无效. 7 存储控制块被损坏. 8 存储空间不足, 无法处理此命令. 9 存储控制块地址无效. 10 环境错误. 11 试图加载格式错误的程序. 12 访问码无效. 13 数据无效. 14 存储器不足, 无法完成此操作. 15 系
  • 在storm集群环境下发布Topology roadrunners 集群stormtopologyspoutbolt
    storm的topology设计和开发就略过了。本章主要来说说如何在storm的集群环境中，通过storm的管理命令来发布和管理集群中的topology。   1、打包 打包插件是使用maven提供的maven-shade-plugin，详细见maven-shade-plugin。 <plugin> <groupId>org.apache.maven.
  • 为什么不允许代码里出现“魔数” tomcat_oracle java
    　　在一个新项目中，我最先做的事情之一，就是建立使用诸如Checkstyle和Findbugs之类工具的准则。目的是制定一些代码规范，以及避免通过静态代码分析就能够检测到的bug。 　　迟早会有人给出案例说这样太离谱了。其中的一个案例是Checkstyle的魔数检查。它会对任何没有定义常量就使用的数字字面量给出警告，除了-1、0、1和2。 　　很多开发者在这个检查方面都有问题，这可以从结果
  • zoj 3511 Cake Robbery(线段树) 阿尔萨斯 线段树
    题目链接：zoj 3511 Cake Robbery 题目大意：就是有一个N边形的蛋糕，切M刀，从中挑选一块边数最多的，保证没有两条边重叠。 解题思路：有多少个顶点即为有多少条边，所以直接按照切刀切掉点的个数排序，然后用线段树维护剩下的还有哪些点。 #include <cstdio> #include <cstring> #include <vector&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他