k5003

CDH6.3.2安装部署

1.修改主机名称
vi /etc/hostname
cdh-100

cat /proc/sys/kernel/random/uuid
2.固定ip 每台机需调整ipaddr
vi /etc/sysconfig/network-scripts/ifcfg-ens33
/#添加如下配置信息
DNS1=192.168.20.2 #NDS
IPADDR=192.168.20.100 #IP地址
GATEWAY=192.168.20.2 #网关
PREFIX=24 #centos子网掩码长度：24–> 255.255.255.0

DNS1=192.168.20.2
IPADDR=192.168.20.123
GATEWAY=192.168.20.2
PREFIX=24

7af87106-3443-4c69-94ba-48df1822931d

3.配置 Linux 克隆机主机名称映射 hosts 文件，打开/etc/hosts
vi /etc/hosts
192.168.20.100 cdh-100
192.168.20.101 cdh-101
192.168.20.102 cdh-102
192.168.20.103 cdh-103
192.168.20.104 cdh-104

192.168.20.120 nacos01
192.168.20.121 nacos02
192.168.20.122 nacos03

4.免密登录（cdh-100）

为了方便在机器之间拷贝数据文件，将 cdh-100 的公钥拷贝到其他三台cdh-101-103 机器上，实现免密登录。后续需要拷贝的文件都是在cdh-100上先配置好，然后通过 scp 命令拷贝到其他两台机器上。
在 cdh-100节点上生成公钥：
执行
ssh-keygen
三次enter不用输入
执行
ssh-copy-id root@cdh-101
ssh-copy-id root@cdh-102
ssh-copy-id root@cdh-103
ssh-copy-id root@cdh-104

5.调整配置信息selinux

输入
getenforce
如果输出为 Enforcing，则需要处理一下，否则可以跳过这一步。修改 /etc/selinux/config 文件，将 SELINUX=enforcing 修改为SELINUX=disabled，使用以下命令修改并立即生效：
执行
sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
setenforce 0

vi /etc/selinux/config

7.修改swappiness
vm.swappiness 参数可以调整机器使用内存、交互分区的比例。vm.swappiness 的取值范围在 0-100 之间，当 vm.swappiness 为 0 时，表示最大限度地使用物理内存，而后使用 swap 空间；当 swappiness 为 100 时，表示最大限度地使用 swap 空间，把内存中的数据及时搬运到 swap 空间中去。
执行
echo vm.swappiness=0 >> /etc/sysctl.conf
echo “vm.swappiness=10” >> /etc/sysctl.conf
sysctl -p

8.关闭透明大页面
大多数 Linux 平台都包含一个称为透明大页面的功能，该功能与 Hadoop 工作节点的交互很差，并且会严重降低性能。
查看透明大页是否启用，[always] never 表示已启用，always [never] 表示已禁用。
执行
cat /sys/kernel/mm/transparent_hugepage/defrag

如果是启用状态，则执行以下操作关闭透明大页面：
执行
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

立刻生效

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效在/etc/rc.local末尾添加两行

vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
并将以上命令添加到 /etc/rc.d/rc.local 文件中，使系统重启时依然生效。
cat /etc/rc.d/rc.local
echo ‘echo never > /sys/kernel/mm/transparent_hugepage/defrag’ >> /etc/rc.d/rc.local
echo ‘echo never > /sys/kernel/mm/transparent_hugepage/enabled’ >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

给与可执行权限

chmod +x /etc/rc.d/rc.local

并将以上命令添加到 /etc/rc.d/rc.local 文件中，使系统重启时依然生效。

9.配置本地yum源

配置Centos7.9镜像局域网yum源（配置在cdh-100）
(http和ntp的rpm包都在centos7.9的镜像文件中。)
检查httpd是否安装
rpm -qa|grep httpd
如果没装，先配置Centos7.6镜像局域网yum源

创建/var/www/html文件夹
mkdir -p /var/www/html
将/var/www/html/赋权：
chmod -R 777 /var/www/html
chmod -R 777 /kdata/*
在/var/www/html文件夹下创建cdh和centos7.9文件夹
cd /var/www/html
mkdir cdh
mkdir centos7.9
Centos7.9.iso镜像文件解压到/var/www/html/centos7.6下
mount -o loop /kdata/CentOS-7-x86_64-DVD-2009.iso /var/www/html/centos7.9/

配置/etc/yum.repo.d/CentOS-Media.repo
个人理解：yum通过"*.repo" 的文件（ yum 源的配置文件）中的baseurl来找到rpm包的位置
vi /etc/yum.repos.d/CentOS-Media.repo

调整
baseurl=file:///var/www/html/centos7.9
gpgcheck=0
enabled=1
#gpgkey=

清除yum下载下来的包文件rpm和头文件header
yum clean all
生成缓存
（就是把服务器的包信息下载到本地电脑缓存起来，makecache建立一个缓存
以后用install时就在缓存中搜索，提高了速度）
yum makecache
cd /etc/yum.repos.d
mv CentOS-Base.repo CentOS-Base.repo.bak
OK啦，测试下！
yum list
安装httpd服务
yum install -y httpd
启动httpd服务
service httpd start
查看httpd服务状态（active (running)即可）
service httpd status
再次修改/etc/yum.repo.d/CentOS-Media.repo文件
vi /etc/yum.repos.d/CentOS-Media.repo
调整
baseurl=http://192.168.20.100/centos7.9
gpgcheck=0
enabled=1
#gpgkey=

yum clean all
yum makecache
浏览器试下http://192.168.20.100/centos7.9/能否打开，如果可以，即已成功

将/etc/yum.repos.d/CentOS-Media.repo远程拷贝到其他节点，其他节点也就可以下载http服务了
scp /etc/yum.repos.d/CentOS-Media.repo cdh-101:/etc/yum.repos.d/
scp /etc/yum.repos.d/CentOS-Media.repo cdh-102:/etc/yum.repos.d/
scp /etc/yum.repos.d/CentOS-Media.repo cdh-103:/etc/yum.repos.d/
scp /etc/yum.repos.d/CentOS-Media.repo cdh-104:/etc/yum.repos.d/
在其他节点上执行
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
yum clean all
yum makecache
yum install -y httpd

firewall-cmd --permanent --add-rich-rule=“rule family=“ipv4” source address=“192.168.20.100” port protocol=“tcp” port=“1:65535” accept”
firewall-cmd --permanent --add-rich-rule=“rule family=“ipv4” source address=“192.168.20.101” port protocol=“tcp” port=“1:65535” accept”
firewall-cmd --permanent --add-rich-rule=“rule family=“ipv4” source address=“192.168.20.102” port protocol=“tcp” port=“1:65535” accept”
firewall-cmd --permanent --add-rich-rule=“rule family=“ipv4” source address=“192.168.20.103” port protocol=“tcp” port=“1:65535” accept”
firewall-cmd --permanent --add-rich-rule=“rule family=“ipv4” source address=“192.168.20.104” port protocol=“tcp” port=“1:6379” accept”

firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.101” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.102” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.103” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.104” accept’
firewall-cmd --reload

firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.100” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.102” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.103” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.104” accept’
firewall-cmd --reload

firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.101” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.100” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.103” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.104” accept’
firewall-cmd --reload

firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.101” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.102” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.100” accept’
firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“192.168.20.104” accept’
firewall-cmd --reload

10.配置cm局域网yum源
执行cd /var/www/html/cdh进入目录，执行mkdir cm6新建目录： cm6，用于存放cloudera-manager的安装包：
cd /var/www/html/cdh
mkdir cm6
将2.1下载的cm6.3.1-redhat7.tar.gz拷贝到/var/www/html/cdh/cm6下
执行tar -zxvf cm6.3.1-redhat7.tar.gz解压安装包（解压后可将压缩包删除）
cd /var/www/html/cdh/cm6
tar -zxvf /kdata/cm6.3.1-redhat7.tar.gz -C /var/www/html/cdh/cm6
进入/etc/yum.repo.d/，新建yum源的配置文件
cd /etc/yum.repos.d/
vi cloudera-manager.repo
vi cloudera-manager.repo(新建文件)输入以下内容
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.20.100/cdh/cm6/cm6.3.1/
enabled=1
gpgcheck=0
清理并重构yum缓存
yum clean all
yum makecache

以上两个yum源配置好以后重启httpd服务：
service httpd restart
开机启动
systemctl enable httpd
浏览器试下http://192.168.20.100/cdh/cm6/cm6.3.1/能否打开，如果可以，即已成功

将/etc/yum.repos.d/cloudera-manager.repo远程拷贝到其他节点，其他节点也就可以下载cm中的rpm包了
scp /etc/yum.repos.d/cloudera-manager.repo cdh-101:/etc/yum.repos.d/
scp /etc/yum.repos.d/cloudera-manager.repo cdh-102:/etc/yum.repos.d/
scp /etc/yum.repos.d/cloudera-manager.repo cdh-103:/etc/yum.repos.d/
scp /etc/yum.repos.d/cloudera-manager.repo cdh-104:/etc/yum.repos.d/
在其他节点上执行
yum clean all
yum makecache

11.集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。（如果集群时间不同步，集群在执行定时任务时，无法同步执行）
网络时间协议，英文名称：Network Time Protocol（NTP）是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的方式来防止恶毒的协议攻击。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务。
检查ntp是否安装
rpm -qa|grep ntp
删除已安装ntp
yum –y remove ntpdate-4.2.6p5-22.el7.x86_64
安装（离线安装）
cd /kdata/ntp
rpm -ivh --replacefiles ntpdate-4.2.6p5-29.el7.centos.2.x86_64.rpm
rpm -ivh autogen-libopts-5.18-5.el7.x86_64.rpm
rpm -ivh ntp-4.2.6p5-29.el7.centos.2.x86_64.rpm

scp -r /kdata/ntp/ cdh-101:/kdata/
scp -r /kdata/ntp/ cdh-102:/kdata/
scp -r /kdata/ntp/ cdh-103:/kdata/
scp -r /kdata/ntp/ cdh-104:/kdata/
安装（在线安装）
yum –y install ntp
修改所有节点的/etc/ntp.conf
vi /etc/ntp.conf
restrict 192.168.20.100 nomodify notrap nopeer noquery //当前节点IP地址 iP每台机不一样
restrict 192.168.20.2 mask 255.255.255.0 nomodify notrap //集群所在网段的网关（Gateway），子网掩码（Genmask）
选择一个主节点，修改其/etc/ntp.conf
vi /etc/ntp.conf
在server部分添加一下部分，并注释掉server 0 ~ n
server 127.127.1.0
Fudge 127.127.1.0 stratum 10
主节点以外，继续修改/etc/ntp.conf
vi /etc/ntp.conf
在server部分添加如下语句，将server指向主节点
server 192.168.20.100
Fudge 192.168.20.100 stratum 10

修改/etc/sysconfig/ntpd 文件
增加内容如下（让硬件时间与系统时间一起同步）
vi /etc/sysconfig/ntpd
SYNC_HWCLOCK=yes
重新启动ntpd服务
service ntpd status
service ntpd start
chkconfig ntpd on
启动ntp服务
ntpstat
查看ntp服务器与上层ntp的状态
ntpq -p
设置开机启动
chkconfig ntpd on

设置了ntpd开机自启动，重启服务器ntpd没有自启动

1.需要禁掉chronyd.service：

systemctl disable chronyd.service

2.手动启动ntpd：

systemctl start ntpd

3.再次设置开机自启动：

systemctl enable ntpd

4.重启服务器测试ntpd即可正常自启动了

12.安装配置jdk1.8（所有节点）

卸载系统自带的OpenJDK以及相关的java文件
1.1 查看系统是否自带JDK
java -version
1.2 查看相关java文件
rpm -qa | grep java
1.3 删除相关文件
首先键入命令 su root 输入密码获取root权限，然后将上一步中带jdk的文件全部删除，具体根据你安装的版本不同，文件也不尽相同，这里以上一步中的文件为例。
键入命令
rpm -e --nodeps java-1.8/*
1.4 查看删除结果
java -version

2、安装新的jdk
安装流程
2.1）在cdh-100、cdh-101、cdh-102和hadoop103下创建文件夹
mkdir -p /usr/java/
2．2）将jdk-8u311-linux-x64.tar.gz解压到cdh-100的/usr/java目录
tar -zxvf /kdata/jdk-8u311-linux-x64.tar.gz -C /usr/java/
2．3）配置JDK环境变量
（1）打开/etc/profile文件
vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_311
export CLASSPATH=./: $JAVA_HOME/lib export PATH=$ PATH:$JAVA_HOME/bin

（2）让修改后的文件生效
source /etc/profile
2．4）测试JDK是否安装成功
java -version
java version “1.8.0_311”
2．5）将cdh-100中的JDK分发到cdh-101、cdh-102、cdh-103三台主机
scp -r /usr/java/jdk1.8.0_311/ cdh-101:/usr/java/
scp -r /usr/java/jdk1.8.0_311/ cdh-102:/usr/java/
scp -r /usr/java/jdk1.8.0_311/ cdh-103:/usr/java/
scp -r /usr/java/jdk1.8.0_311/ cdh-104:/usr/java/
2．6）分别在cdh-101、cdh-102、cdh-103上配置环境变量并source一下
在 /etc/profile中添加如下内容
vi /etc/profile
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_311
export PATH= $P A T H :$ JAVA_HOME/bin
执行
source /etc/profile

13.安装MySQL（主节点安装即可）
安装步骤：
（1）此处需要注意的是centos 7 默认安装的是mariadb，如果不卸载直接安装的话会报错，报错信息mariadb-libs is obsoleted by mysql-community-libs-5.7.20-1.el7.x86_64
rpm -qa | grep mariadb #查看安装信息
rpm -e mariadb-libs* --nodeps #根据查找到的软件包信息卸载
rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64

rpm -e mysql-community-common-5.7.36-1.el7.x86_64 --nodeps
rpm -e mysql-community-libs-5.7.36-1.el7.x86_64 --nodeps
rpm -e mysql-community-libs-compat-5.7.36-1.el7.x86_64 --nodeps
rpm -e mysql-community-client-5.7.36-1.el7.x86_64 --nodeps
rpm -e mysql-community-devel-5.7.36-1.el7.x86_64 --nodeps
rpm -e mysql-community-server-5.7.36-1.el7.x86_64 --nodeps
（2）将mysql的rpm包拷贝到/opt/software中，并安装MySQL（建议按顺序安装：common --> libs --> clients --> server，因为有依赖）
cd /kdata/mysql
检查之前安装版本
rpm -qa|grep mysql
卸载（如果上面查出需执行）
rpm -e mysql-community-common-5.7.25-1.el7.x86_64 --nodeps
执行(注意执行循序)
rpm -ivh mysql-community-common-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.36-1.el7.x86_64.rpm

yum localinstall -y net-tools-2.0-0.25.20131004git.el7.x86_64.rpm

yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget

yum -y install net-tools

mysql8版本
rpm -ivh mysql-community-common-8.0.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-plugins-8.0.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-8.0.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-devel-8.0.27-1.el7.x86_64.rpm --force --nodeps
yum -y install net-tools
rpm -ivh mysql-community-server-8.0.27-1.el7.x86_64.rpm

显示mysql的随机密码
grep ‘temporary password’ /var/log/mysqld.log
(m1Xl28stFP&
_:a/,2Psm:qh
登录并修改mysql密码
mysql -u root -p

1、需要执行如下语句修改密码：
set password=‘qj1314520@’;
2、如果密码符合Mysql要求，会修改成功。如果出现以下错误信息：
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
执行如下两条语句：
set global validate_password.policy=0;
set global validate_password.length=1;
然后再次执行步骤1中的语句即可。

修改密码：
ALTER USER ‘root’@‘%’ IDENTIFIED BY ‘Qj1314520@’;

查看密码策略：
SHOW VARIABLES LIKE ‘validate_password%’;

修改密码长度：
set global validate_password.length=1;

修改密码等级：
set global validate_password.policy=0;

修改后再次查看

设置自己想要的密码
ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘123456’;

1、修改密码过期
ALTER USER’root’@‘localhost’ IDENTIFIED BY ‘root’ PASSWORD EXPIRE NEVER;

2、重新修改密码
ALTER USER’root’@‘%’ IDENTIFIED WITH mysql_native_password BY ‘root’;

3、刷新权限（不做可能无法生效）
FLUSH PRIVILEGES;

CREATE USER ‘scm’@‘%’ IDENTIFIED BY ‘Hadoop3!’;

CREATE USER ‘scm’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘amon’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘rman’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘hue’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘metastore’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘sentry’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘nav’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘navms’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘oozie’@‘%’ IDENTIFIED BY ‘123456’;
CREATE USER ‘hive’@‘%’ IDENTIFIED BY ‘123456’;

grant all privileges on scm.* TO ‘scm’@‘%’;
grant all privileges on amon.* TO ‘amon’@‘%’;
grant all privileges on rman.* TO ‘rman’@‘%’ ;
grant all privileges on hue.* TO ‘hue’@‘%’ ;
grant all privileges on metastore.* TO ‘metastore’@‘%’;
grant all privileges on sentry.* TO ‘sentry’@‘%’ ;
grant all privileges on nav.* TO ‘nav’@‘%’ ;
grant all privileges on navms.* TO ‘navms’@‘%’ ;
grant all privileges on oozie.* TO ‘oozie’@‘%’;
grant all privileges on hive.* TO ‘hive’@‘%’;

查看mysql安装到哪里了which mysqld

（3）启动mysql
service mysqld start
（4）查看root初始密码
more /var/log/mysqld.log |grep password

root
ab.!vkoyf4Yk
开机启动
systemctl enable mysqld
（5）登录
mysql -u root -p
mysql -u root -p
输入密码
（6）修改密码规则以及修改密码
set global validate_password_length=6;
set global validate_password_policy=0;
set password = password(‘123456@’);

alter mysql.user ‘root’@‘%’ identified by ‘123456@’;
alter mysql.user ‘root’@‘localhost’ identified by ‘123456@’;

update user set authentication_string=password(“123456”) where user=“root”;
update mysql.user set authentication_string=password(‘123456@’) where user=‘root’;
（7）给任意IP授权（只要是用户root使用密码passwd就能从任意主机连接到mysql服务器）
GRANT ALL PRIVILEGES ON . TO ‘root’@‘%’ IDENTIFIED BY ‘123456@’ WITH GRANT OPTION;
FLUSH PRIVILEGES;
（8）设置时区
vi /etc/my.cnf
（9）添加如下内容

my.cnf设置时区

default-time_zone = ‘+8:00’
（10）建数据库（如果需要安装下边的几个组件的话，需要先把数据库创建好）
（scm用户及数据库都由之后的脚本自动生成）

创建Cloudera组件所需的数据库

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

grant all on scm.* to ‘scm’@‘%’ identified by ‘123456’;
grant all on amon.* to ‘amon’@‘%’ identified by ‘123456’;
grant all on rman.* to ‘rman’@‘%’ identified by ‘123456’;
grant all on hue.* to ‘hue’@‘%’ identified by ‘123456’;
grant all on metastore.* to ‘hive’@‘%’ identified by ‘123456’;
grant all on sentry.* to ‘sentry’@‘%’ identified by ‘123456’;
grant all on nav.* to ‘nav’@‘%’ identified by ‘123456’;
grant all on navms.* to ‘navms’@‘%’ identified by ‘123456’;
grant all on oozie.* to ‘oozie’@‘%’ identified by ‘123456’;

#scm库和权限暂时不创建，后面指定数据库，会自动创建
#CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
#GRANT ALL ON scm.* TO ‘scm’@‘%’ IDENTIFIED BY ‘123456’;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO ‘amon’@‘%’ IDENTIFIED BY ‘123456’;
GRANT ALL ON rman.* TO ‘rman’@‘%’ IDENTIFIED BY ‘123456’;
GRANT ALL ON metastore.* TO ‘hive’@‘%’ IDENTIFIED BY ‘123456’;
GRANT ALL ON hue.* TO ‘hue’@‘%’ IDENTIFIED BY ‘123456’;
GRANT ALL ON oozie.* TO ‘oozie’@‘%’ IDENTIFIED BY ‘123456’;
#####注意此处再授权一个本主机名地址，不然web页面配置很容易出错，注意修改本地主机名hostname
GRANT ALL ON amon.* TO ‘amon’@‘本主机名’ IDENTIFIED BY ‘amon’;
#刷新源
FLUSH PRIVILEGES;

FLUSH PRIVILEGES;
（11）安装mysql驱动
mkdir -p /usr/share/java/
注意：默认位置 /usr/share/java/ ，默认驱动名 mysql-connector-java.jar
一定要这个名字（mysql-connector-java.jar），否则会报错Unable to find JDBC driver for database type: MySQL
#解压
tar zxvf /kdata/mysql-connector-java-5.1.46.tar.gz -C /kdata/module/

进入 MySQL 驱动文件目录

cd /usr/share/java/

复制并且重命名

cp /kdata/module/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
scp /usr/share/java/mysql-connector-java.jar cdh-101:/usr/share/java/
scp /usr/share/java/mysql-connector-java.jar cdh-102:/usr/share/java/
scp /usr/share/java/mysql-connector-java.jar cdh-103:/usr/share/java/
scp /usr/share/java/mysql-connector-java.jar cdh-104:/usr/share/java/

14.安装Cloudera Manger
建议离线安装，把rpm包下载到服务器上面，传到其他节点一份，再本地安装，速度会快很多。
cdh-100
执行
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
或
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server –y
或
rpm –ivh –-nodeps –-force cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
其他
yum install cloudera-manager-daemons cloudera-manager-agent
或
yum install cloudera-manager-daemons cloudera-manager-agent –y

为Cloudera Manager建立数据库
/opt/cloudera/cm/schema/scm_prepare_database.sh
【这里报错了】com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
mysql jar 需要用8版本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -p scm scm
/opt/cloudera/cm/schema/scm_prepare_database.sh -h 192.168.20.100 mysql scm scm 123456
如果上面的命令不好用，则可以使用下边的命令，但是需要先创建scm用户与scm库，并允许localhost访问。否则会报错
数据库操作
mysql -u root –p
输入密码
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all on . to ‘scm’@‘%’ identified by ‘123456’ WITH GRANT OPTION;
flush privileges;
建表
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456

配置Agent
在所有节点上执行修改agent的配置，
vi /etc/cloudera-scm-agent/config.ini
server_host=cdh-100

准备parcels，将CDH相关文件拷贝到主节点/opt/cloudera/parcel-repo

查看服务的状态

systemctl status cloudera-scm-server
systemctl status cloudera-scm-agent

查看系统日志

journalctl -xe

默认日志存放地方

/var/log/cloudera-scm-server
启动需要点时间，可以查看数据库scm中的hosts表，如果里面出现节点信息表示server启动完成
登录 http://192.168.20.100:7180/cmf/login
登录界面,默认登录用户名和密码都是admin

15.安装CDH6.3.2
选择安装版本（免费）
修改集群名称
为CDH群集安装指定主机
选择CDH版本安装
检查环境
分别点击 Inspect Network Performance 与 Inspect Hosts
发现异常，点击显示检查器结果
chmod -R 755 /var/lib/hadoop-yarn/
解决方案
第一个警告直接在所有节点上执行echo 10 > /proc/sys/vm/swappiness
第二个警告按照上面的说明，在所有节点上执行这两条命令
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
然后将命令写到 /etc/rc.local，保证每次重启时能执行
配置完成后。重新运行监测程序
群集设置–选择安装服务–按需选择
这里全选（All Services），continue
选择主机上的服务安排，这里根据需要自行配置
输入组件上的数据库信息，这里有hive、oozie、hue的数据库名应为hive、oozie、hue，用户名root，密码root，点击test connection，连接测试成功后点击continue
开始执行安装命令
安装完成

hdfs dfs -ls /
hdfs dfs -chmod -R 777 /tmp

你可能感兴趣的:(linux,docker,运维)

android系统selinux中添加新属性property 辉色投像
1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
Linux下QT开发的动态库界面弹出操作（SDL2） 13jjyao QT类 qt 开发语言 sdl2 linux
需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
linux sdl windows.h,Windows下的SDL安装奔跑吧linux内核 linux sdl windows.h
首先你要下载并安装SDL开发包。如果装在C盘下，路径为C:\SDL1.2.5如果在WINDOWS下。你可以按以下步骤：1.打开VC++，点击"Tools",Options2,点击directories选项3.选择"Includefiles"增加一个新的路径。"C:\SDL1.2.5\include"4，现在选择"Libaryfiles“增加"C:\SDL1.2.5\lib"现在你可以开始编写你的第
linux中sdl的使用教程,sdl使用入门 Melissa Corvinus linux中sdl的使用教程
本文通过一个简单示例讲解SDL的基本使用流程。示例中展示一个窗口，窗口里面有个随机颜色快随机移动。当我们鼠标点击关闭按钮时间窗口关闭。基本步骤如下：1.初始化SDL并创建一个窗口。SDL_Init()初始化SDL_CreateWindow()创建窗口2.纹理渲染存储RGB和存储纹理的区别：比如一个从左到右由红色渐变到蓝色的矩形，用存储RGB的话就需要把矩形中每个点的具体颜色值存储下来；而纹理只是一
PHP环境搭建详细教程好看资源平台前端 php
PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
使用 FinalShell 进行远程连接（ssh 远程连接 Linux 服务器）编程经验分享开发工具服务器 ssh linux
目录前言基本使用教程新建远程连接连接主机自定义命令路由追踪前言后端开发，必然需要和服务器打交道，部署应用，排查问题，查看运行日志等等。一般服务器都是集中部署在机房中，也有一些直接是云服务器，总而言之，程序员不可能直接和服务器直接操作，一般都是通过ssh连接来登录服务器。刚接触远程连接时，使用的是XSHELL来远程连接服务器，连接上就能够操作远程服务器了，但是仅用XSHELL并没有上传下载文件的功能
libyuv之linux编译 jaronho Linux linux 运维服务器
文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
ARM驱动学习之5 LEDS驱动 JT灬新一嵌入式 C 底层 arm开发学习单片机
ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面一个射手座的程序媛程序员华为od 面试职场和发展
最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
docker igotyback eureka 云原生
Docker容器的文件系统是隔离的，但是可以通过挂载卷（Volumes）或绑定挂载（BindMounts）将宿主机的文件系统目录映射到容器内部。要查看Docker容器的映射路径，可以使用以下方法：查看容器配置：使用dockerinspect命令可以查看容器的详细配置信息，包括挂载的卷。例如：bashdockerinspect在输出的JSON格式中，查找"Mounts"部分，这里会列出所有的挂载信息
简介Shell、zsh、bash zhaosuningsn Shell zsh bash shell linux bash
Shell是Linux和Unix的外壳，类似衣服，负责外界与Linux和Unix内核的交互联系。例如接收终端用户及各种应用程序的命令，把接收的命令翻译成内核能理解的语言，传递给内核，并把内核处理接收的命令的结果返回给外界，即Shell是外界和内核沟通的桥梁或大门。Linux和Unix提供了多种Shell，其中有种bash，当然还有其他好多种。Mac电脑中不但有bash，还有一个zsh，预装的，据说
Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQL Oracle MariaDB Linux Windows ssl linux mariadb
进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
【从浅识到熟知Linux】Linux发展史 Jammingpro 从浅学到熟知Linux linux 运维服务器
归属专栏：从浅学到熟知Linux个人主页：Jammingpro每日努力一点点，技术变化看得见文章前言：本篇文章记录Linux发展的历史，因在介绍Linux过程中涉及的其他操作系统及人物，本文对相关内容也有所介绍。文章目录Unix发展史Linux发展史开源Linux官网企业应用情况发行版本在学习Linux前，我们可能都会问Linux从哪里来？它是如何发展的。但在介绍Linux之前，需要先介绍一下Un
linux 发展史种树的猴子内核 java 操作系统 linux 大数据
linux发展史说明此前对linux认识模糊一知半解，近期通过学习将自己对于linux的发展总结一下方便大家日后的学习。那Linux是目前一款非常火热的开源操作系统，可是linux是什么时候出现的，又是因为什么样的原因被开发出来的呢。以下将对linux的发展历程进行详细的讲解。目录一、Linux发展背景二、UINIX的诞生三、UNIX的重要分支-BSD的诞生四、Minix的诞生五、GNU与Free
Linux sh命令 fengyehongWorld Linux linux
目录一.基本语法二.选项2.1-c字符串中读取内容，并执行2.1.1基本用法2.1.2获取当前目录下失效的超链接2.2-x每个命令执行之前，将其打印出来2.3结合Here文档使用一.基本语法⏹Linux和Unix系统中用于执行shell脚本或运行命令的命令。sh[选项][脚本文件][参数...]⏹选项-c：从字符串中读取内容，并执行。-x：在每个命令执行之前，将其打印出来。-s：从标准流中读取内容
Linux vi常用命令 fengyehongWorld Linux linux
参考资料viコマンド（vimコマンド）リファレンス目录一.保存系命令二.删除系命令三.移动系命令四.复制粘贴系命令一.保存系命令⏹保存并退出:wq⏹强制保存并退出:wq!⏹退出(文件未编辑):q⏹强制退出(忽略已编辑内容):q!⏹另存为:w新文件名二.删除系命令⏹删除当前行dd⏹清空整个文档gg：移动到文档顶部dG：删除到最后一行ggdG三.移动系命令⏹移动到文档顶部gg⏹移动到文档底部#方式1G
Linux查看服务器日志 TPBoreas 运维 linux 运维
一、tail这个是我最常用的一种查看方式用法如下：tail-n10test.log查询日志尾部最后10行的日志;tail-n+10test.log查询10行之后的所有日志;tail-fn10test.log循环实时查看最后1000行记录(最常用的)一般还会配合着grep用，(实时抓包)例如:tail-fn1000test.log|grep'关键字'（动态抓包）tail-fn1000test.log
06选课支付模块之基于消息队列发送支付通知消息 echo 云清学成在线 java rabbitmq 消息队列支付通知学成在线
消息队列发送支付通知消息需求分析订单服务作为通用服务，在订单支付成功后需要将支付结果异步通知给其他对接的微服务，微服务收到支付结果根据订单的类型去更新自己的业务数据技术方案使用消息队列进行异步通知需要保证消息的可靠性即生产端将消息成功通知到服务端：消息发送到交换机-->由交换机发送到队列-->消费者监听队列，收到消息进行处理，参考文章02-使用Docker安装RabbitMQ-CSDN博客生产者确
笋丁网页自动回复机器人V3.0.0免授权版源码希希分享软希网58soho_cn 源码资源笋丁网页自动回复机器人
笋丁网页机器人一款可设置自动回复，默认消息，调用自定义api接口的网页机器人。此程序后端语言使用Golang，内存占用最高不超过30MB，1H1G服务器流畅运行。仅支持Linux服务器部署，不支持虚拟主机，请悉知！使用自定义api功能需要有一定的建站基础。源码下载：https://download.csdn.net/download/m0_66047725/89754250更多资源下载：关注我。安
Linux CTF逆向入门蚁景网络安全 linux 运维 CTF
1.ELF格式我们先来看看ELF文件头，如果想详细了解，可以查看ELF的manpage文档。关于ELF更详细的说明：e_shoff：节头表的文件偏移量（字节）。如果文件没有节头表，则此成员值为零。sh_offset：表示了该section（节）离开文件头部位置的距离+-------------------+|ELFheader|---++--------->+-------------------
NPM私库搭建-verdaccio（Linux） Beam007 npm linux 前端
1、安装nodelinux服务器安装nodea)、官网下载所需的node版本https://nodejs.org/dist/v14.21.0/b)、解压安装包若下载的是xxx.tar.xz文件，解压命令为tar-xvfxxx.tar.xzc)、修改环境变量修改：/etc/profile文件#SETPATHFORNODEJSexportNODE_HOME=NODEJS解压安装的路径exportPAT
Ubuntu18.04 Docker部署Kinship(Django)项目过程 Dante617
1Docker的安装https://blog.csdn.net/weixin_41735055/article/details/1003551792下载镜像dockerpullprogramize/python3.6.8-dlib下载的镜像里包含python3.6.8和dlib19.17.03启动镜像dockerrun-it--namekinship-p7777:80-p3307:3306-p55
C++常见知识掌握 nfgo c++开发语言
1.Linux软件开发、调试与维护内核与系统结构Linux内核是操作系统的核心，负责管理硬件资源，提供系统服务，它是系统软件与硬件之间的桥梁。主要组成部分包括：进程管理：内核通过调度器分配CPU时间给各个进程，实现进程的创建、调度、终止等操作。使用进程描述符（task_struct）来存储进程信息，包括状态（就绪、运行、阻塞等）、优先级、内存映射等。内存管理：包括物理内存和虚拟内存管理。通过页表映
docker from指令的含义_多个FROM-含义 weixin_39722188 docker from指令的含义
小编典典什么是基本图片？一组文件，加上EXPOSE端口ENTRYPOINT和CMD。您可以添加文件并基于该基础图像构建新图像，Dockerfile并以FROM指令开头：后面提到的图像FROM是新图像的“基础图像”。这是否意味着如果我neo4j/neo4j在FROM指令中声明，则在运行映像时，neo数据库将自动运行并且可在端口7474的容器中使用？仅当您不覆盖CMD和时ENTRYPOINT。但是图像
Dockerfile FROM 两个 redDelta
Docker相关视频讲解：什么是容器Docker介绍实现"DockerfileFROM两个"的步骤步骤表格步骤操作1创建一个Dockerfile文件2写入FROM指令3构建第一个镜像4创建第二个Dockerfile文件5写入FROM指令6构建第二个镜像7合并两个镜像操作步骤说明步骤1：创建一个Dockerfile文件使用任意文本编辑器创建一个名为Dockerfile的文件。登录后复制#Docker
linux脚本sed替换变量,sed 命令中替换值为shell变量诺坎普之约 linux脚本sed替换变量
文章目录sed命令中替换值为shell变量替换基本语法sed中替换使用shell变量总结参考文档sed命令中替换值为shell变量替换基本语法大家都是sed有很多用法，最多就应该是替换一些值了。让我们先回忆sed的替换语法。在sed进行替换的时候sed-i's/old/new/g'1.txtecho"hellooldfrank"|sed's/old/new/g'结果如下：hellonewfrank
RK3229_Android9.0_Box 4G模块EC200A调试 suifen_ 网络
0、kernel修改这部分完全可以参考Linux的移植：RK3588EC200A-CN【4G模块】调试_rkec200a-cn-CSDN博客1、修改device/rockchip/rk322xdiff--gita/device.mkb/device.mkindexec6bfaa..e7c32d1100755---a/device.mk+++b/device.mk@@-105,6+105,8@@en
Dockerfile命令详解之 FROM 清风怎不知意容器化 java 前端 javascript
许多同学不知道Dockerfile应该如何写，不清楚Dockerfile中的指令分别有什么意义，能达到什么样的目的，接下来我将在容器化专栏中详细的为大家解释每一个指令的含义以及用法。专栏订阅传送门https://blog.csdn.net/qq_38220908/category_11989778.html指令不区分大小写。但是，按照惯例，它们应该是大写的，以便更容易地将它们与参数区分开来。(引用
Dockerfile（1） - FROM 指令详解小菠萝测试笔记 docker python java cmd 大数据
FROM指明当前的镜像基于哪个镜像构建dockerfile必须以FROM开头，除了ARG命令可以在FROM前面FROM[--platform=][AS]FROM[--platform=][:][AS]FROM[--platform=][@][AS]小栗子FROMalpine:latest一个dockerfile可以有多个FROM可以有多个FROM来创建多个镜像，或区分构建阶段，将一个构建阶段作为另
linux 安装Sublime Text 3 hhyiyuanyu Python学习 linux sublime text
方法/步骤打开官网http://www.sublimetext.com/3，选择64位进行下载执行命令wgethttps://download.sublimetext.com/sublime_text_3_build_3126_x64.tar.bz2进行下载3、下载完成进行解压,执行tar-xvvfsublime_text_3_build_3126_x64.tar.bz解压4、解压完成以后，移动到
JAVA中的Enum 周凡杨 java enum 枚举
Enum是计算机编程语言中的一种数据类型---枚举类型。在实际问题中，有些变量的取值被限定在一个有限的范围内。例如，一个星期内只有七天我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
赶集网mysql开发36条军规 Bill_chen mysql 业务架构设计 mysql调优 mysql性能优化
(一)核心军规 (1)不在数据库做运算 cpu计算务必移至业务层； (2)控制单表数据量 int型不超过1000w，含char则不超过500w；合理分表；限制单库表数量在300以内； (3)控制列数量字段少而精，字段数建议在20以内
Shell test命令 daizj shell 字符串 test 数字文件比较
Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。数值测试参数说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真实例演示： num1=100 num2=100if test $[num1]
XFire框架实现WebService(二) 周凡杨 java webservice
有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)：两个java bean类： Course.java package cn.com.bean; public class Course { private
重绘之画图板朱辉辉33 画图板
上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
Java的IO流西蜀石兰 java
刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match! 网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large 异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
JS 格式化时间 alxw4616 JavaScript
/** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
队列中数据的移除问题百合不是茶队列移除
队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除, 代码如下; // package com.Thread0715.com; import java.util.ArrayList; public class Threa
Runnable接口使用实例 bijian1013 java thread Runnable java多线程
Runnable接口 a. 该接口只有一个方法：public void run(); b. 实现该接口的类必须覆盖该run方法 c. 实现了Runnable接口的类并不具有任何天
oracle里的extend详解 bijian1013 oracle 数据库 extend
扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
【httpclient】httpclient发送表单POST请求 bit1129 httpclient
浏览器Form Post请求浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
【Hive十三】Hive读写Avro格式的数据 bit1129 hive
1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype 2. 创建avro格式的数据表 hive> CREATE TABLE avro_table(age INT, name STRING)STORE
nginx+lua+redis自动识别封解禁频繁访问IP ronin47
在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在指定的封禁时间后实行自动解封的目的。一、安装环境： CentOS x64 release 6.4(Fin
java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan java spring IOC
以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
[科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
军事科研工程和项目并非要用最先进，最时髦的技术，而是要做到“万无一失” 而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
spring 定时器-两种方式 cuityang spring quartz 定时器
方式一：间隔一定时间运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
简述一下关于BroadView站点的相关设计 damoqiongqiu view
终于弄上线了，累趴，戳这里http://www.broadview.com.cn 简述一下相关的技术点前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。后端：U
运维 PHP问题汇总 dcj3sjt126com windows2003
1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页解决方法：后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。 2、解决PHP168超级管理员上传图片提示你的空间不足网站是用PHP168做的，反映使用管理员在后台无法
mac 下安装php扩展 - mcrypt dcj3sjt126com PHP
MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下：下载并解压libmcrypt-2.5.8.tar.gz。在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
MongoDB更新文档 [四] eksliang mongodb Mongodb更新文档
MongoDB更新文档转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义参数
Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。有问题不明的先注掉 cp /opt/tomcat-6.0.44/webapps/g
Spring之使用事务缘由(3-XML实现) ihuning spring
用事务通知声明式地管理事务事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
GCD使用经验与技巧浅谈啸笑天 GC
前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
linux（Ubuntu）下常用命令备忘录1 macroli linux 工作 ubuntu
在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息： ls / 显示/.下的所有文件和目录 ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点 mysql nodejs
// db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
一起学Hive系列文章 superlxw1234 hive Hive入门
[一起学Hive]系列文章目录贴，入门Hive，持续更新中。 [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。在3.7.0版本主要做了如下的更新：将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，