qinyan20121209

CDH4安装部署系列之四-安装部署高可用CDH4

1.1 CDH4服务器规划

编号	虚拟机IP	服务
1	10.255.0.120	Namenode1	RecourseManager	zkfc
2	10.255.0.145	Namenode2		zkfc
3	10.255.0.146	Journalnode1	datanode1	NodeManager	MapReduce	Zookeeper
4	10.255.0.149	Journalnode2	datanode1	NodeManager	MapReduce	Zookeeper
5	10.255.0.150	Journalnode3	datanode1	NodeManager	MapReduce	Zookeeper

注：由于服务器有限，所以将ResourceManager和Namenode安装在了同一台服务器上。生产环境不建议这么安装。生产环境CDH4集群的服务器规划请参考CDH4安装部署规划

1.2 在集群的所有节点准备Ubuntu 12.0.4操作系统

在规划的集群服务器所有节点安装Ubuntu 12.04，关于Ubuntu12.0.4的安装在此不再介绍，这里只对操作系统版本进行确认。

在各节点执行以下命令，查看操作系统版本

# cat /etc/issue

#lsb_release -c

1.3 在集群的所有节点上准备JDK1.7环境

在集群中的所有节点安装JDK1.7，关于JDK1.7的安装过程在此不再描述，这里只对JDK版本进行确认。
分别在集群中的所有节点执行以下命令，查看JDK1.7是否安装成功
#java -version
分别在集群中的所有节点执行的/etc/profile文件中配置JDK环境变量

export JAVA_HOME=/usr/lib/jdk1.7.0
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
测试环境变量

#Source /etc/profile

#echo $JAVA_HOME

1.4 在集群的所有节点上配置源

在Cloudera官网找到Ubuntu Precise 12.0.4对应的源，如下图所示，并在公司的源服务器上增加CDH4源（此步骤由IT协助完成，此处略）

Cloudera官网：
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/CDH4-Installation-Guide.html#../CDH4-Installation-Guide/../CDH4-Installation-Guide/cdh4ig_topic_4_4.html
在集群的所有节中配置CDH4源
#vim /etc/apt/source.list
deb [arch=amd64]http://10.155.0.66/cdh precise-cdh4 contrib
deb [arch=amd64]http://10.155.0.66/cm precise-cm4 contrib
deb http://10.155.0.66/ubuntu/precise main universe restricted multiverse
deb http://10.155.0.66/ubuntu/precise-security universe main multiverse restricted
deb http://10.155.0.66/ubuntu/precise-updates universe main multiverse restricted
deb http://10.155.0.66/ubuntu/precise-proposed universe main multiverse restricted
deb http://10.155.0.66/ubuntu/precise-backports universe main multiverse restricted
deb [arch=amd64] http://10.155.0.66/search/ubuntu/precise/amd64/search precise-search1.2.0 contrib
在集群的所有节点中增加源认证，确保安装时下载到正确的cdh4包
#wget http://10.155.0.66/cdh/archive.key
#apt-key add archive.key
在集群的所有节点更新源：

#apt-get update

1.5 为集群的每个节点配置网络主机名

1.5.1 在集群的所有节点上配置IP

修改所有节点的/etc/network/interface, 配置对应的ip地址，注意inetaddr应该配置在eth0网卡上
#vim /etc/network/interface
# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto eth0
iface eth0 inet static
        address 10.255.0.120
        netmask 255.255.255.0
       gateway10.255.0.254
重启网卡使配置生效

#/etc/init.d/networking restart

1.5.2 在集群的所有节点上配置主机名

修改所有节点的/etc/hosts文件，包含ip地址和对应的完全符合FQDN的域名

#vim /etc/hosts：

10.255.0.120 namenode1.uc.com

10.255.0.145 namenode2.uc.com

10.255.0.146 datanode1.uc.com

10.255.0.149 datanode2.uc.com

10.255.0.150 datanode3.uc.com

2. 修改所有节点的/etc/hostname，使每一个节点的主机名生效

如在节点10.255.0.120上，修改hostname：

# vim /etc/hostname

namenode1.uc.com

3. 重启系统使hostname生效

#reboot

1.5.3 确认每个主机被网络识别

执行uname -a,检查输出的主机名和hostname命令输出的主机名一致，如在节点10.255.0.120上运行：

#uname –a

#hostname

2. 运行ifconfig，确定eth0的inet addr值为配置的ip。

如在节点10.255.0.120上运行：

#ifconfig

1.6 在Namenode1节点上配置SSH无密码登陆到其它节点

SSH无密码登陆方便从Namenode1 ssh无密码登陆到集群中的其他节点，也方便从namenode1拷贝文件到其他节点时不需要输入密码，具体操作步骤如下：

在Namenode1上运行

#ssh-keygen

根据提示按回车键，最终将生成的密钥保存在.ssh/id_rsa文件中，如上图所示

2. 在Namenode1上将秘钥拷贝到集群中的其他节点,实现 Namenode1无密码登陆到其他节点

如拷贝秘钥到Namenode2：

#ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]

按以上操作依次将秘钥拷贝到集群的所有其他节点（操作步骤的唯一区别是主机名不一样）

1.7 安装高可用CDH4

分别在以下节点安装对应的服务：

编号	虚拟机IP	服务
1	10.255.0.120	Namenode1	RecourseManager	zkfc
2	10.255.1.145	Namenode2		zkfc
3	10.255.1.146	Journalnode1	datanode1	NodeManager	MapReduce	Zookeeper
4	10.255.1.149	Journalnode2	datanode1	NodeManager	MapReduce	Zookeeper
5	10.255.1.150	Journalnode3	datanode1	NodeManager	MapReduce	Zookeeper

1．安装和部署Zookeeper

Clouder建议，如果正准备部署高可用（Namenode HA）集群，则必须先安装部署Zookeeper集群。 Zookeeper具体安装部署请参见Zookeeper 安装

2．安装和部署zkfc

部署高可用（Namenode HA）集群，在安装部署Zookeeper集群之后需要安装部署Zookeeper客户端ZKFC。 ZKFC具体安装部署请参见ZKFC安装。

3．安装Namenode：

# apt-get install hadoop-hdfs-Namenode

验证Namenode是否安装成功

#dpkg -l|grep Namenode

4．安装Journalnode

#apt-get install hadoop-hdfs-Journalnode

验证Journalnode是否安装成功

#dpkg -l|grep Journalnode

5．安装datanode

#apt-get install hadoop-hdfs-datanode

验证datanode是否安装成功

#dpkg -l|grep datanode

6．安装yarn-resourcemanager

#apt-get install hadoop-yarn-resourcemanager

验证resourcemanager是否安装成功

#dpkg -l|grep resourcemanager

7．安装yarn-NodeManager

# apt-get install hadoop-yarn-NodeManager

验证NodeManager是否安装成功

#dpkg -l|grep NodeManager

8．安装hadoop-MapReduce

#apt-get install hadoop-MapReduce

验证MapReduce是否安装成功

#dpkg -l|grep MapReduce

1.8 部署HDFS

检查HDFS默认配置文件路径

HDFS默认配置文件路径位于/etc/Hadoop/conf.dist和/etc/Hadoop/conf下面。这2个文件夹的内容是一摸一样的。配置我们自己的HDFS时，对/etc/Hadoop/conf下的文件进行修改

在Namenode1上自定义HDFS配置文件

1. #vim /etc/hadoof/conf/core-site.xml

fs.defaultFS

hdfs://mycluster

dfs.nameservices

mycluster

dfs.ha.Namenodes.mycluster

nn1,nn2

dfs.Namenode.rpc-address.mycluster.nn1

Namenode1.uc.com:8020

dfs.Namenode.rpc-address.mycluster.nn2

Namenode2.uc.com:8020

dfs.Namenode.http-address.mycluster.nn1

Namenode1.uc.com:50070

dfs.Namenode.http-address.mycluster.nn2

Namenode2.uc.com:50070

dfs.Namenode.shared.edits.dirqjournal://datanode1.uc.com:8485;datanode2.uc.com:8485;datanode3.uc.com:8485/mycluster

dfs.Journalnode.edits.dir

/data1/1/dfs/jn

dfs.client.failover.proxy.provider.mycluster

org.apache.hadoop.hdfs.server.Namenode.ha.ConfiguredFailoverProxyProvider

dfs.ha.fencing.methods

sshfence(hdfs)

dfs.ha.fencing.ssh.private-key-files

/var/lib/hadoop-hdfs/.ssh/id_rsa

dfs.ha.fencing.ssh.connect-timeout

5000

SSH connection timeout, inmilliseconds, to use with the builtin

sshfence fencer.

ha.Zookeeper.quorum.mycluster

datanode1.uc.com:2181,datanode2.uc.com:2181,datanode3.uc.com:2181

配置文件说明：

2. #vim /etc/hadoof/conf/hdfs-site.xml

dfs.replication

dfs.ha.automatic-failover.enabled

true

dfs.permissions.superusergroup

hadoop

dfs.Namenode.name.dir

file:///data1/1/dfs/nn

dfs.datanode.data.dir

file:///data1/1/dfs/dn,/data1/2/dfs/dn,/data1/3/dfs/dn

配置文件说明：

3. #vim /etc/hadoof/conf/slaves

datanode1.uc.com

datanode2.uc.com

datanode3.uc.com

配置文件说明：

slaves文件中列出所有datanode节点的域名

4. 配置环境变量#vim /etc/profile

#vim /etc/profile

export JAVA_HOME=/usr/lib/jdk1.7.0

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

exportCLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:/usr/lib/hive/lib/:/usr/lib/hadoop/

#source /etc/profile

5. 配置环境变量#vim /etc/hadoop/conf/hadoop-env.sh

# Set Hadoop-specific environment variables here.

# Forcing YARN-based mapreduce implementaion.

# Make sure to comment out if you want to go back to the default or

# if you want this to be tweakable on a per-user basis

export HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

6. 从Namenode1将配置文件拷贝到集群中的所有节点

#scp hdfs-site.xml core-site.xml slaves namenode2:/etc/hadoop/conf

#scp hdfs-site.xml core-site.xml slaves datanode1:/etc/hadoop/conf

#scp hdfs-site.xml core-site.xml slaves datanode2:/etc/hadoop/conf

#scp hdfs-site.xml core-site.xml slaves datanode3:/etc/hadoop/conf

创建配置文件中指定的本地存储目录并设置权限

下表是Hadoop官方文档提供的本地存储目录的正确属主、属组及权限：

根据hdfs-site.xml：dfs.Namenode.name.dir= file:///data1/1/dfs/nn，在所有Namenode节点建立Namenode元数据保存路径，并修改文件夹的访问权限

#mkdir -p/data1/1/dfs/nn

#chown -R hdfs:hdfs/data1/1/dfs/nn

#chmod 700/data1/1/dfs/nn

2. 根据core-site.xml，在所有Journalnode建立文件夹和修改文件夹的访问权限

#sudo mkdir -p/data1/1/dfs/jn

#sudochown -R hdfs:hdfs /data1/1/dfs/jn

3. 根据hdfs-site.xml，在所有datanode建立文件夹及修改文件夹的权限

mkdir -p /data1/1/dfs/dn /data1/2/dfs/dn /data1/3/dfs/dn

chown -R hdfs:hdfs /data1/1/dfs/dn /data1/2/dfs/dn /data1/3/dfs/dn

1.9 启动HDFS

HDFS启动时必须严格按以下顺序，否则可能会出现错误

1. 启动所有Journalnode

# service hadoop-hdfs-Journalnode start

验证Journalnode启动成功

eg：验证Journalnode1启动成功，如下图，输入jps，回车，出现Journalnode进程，表示启动成功

2. 格式化Namenode1

#sudo -u hdfshadoop Namenode -format

注意：

1) 需要用hdfs用户做格式化，因为在/data1/1/dfs/nn下创建的文件夹，用户都是hdfs

2) 初次启动需要格式化Namenode1，以后就不需要了否则会格式化之前存储在Namenode1上的元数据，导致Datanode找不到对应的元数据

3. 在Namenode1或Namenode2上格式化Journalnode

# hdfs Namenode -initializeSharedEdits

注意：初次启动时执行，以后就不需要了，否则会格式化所有存储在Journalnode上的元数据，从而导致Namenode1和Namenode2同步失败而报错

4. 启动Namenode1

# sudo service hadoop-hdfs-Namenode start

验证Namenode启动成功，eg：验证Namenode1启动成功，输入jps命令后出现Namenode进程表示启动成功

5. 在Namenode2上同步Namenode1的元数据并启动Namenode2

# sudo -u hdfs hdfs Namenode-bootstrapStandby

注：初次启动时需要，以后通过Journalnode自动同步

# sudo service hadoop-hdfs-Namenodestart

验证Namenode启动成功，eg：验证Namenode2启动成功，输入jps命令后出现Namenode进程表示启动成功

6. 启动所有datanode

# /etc/init.d/hadoop-hdfs-datanodestart

验证datanode启动成功，eg：验证datanode1安装成功，输入jps，回车，出现DataNode进程名称，表示启动成功

1.10 验证HDFS文件结构

在任意一个节点建立/input文件夹，并设置正确的访问权限和属主：

#sudo -u hdfs hadoop fs-mkdir /input

#sudo -u hdfs hadoop fs-chmod -R 1755 /input

在任意一个节点建立/output文件夹，并设置正确的访问权限和属主：

#sudo -u hdfs hadoop fs-mkdir /output

#sudo -u hdfs hadoop fs-chmod -R 1755 /output

查看HDFS文件结构

sudo -u hdfs hadoop fs -ls -R /

出现如下图所示：表示HDFS启动成功，并能正常使用

1.11 验证HA自动切换是否生效

在浏览器中输入：http://10.255.0.120:50070，因为首先启动的是Namenode1，所以Namenode1是active的

2. 在浏览器中输入：http://10.255.0.145:50070， Namenode2是standby状态

3. 停止Namenode1：

# service hadoop-hdfs-Namenode stop

5秒钟后（HA切换时，在core-site.xml：dfs.ha.fencing.ssh.connect-timeout设置的Zookeeper最长超时时间），在浏览器中输入：http://10.255.1.12:50070， Namenode2自动切换为active状态了

1.4 部署YARN

在Namenode1自定义YARN配置文件

1. vim yarn-site.xml

yarn.resourcemanager.resource-tracker.address

Namenode1:8031

yarn.resourcemanager.address

Namenode1:8032

yarn.resourcemanager.scheduler.address

Namenode1:8030

yarn.resourcemanager.admin.address

Namenode1:8033

yarn.resourcemanager.webapp.address

Namenode1:8088

Classpathfor typical applications.

yarn.application.classpath

$HADOOP_CONF_DIR,

$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,

$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,

$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,

$YARN_HOME/*,$YARN_HOME/lib/*

yarn.NodeManager.aux-services

MapReduce.shuffle

yarn.NodeManager.aux-services.MapReduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.NodeManager.local-dirs

file:///data1/1/yarn/local,file:///data1/2/yarn/local,file:///data1/3/yarn/local

yarn.NodeManager.log-dirs

file:///dat1/1/yarn/logs,file:///data1/2/yarn/logs,file:///data1/3/yarn/logs

Where toaggregate logs

yarn.NodeManager.remote-app-log-dir

hdfs://var/log/hadoop-yarn/apps

yarn.web-proxy.address

datanode3:54315

配置文件说明：

2. vim mapred-site.xml

MapReduce.framework.name

yarn

yarn.app.MapReduce.am.staging-dir

/user

MapReduce.jobhistory.address

Journalnode1.uc.com:10020

The address of the JobHistory Server host:port

MapReduce.jobhistory.webapp.address

Journalnode1.uc.com:19888

The address of the JobHistory Server webapplication host:port

配置文件说明：

创建配置文件中指定的本地目录并设置权限

下表是Hadoop官方文档提供的本地存储文件夹的正确属主属组和权限：

Directory	Owner	Permissions
yarn.NodeManager.local-dirs	yarn:yarn	drwxr-xr-x
yarn.NodeManager.log-dirs	yarn:yarn	drwxr-xr-x

根据yarn-site.xml：yarn.NodeManager.local-dirs=file:///data1/1/yarn/local,file:///data1/2/yarn/local,file:///data1/3/yarn/local，在所有datanode建立文件夹及修改文件夹的权限

# mkdir -p /data1/1/yarn/local/data1/2/yarn/local /data1/3/yarn/local

#chown -R yarn:yarn /data1/1/yarn/local/data1/2/yarn/local /data1/3/yarn/local

根据yarn-site.xml: yarn.NodeManager.log-dirs=file:///dat1/1/yarn/logs,file:///data1/2/yarn/logs,file:///data1/3/yarn/logs, 在所有datanode建立文件夹及修改文件夹的权限

#mkdir -p /data1/1/yarn/logs/data1/2/yarn/logs /data1/3/yarn/logs

#chown -R yarn:yarn /data1/1/yarn/logs/data1/2/yarn/logs /data1/3/yarn/logs

创建配置文件中指定的HDFS中的文件

根据yarn-site:yarn.NodeManager.remote-app-log-dir= hdfs://var/log/hadoop-yarn/apps, 在HDFS中建立/ log文件夹，并设置正确的访问权限：

#sudo -u hdfs hadoop fs -mkdir /var/log/hadoop-yarn

#sudo -u hdfs hadoop fs -chown yarn:mapred /var/log/hadoop-yarn

注意：必须创建该目录，因为它是yarn-site配置文件中配置的属性值：/var/log/hadoop-yarn/apps的父目录

根据mapred-site:yarn.app.MapReduce.am.staging-dir =/usre, 在HDFS中建立/ user文件夹，并设置正确的访问权限：

#sudo -u hdfs hadoop fs -mkdir /user

#sudo -u hdfs hadoop fs -chmod -R 1755 /user

#sudo -u hdfs hadoop fs -chown yarn /user

HDFS启动，需要创建/user的子目录：/user/history,并设置正确的访问权限：

#sudo -u hdfs hadoop fs -mkdir /user/history

#sudo -u hdfs hadoop fs -chmod -R 1777 /user/history

#sudo -u hdfs hadoop fs -chown yarn /user/history

在任意一个节点建立/tmp文件夹，并设置正确的访问权限和属主。如果没有建立/tmp且/tmp没有正确的权限，在之后的CDH组件的运行过程中可能会遇到问题

#sudo -u hdfs hadoop fs -mkdir /tmp

#sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

验证HDFS文件结构

# sudo -u hdfs hadoop fs -ls -R /

应该看到如下图：

从Namenode1将配置文件拷贝到集群中的所有节点

#scp yarn-site.xml mapred-site.xmlhadoop-env.sh namenode2:/etc/hadoop/conf

#scp yarn-site.xml mapred-site.xmlhadoop-env.sh datanode1:/etc/hadoop/conf

#scp yarn-site.xml mapred-site.xmlhadoop-env.sh datanode2:/etc/hadoop/conf

#scp yarn-site.xml mapred-site.xmlhadoop-env.sh datanode3:/etc/hadoop/conf

1.13 启动YARN

1. 启动所有resourcemanager

# /etc/init.d/hadoop-yarn-resourcemanagerstart

验证Resourcemanager启动成功，输入jps，回车，出现如下进程名：ResourceManager，表示启动成功

2. 启动所有NodeManager

# /etc/init.d/hadoop-yarn-NodeManagerstart

验证NodeManager启动成功，eg：验证datanode1上NodeManager启动：输入jps，回车，出现NodeManager进程名，说明启动成功

1.14 验证YARN

在任意一个节点操作如下：

1. 在HDFS建立文件夹input 和 output（如已经创建，不用重复创建）

# sudo -u hdfs hadoop fs -mkdir /input

# sudo -u hdfs hadoop fs -mkdir /output

2. 拷贝文件/etc/Hadoop/cof/*.xml到input

# sudo -u hdfs hadoop fs -put /etc/hadoop/conf/core-site.xml /input

3. 查看文件是否拷贝成功

# sudo -u hdfs hadoop fs-ls /input

4. 在安装MapReduce的任意节点上，运行一个hadoopjob：wordcount，统计input中存在的单词数量，结果在/output/wordcount中

# sudo -u hdfs hadoop jar/usr/lib/hadoop-MapReduce/hadoop-MapReduce-examples.jar wordcount/input/core-site.xml /output/wordcount

5. 查看output文件中的内容

# sudo -u hdfs hadoop fs -ls /output/wordcount

#sudo -u hdfs hadoop fs -cat /output/wordcount/part-r-00000

出现下图，说明mapreduce运算成功，yarn可以正常使用：

你可能感兴趣的:(安装部署,CDH4,Hadoop系列)

Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
openssl+keepalived安装部署 _小亦_ 项目部署 keepalived openssl
文章目录OpenSSL安装下载地址编译安装修改系统配置版本Keepalived安装下载地址安装遇到问题安装完成配置文件keepalived运行检查运行状态查看系统日志修改服务service重新加载systemd检查配置文件语法错误OpenSSL安装下载地址考虑到后面设备可能没法连接到外网，所以采用安装包的方式进行部署，下载地址：https://www.openssl.org/source/old/
Spark集群的三种模式 MelodyYN #Spark spark hadoop big data
文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
Linux学习-Ansible（一）丢爸 Linux linux 学习 ansible
环境-Rocky-Linux8.6安装部署Ansible#安装ansible[root@harboransible]#dnfinstall-yansible-core#查看安装信息[root@harboransible]#ansible-doc--versionansible-doc[core2.12.2]configfile=/root/ansible/ansible.cfgconfigured
DMDPC安装部署丷月亮是指路牌数据库
1.DMDPC架构DMDPC架构由计划生成节点SP、数据存储节点BP和元数据服务器节点MP三部分组成：1、SP对外提供分布式数据库服务，用户可以登录到任意一个SP节点，获得完整的数据库服务；2、BP负责存储数据，执行SP的调度指令并将执行结果返回给SP；3、MP负责存储元数据并向SP、BP提供元数据服务。本文是在1台Linux虚拟机上通过创建四个实例的方式进行集群搭建.2.DMDPC集群规划DMD
银河麒麟高级服务器操作系统V10SP2（X86）PXE服务端部署以及测试熊08 服务器运维 linux kylin
银河麒麟高级服务器操作系统V10SP2（X86）PXE服务端部署以及测试一系统环境1.1服务端/客户端系统版本1.2服务端环境信息二组件安装部署2.1安装软件包2.1.1uefi配置2.1.2legacy配置2.2dhcp服务配置2.2.1uefi配置2.2.2legacy配置2.3xinetd服务配置2.4http服务配置2.4.1uefi配置2.4.2legacy配置2.5grub配置2.5.
阿里云服务器Zookeeper单机安装部署（单机伪集群稍后更新）不减30斤不改名_TC
首先服务器系统版本配置如下：40e2c9e8ed734139ac1f99197a01dad8.pngzookeeper下载链接：http://mirror.bit.edu.cn/apache/zookeeper/38f2d0f359d7426faf44a6b8047f4a94.pngzookeeper版本很重要，我下载的是3.4.14版本，至于为什么不用新的，后面会讲到。下载后解压放置路径：028
【Docker】MongoDB 容器化部署轻云UC 运维部署 mongodb docker 数据库
MongoDBdocker容器化部署MongoDB标准软件基于BitnamiMongoDB构建。当前版本未7.0.5你可以通过轻云UC部署工具直接安装部署，也可以手动按如下文档操作配置文件地址:https://gitee.com/qingplus/qingcloud-platformQinghubStudio在线体验初始化一个新实例使用Docker容器网络，应用程序容器可以轻松访问容器内运行的Mo
01-Flink安装部署及入门案例（仅供学习），音视频时代你还不会NDK开发小猪佩琪962 2024年程序员学习 flink 学习大数据
先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵
如何在虚拟机中安装部署K8S？桃林春风一杯酒 kubernetes java docker
教程参考：centos7安装k8s1.28版本，基于科学-CSDN博客环境准备：准备三台机器，都做以下操作，或者只准备一个机器，最后再克隆两台。yum：换源，这是阿里云的源sudowget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repo然后清缓存，建立元数据yumcleanallyumma
Linux - Linux安装部署Maven以及环境变量配置 MinggeQingchun Linux Maven linux maven 运维
1、下载Maven：前往官网下载最新版的Maven：Maven–DownloadApacheMaven2、解压Maven：将下载的压缩包解压到你希望安装Maven的目录，例如：tar-zxvfapache-maven-3.8.6-bin.tar.gz-C/opt/maven3、配置环境变量：编辑.bashrc或.bash_profile文件，添加以下内容：exportM2_HOME=/opt/ma
史上最全LVS+keepalived+nginx基于DR模式高可用安装部署徐兴强的博客负载均衡服务器 linux
史上最全LVS+keepalived+nginx基于DR模式高可用安装部署lvs+keepAlived→效率最高的负载均衡在大型网站中一般服务端会做集群，同时利用负载均衡器做负载均衡。这样有利于将大量的请求分散到各个服务器上，提升网站的响应速度。当然为了解决单点故障的问题，还会做热备份方案。这里演示利用LVS做负载均衡器，同时利用Keepalived保证其高可用，基于LVS的DR模式构建Nginx
helm2和helm3的区别及helm2的安装使用 Rami
1.从Helm2到Helm3helm是一个k8s应用包管理工具，负责云原生应用的安装部署和生命周期管理2.Helm2两个主要的组件Tiller：helm的服务端，部署在k8s里面的一个pod，通常在kube-system这个名称空间里，主要负责部署helmcharts，管理release，跟k8sAPIserver通信。helmClient：helm的客户端，主要负责从公有或者私有charts仓库
Aarch64架构OpenEuler服务器安装部署.NetCore站点東云dove .netcore linux 服务器 visual studio
下载对应的离线包（SDK或者runtime）在OpenEuler中找到/usr/share/并创建dotnet目录，并将下载的离线包解压添加环境变量exportPATH=$PATH:/usr/share/dotnetsource~/.bashrcdotnet--info将.NetCore站点发布为linux-arm64（旧版本的VS没有这个选项，我用的是VS2022发布的）进入对应的文件夹，运行d
隐语课程 SecretFlow的安装部署皓月雪学习笔记
SecretFlow安装：1.先开启电脑上的虚拟机功能，以管理员身份打开PowerShell并运行：dism.exe/online/enable-feature/featurename:VirtualMachinePlatform/all/norestart2.在Windows上安装WSL2，安装WSL|MicrosoftLearn3.将WSL2设置为默认版本，以管理员身份打开PowerShell
Docker无介绍快使用，docker数据卷Volumes挂载的使用（三）时间是一种毒药
问题背景上篇介绍了Docker指令，本章介绍一下数据卷VolumesDocker无介绍快使用，安装部署hello测试（一）Docker无介绍快使用，docker指令使用（二）Docker无介绍快使用，docker数据卷Volumes挂载的使用（三）Docker数据卷Volumes概述：数据卷是宿主机中的一个目录或文件，当容器目录和数据卷目录绑定后，对方的修改会立即同步一个数据卷可以被多个容器同时挂
MySQL gh-ost DDL 变更工具 Bing@DBA MySQL mysql 数据库
文章目录1.MDL锁介绍2.变更工具3.gh-ost原理解析4.安装部署5.操作演示5.1.重点参数介绍5.2.执行变更5.3.动态控制6.风险提示1.MDL锁介绍MySQL的锁可以分为四类：MDL锁、表锁、行锁、GAP锁，其中除了MDL锁是在Server层加的之外，其它三种都是在InnoDB层加的。下面主要介绍一下：MDL元数据锁，主要作用就是维护DDL过程中数据的安全性&正确性。当对一个表进行
【网络架构】ELK 云计算稿手网络架构架构 elk
目录一、ELK介绍1.1ELK是什么1.2Elasticsearch1.3Logstash1.4Kibana1.5为什么使用ELK二、ELK原理2.1工作原理2.2ELK的应用架构图三、ELK的安装部署3.1环境部署3.2前期环境3.3安装Elasticsearch3.3.1修改配置3.3.2查看节点信息3.4安装Logstash3.4.1安装服务3.4.2使用Logstash3.4.3对接ela
powerdns mysql_PowerDNS安装部署泰坦V powerdns mysql
centos安装epel检验epel[[email protected]]#lsCentOS-Base.repoCentOS-fasttrack.repoCentOS-Vault.repoCentOS-CR.repoCentOS-Media.repoepel.repoCentOS-Debuginfo.repoCentOS-Sources.repoepel-testing.repo安装
WebService环境安装+编写+发布部署+调用时光书签 c#专题 c#webservice iis
内容目录：1.WebService环境安装2.WebService编写3.WebService的发布及部署4.WebService调用一、WebService环境安装部署IIS环境。win7中打开控制面板--->程序和功能--->打开或关闭Window功能，按以下安装好，就部署好IIS环境了。二、WebService编写1.我使用的是VS2019.首先，在解决方案中，右击解决方案->添加->新建项
Python 全栈系列266 Kafka服务的Docker搭建 yukai08008 全栈 python kafka docker
说明在大量数据处理任务下的缓存与分发这个算是来自顾同学的助攻+1，我有点java绝缘体的体质，碰到和java相关的安装部署总会碰到点奇怪的问题，不过现在已经搞定了。测试也接近了kafka官方标称的性能。考虑到网络、消息的大小等因素，可以简单认为kafka的速度是10万/秒级的。本次文章的目的是：1搭建一个平时工作中常用的队列服务2方便自己或者其他同事再次搭建内容1搭建过程共要搭建两个服务：zook
国产海量数据库安装部署文档人生不过大梦一场 db 数据库 windows linux
本系统为麒麟V10系统,安装用户为普通用户给予sudo权限，主机内存16G（8G安装没装起来）#默认端口5432对外端口数据库对外提供访问5433对内端口Basebackup与复制流协议系统环境设置#关闭防火墙（二者执行一个）sudosystemctlstopfirewalld.service&&sudosystemctldisablefirewalld&&sudosystemctlstatusf
数据仓库之【商品订单数据数仓】10：数据可视化工具：Zeppelin安装部署、Zeppelin使用做一个有趣的人Zz hadoop hive 数据仓库 hive big data
一、数据可视化数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。咱们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。所以我们可以考虑使用Zeppelin针对一些复杂的图表，可以选择定制开发，使用echarts、finebi组件实现。二、Zeppelin安装部署注意：不要使用Zeppelin0.8.2版本，这
K8S安装部署一心只为学 kubernetes linux 容器
一、准备工作在vmware中安装，创建三台centos服务器主机ip配置master192.168.42.1884核，6g内存，40g硬盘node1192.168.42.1892核，2g内存，20g硬盘node2192.168.42.1902核，2g内存，20g硬盘二、环境配置1、修改hosts配置（所有节点执行）vim/etc/hosts192.168.42.188master192.168.4
K8S笔记：Kubernetes安装部署(CentOS7) arksea devops kubernetes k8s 运维
目录文章目录目录一、使用minikube启动minikube的LoadBalancer支持指定minikube自带docker的docker0网桥网段minikube使用本地image二、使用kubeadm手工安装1、安装前准备2、允许iptables检查桥接流量3、安装kubeletkubeadmkubectl4、kubelet使用cgroup驱动5、确认主机名/域名可被访问6、关闭Swap或忽
centos安装k8s集群（kubeadm方式） MssGuo kubernetes centos kubernetes Linux运维
目录前言生产环境部署k8s集群的两种方式服务器初始化、环境准备使用kubeadm安装k8s（本篇讲解使用kubeadm安装k8s）后记-k8s使用外部etcd集群前言环境：centos7.9docker-ce-20.10.9kubernetes-versionv1.22.17本篇来讲解如何在centos下安装部署k8s集群生产环境部署k8s集群的两种方式kubeadmkubeadm是一个工具，提供
MySQL中如何用全库备份恢复单张表 As before@ mysql 数据库运维
一、概述模拟场景：下面模拟逻辑备份与物理备份两种方式恢复单表方法，利用完整备份+binlog恢复单表，某天某张表意外删除，如何从全备中恢复单表？二、安装部署2.1Mysql安装（我的模拟环境数据版本为：5.7.36，此处省略相关操作）2.2xtrabackup-2.4.24安装（物理备份）官网地址：https://www.percona.com/downloads/Percona-XtraBack
gitlab使用 happy_king_zi 运维自动化代码库 CICD gitlab 运维 git ci/cd
一、gitlab的搭建一）gitlab安装部署、升级gitlab安装部署、备份升级：https://www.cnblogs.com/straycats/p/7707359.html二）gitlab软件目录结构（yum安装）1、主要的四个目录1/opt/gitlab/##主目录2/etc/gitlab/##放置配置文件3/var/opt/gitlab/##各个组件4/var/log/gitlab/#
项目部署实现开机自动启动tomcat和谷歌浏览器并全屏访问自己部署的项目 Mystery、Yu 项目部署流程 web项目部署开机启动tomcat 开机全屏打开谷歌浏览器
项目部署实现开机自动启动tomcat和谷歌浏览器并全屏访问自己部署的项目安装部署流程：1：jdk安装（环境变量配置）JAVA_HOMEPATHclasspath2：tomcate安装（环境变量设置）CATALINA_HOME（tomcate所在目录）CATALINA_BASE（tomcate所在目录）Path(tomcatebin所在目录)3：整合Tomcat到服务器中注意是配置jdk和tomca
Ambari安装部署教程 Aries_Chen_CSDN 大数据 hadoop ambari
前言之前尝试过使用Ambri安装HDFS集群，整个搭建的流程应该是记录的比较详细的，重新把资料整理了一下发布到博客，希望可以帮到有需要的人吧。环境准备以下操作使用root用户执行：1.关闭防火墙chkconfigiptablesoffserviceiptablesstopchkconfig--listiptables2.关闭SElinuxvi/etc/sysconfig/selinux将SELIN
Hadoop(一) 朱辉辉33 hadoop linux
今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧. 在hdfs下，运行hadoop fs -mkdir /u
maven An error occurred while filtering resources blackproof maven 报错
转：http://stackoverflow.com/questions/18145774/eclipse-an-error-occurred-while-filtering-resources maven报错： maven An error occurred while filtering resources Maven -> Update Proje
jdk常用故障排查命令 daysinsun jvm
linux下常见定位命令： 1、jps 输出Java进程 -q 只输出进程ID的名称，省略主类的名称； -m 输出进程启动时传递给main函数的参数； &nb
java 位移运算与乘法运算周凡杨 java 位移运算乘法
对于 JAVA 编程中，适当的采用位移运算，会减少代码的运行时间，提高项目的运行效率。这个可以从一道面试题说起：问题：用最有效率的方法算出2 乘以8 等於几?” 答案：2 << 3 由此就引发了我的思考，为什么位移运算会比乘法运算更快呢？其实简单的想想，计算机的内存是用由 0 和 1 组成的二
java中的枚举(enmu) g21121 java
从jdk1.5开始，java增加了enum(枚举)这个类型，但是大家在平时运用中还是比较少用到枚举的，而且很多人和我一样对枚举一知半解，下面就跟大家一起学习下enmu枚举。先看一个最简单的枚举类型，一个返回类型的枚举： public enum ResultType { /** * 成功 */ SUCCESS, /** * 失败 */ FAIL,
MQ初级学习 510888780 activemq
1.下载ActiveMQ 去官方网站下载：http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.9.0-bin.zip到C盘，然后双击apache-activemq-5.9.0-\bin\activemq-admin.bat运行ActiveMQ程序。启动ActiveMQ以后，登陆：http://localhos
Spring_Transactional_Propagation 布衣凌宇 spring transactional
//事务传播属性 @Transactional(propagation=Propagation.REQUIRED)//如果有事务，那么加入事务，没有的话新创建一个 @Transactional(propagation=Propagation.NOT_SUPPORTED)//这个方法不开启事务 @Transactional(propagation=Propagation.REQUIREDS_N
我的spring学习笔记12-idref与ref的区别 aijuans spring
idref用来将容器内其他bean的id传给<constructor-arg>/<property>元素，同时提供错误验证功能。例如： <bean id ="theTargetBean" class="..." /> <bean id ="theClientBean" class=&quo
Jqplot之折线图 antlove js jquery Web timeseries jqplot
timeseriesChart.html <script type="text/javascript" src="jslib/jquery.min.js"></script> <script type="text/javascript" src="jslib/excanvas.min.js&
JDBC中事务处理应用百合不是茶 java JDBC编程事务控制语句
解释事务的概念; 事务控制是sql语句中的核心之一;事务控制的作用就是保证数据的正常执行与异常之后可以恢复事务常用命令: Commit提交
[转]ConcurrentHashMap Collections.synchronizedMap和Hashtable讨论 bijian1013 java 多线程线程安全 HashMap
在Java类库中出现的第一个关联的集合类是Hashtable，它是JDK1.0的一部分。 Hashtable提供了一种易于使用的、线程安全的、关联的map功能，这当然也是方便的。然而，线程安全性是凭代价换来的――Hashtable的所有方法都是同步的。此时，无竞争的同步会导致可观的性能代价。Hashtable的后继者HashMap是作为JDK1.2中的集合框架的一部分出现的，它通过提供一个不同步的
ng-if与ng-show、ng-hide指令的区别和注意事项 bijian1013 JavaScript AngularJS
angularJS中的ng-show、ng-hide、ng-if指令都可以用来控制dom元素的显示或隐藏。ng-show和ng-hide根据所给表达式的值来显示或隐藏HTML元素。当赋值给ng-show指令的值为false时元素会被隐藏，值为true时元素会显示。ng-hide功能类似，使用方式相反。元素的显示或
【持久化框架MyBatis3七】MyBatis3定义typeHandler bit1129 TypeHandler
什么是typeHandler? typeHandler用于将某个类型的数据映射到表的某一列上，以完成MyBatis列跟某个属性的映射内置typeHandler MyBatis内置了很多typeHandler，这写typeHandler通过org.apache.ibatis.type.TypeHandlerRegistry进行注册，比如对于日期型数据的typeHandler，
上传下载文件rz,sz命令 bitcarter linux命令rz
刚开始使用rz上传和sz下载命令：因为我们是通过secureCRT终端工具进行使用的所以会有上传下载这样的需求：我遇到的问题： sz下载A文件10M左右，没有问题但是将这个文件A再传到另一天服务器上时就出现传不上去，甚至出现乱码，死掉现象，具体问题解决方法：上传命令改为;rz -ybe 下载命令改为：sz -be filename 如果还是有问题：那就是文
通过ngx-lua来统计nginx上的虚拟主机性能数据 ronin47 ngx-lua　统计解禁ip
介绍以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力.项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 可以统计与query-times request-time
java-68-把数组排成最小的数。一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的。例如输入数组{32, 321}，则输出32132 bylijinnan java
import java.util.Arrays; import java.util.Comparator; public class MinNumFromIntArray { /** * Q68输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。 * 例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题
Oracle基本操作 ccii Oracle SQL总结 Oracle SQL语法 Oracle基本操作 Oracle SQL
一、表操作 1. 常用数据类型 NUMBER(p,s)：可变长度的数字。p表示整数加小数的最大位数，s为最大小数位数。支持最大精度为38位 NVARCHAR2(size)：变长字符串，最大长度为4000字节（以字符数为单位） VARCHAR2(size)：变长字符串，最大长度为4000字节（以字节数为单位） CHAR(size)：定长字符串，最大长度为2000字节，最小为1字节，默认
[强人工智能]实现强人工智能的路线图 comsci 人工智能
1：创建一个用于记录拓扑网络连接的矩阵数据表 2:自动构造或者人工复制一个包含10万个连接(1000*1000)的流程图 3：将这个流程图导入到矩阵数据表中 4：在矩阵的每个有意义的节点中嵌入一段简单的
给Tomcat，Apache配置gzip压缩(HTTP压缩)功能 cwqcwqmax9 apache
背景： HTTP 压缩可以大大提高浏览网站的速度，它的原理是，在客户端请求网页后，从服务器端将网页文件压缩，再下载到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省40%左右的流量。更为重要的是，它可以对动态生成的，包括CGI、PHP , JSP , ASP , Servlet,SHTML等输出的网页也能进行压缩，
SpringMVC and Struts2 dashuaifu struts2 springMVC
SpringMVC VS Struts2 1: spring3开发效率高于struts 2: spring3 mvc可以认为已经100%零配置 3: struts2是类级别的拦截，一个类对应一个request上下文， springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应所以说从架构本身上 spring3 mvc就容易实现r
windows常用命令行命令 dcj3sjt126com windows cmd command
在windows系统中，点击开始－运行，可以直接输入命令行，快速打开一些原本需要多次点击图标才能打开的界面，如常用的输入cmd打开dos命令行，输入taskmgr打开任务管理器。此处列出了网上搜集到的一些常用命令。winver 检查windows版本 wmimgmt.msc 打开windows管理体系结构(wmi) wupdmgr windows更新程序 wscrip
再看知名应用背后的第三方开源项目 dcj3sjt126com ios
知名应用程序的设计和技术一直都是开发者需要学习的，同样这些应用所使用的开源框架也是不可忽视的一部分。此前《 iOS第三方开源库的吐槽和备忘》中作者ibireme列举了国内多款知名应用所使用的开源框架，并对其中一些框架进行了分析，同样国外开发者 @iOSCowboy也在博客中给我们列出了国外多款知名应用使用的开源框架。另外txx's blog中详细介绍了 Facebook Paper使用的第三
Objective-c单例模式的正确写法 jsntghf 单例 ios iPhone
一般情况下，可能我们写的单例模式是这样的： #import <Foundation/Foundation.h> @interface Downloader : NSObject + (instancetype)sharedDownloader; @end #import "Downloader.h" @implementation
jquery easyui datagrid 加载成功，选中某一行 hae jquery easyui datagrid 数据加载
1.首先你需要设置datagrid的onLoadSuccess $( '#dg' ).datagrid({onLoadSuccess : function (data){ $( '#dg' ).datagrid( 'selectRow' ,3); }}); 2.onL
jQuery用户数字打分评价效果 ini JavaScript html jquery Web css
效果体验：http://hovertree.com/texiao/jquery/5.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery用户数字打分评分代码 - HoverTree</
mybatis的paramType kerryg DAO sql
MyBatis传多个参数： 1、采用#{0},#{1}获得参数： Dao层函数方法： public User selectUser(String name,String area); 对应的Mapper.xml <select id="selectUser" result
centos 7安装mysql5.5 MrLee23 centos
首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb，安装mysql的步骤。 #列出所有被安装的rpm package rpm -qa | grep mariadb #卸载 rpm -e mariadb-libs-5.
利用thrift来实现消息群发 qifeifei thrift
Thrift项目一般用来做内部项目接偶用的，还有能跨不同语言的功能，非常方便，一般前端系统和后台server线上都是3个节点，然后前端通过获取client来访问后台server，那么如果是多太server，就是有一个负载均衡的方法，然后最后访问其中一个节点。那么换个思路，能不能发送给所有节点的server呢，如果能就
实现一个sizeof获取Java对象大小 teasp java HotSpot 内存对象大小 sizeof
由于Java的设计者不想让程序员管理和了解内存的使用，我们想要知道一个对象在内存中的大小变得比较困难了。本文提供了可以获取对象的大小的方法，但是由于各个虚拟机在内存使用上可能存在不同，因此该方法不能在各虚拟机上都适用，而是仅在hotspot 32位虚拟机上，或者其它内存管理方式与hotspot 32位虚拟机相同的虚拟机上适用。
SVN错误及处理 xiangqian0505 SVN提交文件时服务器强行关闭
在SVN服务控制台打开资源库“SVN无法读取current” ---摘自网络写道 SVN无法读取current修复方法 Can't read file : End of file found 文件：repository/db/txn_current、repository/db/current 其中current记录当前最新版本号，txn_current记录版本库中版本