御林君
御林君

Hadoop集群搭建

1、准备工作

  • 准备6台虚拟机，内存1G
  • 虚拟机节点分配情况
序号 机器 分配
1 Park01 Zookeeper、NameNode(active)、ResourceManager(active)
2 Park02 Zookeeper、NameNode(standby)
3 Park03 Zookeeper、ResourceManager(standby)
4 Park04 DataNode、NodeManager、JournalNode
5 Park05 DataNode、NodeManager、JournalNode
6 Park06 DataNode、NodeManager、JournalNode
  • 关闭每台虚拟机防火墙
  • 更改每台虚拟机主机名，例如CH0、CH1……参考
  • 配置每台机器的hosts
    127.0.0.1 localhost
    ::1 localhost
    192.168.6.20 CH0
    192.168.6.21 CH1
    ……
    192.168.6.25 CH5
  • 配置免秘钥登录
  • 安装JDK并配置环境变量

2、Zookeeper 

[root@CH0 soft]# mkdir -p /usr/lib/zookeeper
[root@CH0 soft]# tar -zxvf zookeeper-3.4.7.tar.gz -C /usr/lib/zookeeper

2.1 zoo.cfg配置

[root@CH0 soft]# cd /usr/lib/zookeeper/zookeeper-3.4.7/conf/
[root@CH0 conf]# cp zoo_sample.cfg zoo.cfg
[root@CH0 conf]# vim zoo.cfg 

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/lib/zookeeper/zookeeper-3.4.7/tmp
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=192.168.6.20:2888:3888
server.2=192.168.6.21:2888:3888
server.3=192.168.6.22:2888:3888

2.2 tmp目录配置

[root@CH0 conf]# cd ..
[root@CH0 zookeeper-3.4.7]# mkdir tmp
[root@CH0 zookeeper-3.4.7]# cd tmp/
[root@CH0 tmp]# vim myid

1

2.3 其他两台虚拟机Zookeeper配置


[root@CH0 tmp]# cd ../../
[root@CH0 zookeeper]# cd ../
[root@CH0 lib]# scp -r zookeeper CH1:/usr/lib/
[root@CH0 lib]# scp -r zookeeper CH2:/usr/lib/

[root@CH1 ~]# cd /usr/lib/zookeeper/zookeeper-3.4.7/tmp/
[root@CH1 tmp]# ls
myid
[root@CH1 tmp]# vim myid 
[root@CH1 tmp]# cat myid 
2

[root@CH2 ~]# cd /usr/lib/zookeeper/zookeeper-3.4.7/tmp/
[root@CH2 tmp]# ls
myid
[root@CH2 tmp]# vim myid 
[root@CH2 tmp]# cat myid 
3

3、Hadoop安装配置

[root@CH0 soft]# mkdir -p /usr/lib/hadoop
[root@CH0 soft]# tar -zxvf hadoop-2.7.1.tar.gz -C /usr/lib/hadoop
[root@CH0 soft]# cd /usr/lib/hadoop/hadoop-2.7.1/etc/hadoop/

3.1、hadoop-env.sh配置

[root@CH0 hadoop]# vim hadoop-env.sh 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171
export HADOOP_CONF_DIR=/usr/lib/hadoop/hadoop-2.7.1/etc/hadoop

3.2、core-site.xml配置

[root@CH0 hadoop]# vim core-site.xml 



fs.defaultFS
hdfs://ns



hadoop.tmp.dir
/usr/lib/hadoop/hadoop-2.7.1/tmp



ha.zookeeper.quorum
CH0:2181,CH1:2181,CH2:2181

3.3、hdfs-site.xml配置

[root@CH0 hadoop]# vim hdfs-site.xml 



dfs.nameservices
ns



dfs.ha.namenodes.ns
nn1,nn2



dfs.namenode.rpc-address.ns.nn1
CH0:9000



dfs.namenode.http-address.ns.nn1
CH0:50070



dfs.namenode.rpc-address.ns.nn2
CH1:9000



dfs.namenode.http-address.ns.nn2
CH1:50070



dfs.namenode.shared.edits.dir
qjournal://CH3:8485;CH4:8485;CH5:8485/ns



dfs.journalnode.edits.dir
/usr/lib/hadoop/hadoop-2.7.1/journal



dfs.ha.automatic-failover.enabled
true



dfs.client.failover.proxy.provider.ns
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods
sshfence



dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa



dfs.namenode.name.dir
file:///usr/lib/hadoop/hadoop-2.7.1/tmp/namenode



dfs.datanode.data.dir
file:///usr/lib/hadoop/hadoop-2.7.1/tmp/datanode



dfs.replication
3



dfs.permissions
false

3.4、mapred-site.xml配置

[root@CH0 hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@CH0 hadoop]# vim mapred-site.xml




mapreduce.framework.name

yarn

3.5、yarn-site.xml配置

[root@CH0 hadoop]# vim yarn-site.xml 



yarn.resourcemanager.ha.enabled
true



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
CH0



yarn.resourcemanager.hostname.rm2
CH2



yarn.resourcemanager.recovery.enabled
true



yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore



yarn.resourcemanager.zk-address
CH0:2181,CH1:2181,CH2:2181
For multiple zk services,separate them with comm



yarn.resourcemanager.cluster-id
yarn-ha




yarn.resourcemanager.hostname

CH0




yarn.nodemanager.aux-services
mapreduce_shuffle

3.6、slaves配置

[root@CH0 hadoop]# vim slaves 
CH3
CH4
CH5

3.7、目录创建

[root@CH0 hadoop]# cd ../..
[root@CH0 hadoop-2.7.1]# mkdir tmp
[root@CH0 hadoop-2.7.1]# mkdir journal
[root@CH0 hadoop-2.7.1]# cd tmp
[root@CH0 tmp]# mkdir namenode
[root@CH0 tmp]# mkdir datanode

3.8、发送给其他五台虚拟机

[root@CH0 hadoop-2.7.1]# cd ../../
[root@CH0 lib]# scp -r hadoop CH1:/usr/lib/
[root@CH0 lib]# scp -r hadoop CH2:/usr/lib/
[root@CH0 lib]# scp -r hadoop CH3:/usr/lib/
[root@CH0 lib]# scp -r hadoop CH4:/usr/lib/
[root@CH0 lib]# scp -r hadoop CH5:/usr/lib/

4、环境变量配置

[root@CH0 ~]# vim /etc/profile
#java env
JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171
HADOOP_HOME=/usr/lib/hadoop/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME

4.1、配置文件发送其他五台虚拟机

[root@CH0 ~]# scp /etc/profile CH1:/etc/
[root@CH0 ~]# scp /etc/profile CH2:/etc/
[root@CH0 ~]# scp /etc/profile CH3:/etc/
[root@CH0 ~]# scp /etc/profile CH4:/etc/
[root@CH0 ~]# scp /etc/profile CH5:/etc/


[root@CH0 ~]# source /etc/profile

5、Hadoop分布式启动

5.1、zookeeper启动

Park01启动

[root@CH0 ~]# cd /usr/lib/zookeeper/zookeeper-3.4.7/bin/
[root@CH0 bin]# sh zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/lib/zookeeper/zookeeper-3.4.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

Park02启动

[root@CH1 ~]# cd /usr/lib/zookeeper/zookeeper-3.4.7/bin/
[root@CH1 bin]# sh zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/lib/zookeeper/zookeeper-3.4.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

Park03启动

[root@CH2 ~]# cd /usr/lib/zookeeper/zookeeper-3.4.7/bin/
[root@CH2 bin]# sh zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/lib/zookeeper/zookeeper-3.4.7/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

Park01启动状态验证

[root@CH0 bin]# sh zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/lib/zookeeper/zookeeper-3.4.7/bin/../conf/zoo.cfg
Mode: follower

Park02启动状态验证

[root@CH1 bin]# sh zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/lib/zookeeper/zookeeper-3.4.7/bin/../conf/zoo.cfg
Mode: leader

Park03启动状态验证

[root@CH2 bin]# sh zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/lib/zookeeper/zookeeper-3.4.7/bin/../conf/zoo.cfg
Mode: follower

5.2、format zkfc

[root@CH0 bin]# hdfs zkfc -formatZK
18/05/29 16:08:35 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ywty in ZK.
18/05/29 16:08:35 INFO zookeeper.ZooKeeper: Session: 0x263aae518180000 closed

[root@CH1 bin]# hdfs zkfc -formatZK
18/05/29 16:09:45 INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ywty in ZK.
18/05/29 16:09:45 INFO zookeeper.ZooKeeper: Session: 0x263aae518180000 closed

5.3、JournalNode启动

[root@CH3 ~]# cd /usr/lib/hadoop/hadoop-2.7.1/sbin/
[root@CH3 sbin]# sh hadoop-daemon.sh start journalnode
[root@CH3 sbin]# jps
1464 JournalNode
1513 Jps

[root@CH4 sbin]# sh hadoop-daemon.sh start journalnode
[root@CH4 sbin]# jps
1445 JournalNode
1494 Jps

[root@CH5 sbin]# sh hadoop-daemon.sh start journalnode
[root@CH5 sbin]# jps
1449 JournalNode
1498 Jps

5.4、format NameNode

[root@CH0 bin]# hadoop namenode -format
18/05/29 16:21:00 INFO common.Storage: Storage directory /usr/lib/hadoop/hadoop-2.7.1/tmp/namenode has been successfully formatted.
18/05/29 16:21:00 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/05/29 16:21:00 INFO util.ExitUtil: Exiting with status 0
18/05/29 16:21:00 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************/

[root@CH0 ~]# cd /usr/lib/hadoop/hadoop-2.7.1/sbin/
[root@CH0 sbin]# sh hadoop-daemon.sh start namenode
starting namenode, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-namenode-CH0.out
[root@CH0 sbin]# jps
1604 NameNode
1676 Jps
1438 QuorumPeerMain

5.5、bootstrapStandby NameNode

[root@CH1 bin]# hdfs namenode -bootstrapStandby
18/05/29 16:29:12 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
18/05/29 16:29:12 INFO namenode.NameNode: createNameNode [-bootstrapStandby]
=====================================================
About to bootstrap Standby ID yy2 from:
       Nameservice ID: ywty
    Other Namenode ID: yy1
  Other NN's HTTP address: http://CH0:50070
  Other NN's IPC  address: CH0/192.168.6.20:9000
         Namespace ID: 1549916029
        Block pool ID: BP-605564131-192.168.6.20-1527582060609
           Cluster ID: CID-a2fc36bc-6fc9-4d5f-8d95-b1c3da1557bd
       Layout version: -63
   isUpgradeFinalized: true
=====================================================
18/05/29 16:29:13 INFO common.Storage: Storage directory /usr/lib/hadoop/hadoop-2.7.1/tmp/namenode has been successfully formatted.
18/05/29 16:29:14 INFO namenode.TransferFsImage: Opening connection to http://CH0:50070/imagetransfer?getimage=1&txid=0&storageInfo=-63:1549916029:0:CID-a2fc36bc-6fc9-4d5f-8d95-b1c3da1557bd
18/05/29 16:29:14 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds
18/05/29 16:29:14 INFO namenode.TransferFsImage: Transfer took 0.00s at 0.00 KB/s
18/05/29 16:29:14 INFO namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000000 size 351 bytes.
18/05/29 16:29:14 INFO util.ExitUtil: Exiting with status 0
18/05/29 16:29:14 INFO namenode.NameNode: SHUTDOWN_MSG:

5.6、NameNode start

[root@CH1 ~]# cd /usr/lib/hadoop/hadoop-2.7.1/sbin/
[root@CH1 sbin]# sh hadoop-daemon.sh start namenode
starting namenode, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-namenode-CH1.out
[root@CH1 sbin]# jps
1572 NameNode
1644 Jps
1406 QuorumPeerMain

5.7、DataNode start

[root@CH3 sbin]# sh hadoop-daemon.sh start datanode
starting datanode, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-datanode-CH3.out
[root@CH3 sbin]# jps
1617 Jps
1543 DataNode
1464 JournalNode

[root@CH4 sbin]# sh hadoop-daemon.sh start datanode
starting datanode, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-datanode-CH4.out
[root@CH4 sbin]# jps
1523 DataNode
1445 JournalNode
1597 Jps

[root@CH5 sbin]# sh hadoop-daemon.sh start datanode
starting datanode, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-datanode-CH5.out
[root@CH5 sbin]# jps
1601 Jps
1527 DataNode
1449 JournalNode

5.8、ZKFC Start

[root@CH0 sbin]# sh hadoop-daemon.sh start zkfc
starting zkfc, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-zkfc-CH0.out
[root@CH0 sbin]# jps
1987 Jps
1604 NameNode
1438 QuorumPeerMain
2240 DFSZKFailoverController

[root@CH1 sbin]# sh hadoop-daemon.sh start zkfc
starting zkfc, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/hadoop-root-zkfc-CH1.out
[root@CH1 sbin]# jps
1572 NameNode
1780 DFSZKFailoverController
1844 Jps
1406 QuorumPeerMain

5.9、Yarn Start

[root@CH0 sbin]# sh start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/yarn-root-resourcemanager-CH0.out
CH5: starting nodemanager, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/yarn-root-nodemanager-CH5.out
CH4: starting nodemanager, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/yarn-root-nodemanager-CH4.out
CH3: starting nodemanager, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/yarn-root-nodemanager-CH3.out
[root@CH0 sbin]# jps
2240 DFSZKFailoverController
1604 NameNode
2356 ResourceManager
2621 Jps
1438 QuorumPeerMain

[root@CH2 sbin]# sh yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /usr/lib/hadoop/hadoop-2.7.1/logs/yarn-root-resourcemanager-CH2.out
[root@CH2 sbin]# jps
1604 ResourceManager
1643 Jps
1439 QuorumPeerMain

6、浏览器访问

Hadoop集群搭建_第1张图片
CH0 50070

Hadoop集群搭建_第2张图片
CH1 50070

你可能感兴趣的:(Hadoop集群搭建)

  • hadoop集群搭建踩坑实录 温文尔雅的流氓 Hadoop
    由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过Xshell远程访问了具体原因尚不知晓克隆成功后发现集群先格式化集
  • 6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置 学习BigData 关于Hadoop的学习笔记hadoop分布式linux
    Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）一、配置Hadoop集群主节点1.进入目标文件夹。cd/usr/local/hadoop/etc/ha
  • 4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置 学习BigData 关于Hadoop的学习笔记linuxhadoopssh
    Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）一、Xshell和Xftp的使用在这里我们首先要了解两个软件，一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件，它支持SSH1,SS
  • Hadoop集群搭建 终将老去的穷苦程序员 hadoop
    搭建Hadoop集群涉及多个步骤，包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。以下是一个基本的Hadoop集群搭建流程，假设你已经有了一些基础的Linux操作系统知识，并且准备在多台机器上搭建一个简单的Hadoop集群。1.系统环境准备硬件要求：至少需要两台或更多的计算机，一台作为Master节点，其余的作为Worker节点。操作系统：确保所有节点上安装了Linux操作系统，如Ub
  • Hadoop3.x学习笔记 魅Lemon 大数据hadoop
    文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount）4、Hadoop集群搭建(重点)4.1环境准备(集群分发脚本xsync)4.2SSH免密配置4.3集群配置4.4启动集群4.5配置历史服务器4.6配置日志的聚集4.7集群启动/停止方
  • Hadoop集群搭建：4.修改Hadoop的配置文件、节点启动 丶珍视当下
    配置文件的路径：/module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令：vicore-site.xml在该文件的中config范围内编写如下配置fs.defaultFShdfs://node1:9000hadoop.tmp.dir/module/hadoop-2.7.2/data/tmpcore-site.xml2.HDFS配置文件配置h
  • hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window） Lfx_come on hadooplinuxsparkpython
    1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark应用程序、pyspark环境和pyspark库）。pyspark环境是用anaconda3搭建的环境。pyspark应用程序，是安装spark集群里面自带的，提供一个python解释器环境来执
  • Zookeeper集群搭建 WE-ubytt 大数据处理与应用zookeeperhadoop大数据
    系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践（Spark2.4.0）Spark集群搭建文章目录系列文章目录一、安装Zookeeper二、集群搭建1、修改配置文件①zoo.cfg②myid2、分发目录3、启动一、安装Zookeeper先把压
  • Hadoop集群搭建教程（完全分布式） 这是一个死肥宅 hadoophadoop大数据
    环境准备：本案例使用VMwareWorkstationPro虚拟机创建服务器来搭建Hadoop集群，所用软件及版本及简要配置方法如下：1.VMwareWorkstationPro15.5.1（推荐使用15以上版本，感觉优化比14好了许多）2.Ubuntu16.0464bit（3台，用户名均为Hadoop，主机名分别为node-1，node-2，node-3）注意：三台虚拟机用户名需要一致，也可以对
  • HBase 集群搭建 撕得失败的标签 大数据技术hbase数据库大数据zookeeperhadoop
    文章目录安装前准备兼容性官方网址集群搭建搭建Hadoop集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1）与Zookeeper的兼容性问题，越新越好，ApacheHBase™ReferenceGuide官方回答：WhatversionofZooKeepershouldIuse?Thenewerversi
  • Hadoop+Hive学习笔记-4 fwings260 HadoopHive
    Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致2关闭selinux：vim/etc/selinux/configvim编辑器打开文件，把里面的SELINUX值修改为disabled这一步是关闭selinuxseli
  • Hadoop集群的搭建（全网最详细，看了就会） 叶落长街 hadoop大数据分布式
    Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。Hadoop安装包链接：https://pan.baidu.com/s/12R1q8ygEnosP9pVbX5rvxg提取码：LZ
  • Hadoop集群搭建详细教程 百万攻程狮 Hadoophadoop大数据分布式
    Hadoop环境搭建1.环境准备1.首先创建一台模板机所谓的模板机是进行了一些最基础的配置，比如说进行主机名修改、网络配置、下载一些插件等准备工作。不会创建虚拟机的可以通过Centos7.5安装配置及虚拟机搭建详细教程进行虚拟机创建。1.1网络测试[root@hadoop101~]#pingwww.baiu.com如果ping不通百度，可能是网络配置没有配置好，可以通过配置文件等修改。1.2修改I
  • hadoop集群搭建之HA模式 新鲜氧气 hadoopjava大数据
    1.Hadoop环境变量相关配置1.在node01上创建hadoop安装路径：mkdir/opt/bigdata2.解压hadoop软件包tarxfhadoop-2.6.5.tar.gzmvhadoop-2.6.5/opt/bigdata/3.配置hadoop环境便令vi/etc/profileexportJAVA_HOME=/usr/java/defaultexportHADOOP_HOME=/
  • 8. Hadoop集群搭建 - 解压tar.gz包 - 基于CentOS7 -【连载中】 AdminLog linuxcentos大数据gziphadoop
    续上一篇文章：7.Hadoop集群搭建-上传应用/软件-基于CentOS7-【连载中】目录扩展解压文件解压jdk到指定文件夹解压Hadoop到指定文件夹进入到解压后的目录查看是否解压成功扩展说明：以下表格中红色标*的为必须项解压功能/效果-c建立压缩档案-x解压-t查看内容-r向压缩归档文件末尾追加文件-u更新原压缩包中的文件说明：这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但
  • Hadoop集群搭建 摩V羯座
    https://www.zybuluo.com/DFFuture/note/6268991.查看hostname修改主机名sudogedit/etc/hostname重启reboot2.编辑hostsudogedit/etc/hosts删除127.0.1.1那一行，并添加：192.168.86.140ubuntu1192.168.86.143ubuntu2192.168.86.144ubuntu3
  • hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步 蔡茂昌 hadoop学习笔记
    HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager本集群搭建案例，以5节点为例进行搭建，角色
  • Hyper-v虚拟机Hadoop集群搭建 真.电脑人 hadoop大数据分布式
    大数据Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。(海量数据存储)HDFS为海量的数据提供了存储，而MapReduce**分布式计算**则为海量的数据提供了计算总结：用Java开发HDFS–解决大数据存储问题MapReduce–解决大数据计算问题HDF
  • 电商平台数据仓库搭建02-Hadoop集群搭建 王小磊~ 电商数据仓库搭建hadoop数据仓库hivesql大数据
    1，项目说明本项目来源于github电商平台数据仓库搭建。项目为个人学习记录，项目代码及文件可访问电商平台数据仓库搭建获得。2，项目准备虚拟机准备虚拟机开发工具为VMware15。本次项目我自己使用的CentOS版本为CentOS7。虚拟机需要配置3台，分别为Hadoop102，Hadoop103，Hadoop104。配置ssh、jdk1.vm-tools，并创建新用户hadoop并配置root权
  • Spark集群安装（On Yarn） maplea2012 Sparkspark大数据hadoop
    说明：基于已经搭建完成的Hadoop集群，关于Hadoop集群搭建，可参考：https://blog.csdn.net/weixin_37901366/article/details/13017066一、上传安装包二、解压安装[root@mastersoftware]#tar-zxvfspark-3.0.0-bin-hadoop3.2.tgz-C/opt/module三、文件配置1、spark-d
  • Sqoop工具MySQL导入数据到Hbase（Hbase部署） 一只little白 架构集群hadoop大数据hbase
    基础环境集群工具版本sqoop-1.4.7.bin__hadoop-2.6.0mysql驱动，插件包jar提取码：LWXBhadoop-2.6.5hbase-2.2.6-bin以上是集群和工具的版本hadoop集群搭建这里就不说了，搭建yarn-Ha集群模式Hadoop集群搭建Hbase部署192.168.17.128xiaobai1192.168.17.132xiaobai2192.168.17
  • 大数据开发学习笔记 THE WHY 大数据大数据学习笔记
    前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门（1）：框架概述及集群环境搭建_THEWHY的博客-CSDN博客Hadoop基础入门（2）：HDFS-CSDN博客Hadoop基础入门（3）：YRAN_hadoop租户_THEWHY的博客-CSDN
  • 大数据系列-Hadoop集群搭建（2）集群配置 zhm6422107 大数据hadoopbigdatahdfs
    上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。目录1.初步认识Hadoop1.1模块认知1.2关联工程/项目1.3Hadoop架构1.3.1HDFS架构1.3.2YARN架构2.Hadoop部署规划2.1节点规划2.2端口规划3.Hadoop集群配置3.1配置文件说明3.1.1自定义配置文件3.1.2默认配置3.2非安全模
  • Ubuntu22.04 Hadoop3.3.4 jdk18.02 安装配置 落非 hadoop大数据分布式
    Hadoop安装阅读推荐(105条消息)大数据安装之hadoop-3.3.4_x_y_z423的博客-CSDN博客(112条消息)hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客加倍推荐，Hadoop集群配置内容讲的及其详细基于docker的hadoop集群搭建一、准备工作1、环境工具xshellWindows10Pro,64-bitVMware®Workstation16Pr
  • linux ssh免密登录配置 ths512 大数据（bigdata）ssh服务器linux
    在hadoop集群搭建的过程中，通常会对集群服务进行群启/群停的操作，而集群中的主机执行启动命令通常需要通过ssh登录到其它主机，为了解决ssh时不输入用密码的问题，在这里研究了下ssh免密登录，操作步骤记录如下：1.免密登录原理2.生成公钥和私钥ssh-keygen-trsa然后敲四次回车键，就会在.ssh目录下生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）然后敲四次回车键，就会
  • Hadoop集群搭建（完全分布式版本） 大数据CV工程师 hadoop分布式linux
    一、准备工作三台虚拟机：master、node1、node2时间同步ntpdatentp.aliyun.com调整时区cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtimejdk1.8（三台都要配置）java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名关闭防火墙：systemctlstopfirewal
  • CentOS7 hadoop集群搭建 AGMY 大数据hadoop大数据centos
    搭建Hadoop集群配置名字hadoop1、hadoop2、hadoop3hostnamectlset-hostnamehadoop1hostnamectlset-hostnamehadoop2hostnamectlset-hostnamehadoop3修改/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.l
  • hadoop集群搭建 昱宸星光 hadoophadoopjava服务器
    准备三台虚拟机hadoop1hadoop2hadoop3ip分别为：192.168.56.211，192.168.56.212，192.168.56.213配置三台虚拟机的主机名和映射vi/etc/hosts分别添加如下内容：192.168.56.211hadoop1192.168.56.212hadoop2192.168.56.213hadoop3分别配置三台虚拟机的主机名为：hadoop1ha
  • Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决 杀死一只知更鸟debug Linuxhadoop大数据hdfs
    Hadoop集群搭建，基于3.3.4hadoop和centos8【小白图文教程-从零开始搭建Hadoop集群】，常见问题解决Hadoop集群搭建，基于3.3.4hadoop1.虚拟机的创建1.1第一台虚拟机的创建1.2第一台虚拟机的安装1.3第一台虚拟机的网络配置1.3.1主机名和IP映射配置1.3.2网络参数配置1.4第一台虚拟机的Java,Hadoop环境搭建1.4.1Java环境搭建1.4.
  • Hadoop环境搭建 星星失眠️ hadoop大数据分布式
    1Hadoop集群环境搭建概述所谓集群，就是一组通过网络互联的计算机，集群中的每一台计算机称作一个节点，Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件，然后对外提供大数据存储和分析等相关服务。一个前提：Hadoop是为了在Linux平台上使用而开发的一个现实：我们的电脑不是Linux系统如何解决？？？搭建虚拟机，在虚拟机上安装Linux操作系统虚拟机是什么？虚拟的计算机，
  • java短路运算符和逻辑运算符的区别 3213213333332132 java基础
    /* * 逻辑运算符——不论是什么条件都要执行左右两边代码 * 短路运算符——我认为在底层就是利用物理电路的“并联”和“串联”实现的 * 原理很简单，并联电路代表短路或（||），串联电路代表短路与（&&）。 * * 并联电路两个开关只要有一个开关闭合，电路就会通。 * 类似于短路或（||），只要有其中一个为true（开关闭合）是
  • Java异常那些不得不说的事 白糖_ javaexception
    一、在finally块中做数据回收操作 比如数据库连接都是很宝贵的，所以最好在finally中关闭连接。 JDBCAgent jdbc = new JDBCAgent(); try{ jdbc.excute("select * from ctp_log"); }catch(SQLException e){ ... }finally{ jdbc.close();
  • utf-8与utf-8(无BOM)的区别 dcj3sjt126com PHP
    BOM——Byte Order Mark，就是字节序标记   在UCS 编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前，先传输 字符"ZERO WIDTH NO-BREAK SPACE"。这样如
  • JAVA Annotation之定义篇 周凡杨 java注解annotation入门注释
        Annotation: 译为注释或注解 An annotation, in the Java computer programming language, is a form of syntactic metadata that can be added to Java source code. Classes, methods, variables, pa
  • tomcat的多域名、虚拟主机配置 g21121 tomcat
    众所周知apache可以配置多域名和虚拟主机，而且配置起来比较简单，但是项目用到的是tomcat，配来配去总是不成功。查了些资料才总算可以，下面就跟大家分享下经验。 很多朋友搜索的内容基本是告诉我们这么配置： 在Engine标签下增面积Host标签，如下： <Host name="www.site1.com" appBase="webapps"
  • Linux SSH 错误解析（Capistrano 的cap 访问错误 Permission ） 510888780 linuxcapistrano
    1.ssh -v [email protected] 出现 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 错误 运行状况如下： OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013 debug1: Reading configuratio
  • log4j的用法 Harry642 javalog4j
    一、前言：     log4j 是一个开放源码项目，是广泛使用的以Java编写的日志记录包。由于log4j出色的表现，     当时在log4j完成时，log4j开发组织曾建议sun在jdk1.4中用log4j取代jdk1.4 的日志工具类，但当时jdk1.4已接近完成，所以sun拒绝使用log4j，当在java开发中
  • mysql、sqlserver、oracle分页，java分页统一接口实现 aijuans oraclejave
    定义：pageStart 起始页，pageEnd 终止页,pageSize页面容量 oracle分页： 　　　　select * from ( select mytable.*,rownum num from (实际传的SQL) where rownum<=pageEnd) where num>=pageStart sqlServer分页：  
  • Hessian 简单例子 antlove javaWebservicehessian
    hello.hessian.MyCar.java package hessian.pojo; import java.io.Serializable; public class MyCar implements Serializable { private static final long serialVersionUID = 473690540190845543
  • 数据库对象的同义词和序列 百合不是茶 sql序列同义词ORACLE权限
    回顾简单的数据库权限等命令; 解锁用户和锁定用户 alter user scott account lock/unlock; //system下查看系统中的用户 select * dba_users; //创建用户名和密码 create user wj identified by wj; identified by //授予连接权和建表权 grant connect to
  • 使用Powermock和mockito测试静态方法 bijian1013 持续集成单元测试mockitoPowermock
            实例： package com.bijian.study; import static org.junit.Assert.assertEquals; import java.io.IOException; import org.junit.Before; import org.junit.Test; import or
  • 精通Oracle10编程SQL(6)访问ORACLE bijian1013 oracle数据库plsql
    /* *访问ORACLE */ --检索单行数据 --使用标量变量接收数据 DECLARE v_ename emp.ename%TYPE; v_sal emp.sal%TYPE; BEGIN select ename,sal into v_ename,v_sal from emp where empno=&no; dbms_output.pu
  • 【Nginx四】Nginx作为HTTP负载均衡服务器 bit1129 nginx
     Nginx的另一个常用的功能是作为负载均衡服务器。一个典型的web应用系统，通过负载均衡服务器，可以使得应用有多台后端服务器来响应客户端的请求。一个应用配置多台后端服务器，可以带来很多好处：   负载均衡的好处 增加可用资源 增加吞吐量 加快响应速度，降低延时 出错的重试验机制 Nginx主要支持三种均衡算法： round-robin l
  • jquery-validation备忘 白糖_ jquerycssF#Firebug
    留点学习jquery validation总结的代码：   function checkForm(){ validator = $("#commentForm").validate({// #formId为需要进行验证的表单ID errorElement :"span",// 使用"div"标签标记错误， 默认:&
  • solr限制admin界面访问（端口限制和http授权限制） ronin47 限定Ip访问
    solr的管理界面可以帮助我们做很多事情，但是把solr程序放到公网之后就要限制对admin的访问了。 可以通过tomcat的http基本授权来做限制，也可以通过iptables防火墙来限制。 我们先看如何通过tomcat配置http授权限制。 第一步： 在tomcat的conf/tomcat-users.xml文件中添加管理用户，比如： <userusername="ad
  • 多线程-用JAVA写一个多线程程序，写四个线程，其中二个对一个变量加1，另外二个对一个变量减1 bylijinnan java多线程
    public class IncDecThread { private int j=10; /* * 题目:用JAVA写一个多线程程序，写四个线程，其中二个对一个变量加1，另外二个对一个变量减1 * 两个问题： * 1、线程同步--synchronized * 2、线程之间如何共享同一个j变量--内部类 */ public static
  • 买房历程 cfyme
        2015-06-21: 万科未来城，看房子   2015-06-26: 办理贷款手续，贷款73万，贷款利率5.65=5.3675   2015-06-27: 房子首付,签完合同   2015-06-28，央行宣布降息 0.25，就2天的时间差啊，没赶上。   首付，老婆找他的小姐妹接了5万，另外几个朋友借了1-
  • [军事与科技]制造大型太空战舰的前奏 comsci 制造
           天气热了........空调和电扇要准备好..........        最近,世界形势日趋复杂化,战争的阴影开始覆盖全世界..........        所以,我们不得不关
  • dateformat dai_lm DateFormat
    "Symbol Meaning Presentation Ex." "------ ------- ------------ ----" "G era designator (Text) AD" "y year
  • Hadoop如何实现关联计算 datamachine mapreducehadoop关联计算
        选择Hadoop，低成本和高扩展性是主要原因，但但它的开发效率实在无法让人满意。     以关联计算为例。     假设：HDFS上有2个文件，分别是客户信息和订单信息，customerID是它们之间的关联字段。如何进行关联计算，以便将客户名称添加到订单列表中？   &nbs
  • 用户模型中修改用户信息时，密码是如何处理的 dcj3sjt126com yii
    当我添加或修改用户记录的时候对于处理确认密码我遇到了一些麻烦，所有我想分享一下我是怎么处理的。 场景是使用的基本的那些(系统自带)，你需要有一个数据表(user)并且表中有一个密码字段(password),它使用 sha1、md5或其他加密方式加密用户密码。 面是它的工作流程: 当创建用户的时候密码需要加密并且保存，但当修改用户记录时如果使用同样的场景我们最终就会把用户加密过的密码再次加密，这
  • 中文 iOS/Mac 开发博客列表 dcj3sjt126com Blog
      本博客列表会不断更新维护，如果有推荐的博客，请到此处提交博客信息。 本博客列表涉及的文章内容支持 定制化Google搜索，特别感谢 JeOam 提供并帮助更新。 本博客列表也提供同步更新的OPML文件（下载OPML文件），可供导入到例如feedly等第三方定阅工具中，特别感谢 lcepy 提供自动转换脚本。这里有导入教程。
  • js去除空格，去除左右两端的空格 蕃薯耀 去除左右两端的空格js去掉所有空格js去除空格
    js去除空格，去除左右两端的空格 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>&g
  • SpringMVC4零配置--web.xml hanqunfeng springmvc4
    servlet3.0+规范后，允许servlet，filter，listener不必声明在web.xml中，而是以硬编码的方式存在，实现容器的零配置。 ServletContainerInitializer：启动容器时负责加载相关配置 package javax.servlet; import java.util.Set; public interface ServletContainer
  • 《开源框架那些事儿21》：巧借力与借巧力 j2eetop 框架UI
    同样做前端UI，为什么有人花了一点力气，就可以做好？而有的人费尽全力，仍然错误百出？我们可以先看看几个故事。 故事1：巧借力，乌鸦也可以吃核桃 有一个盛产核桃的村子，每年秋末冬初，成群的乌鸦总会来到这里，到果园里捡拾那些被果农们遗落的核桃。 核桃仁虽然美味，但是外壳那么坚硬，乌鸦怎么才能吃到呢？原来乌鸦先把核桃叼起，然后飞到高高的树枝上，再将核桃摔下去，核桃落到坚硬的地面上，被撞破了，于是，
  • JQuery EasyUI 验证扩展 可怜的猫 jqueryeasyui验证
      最近项目中用到了前端框架-- EasyUI，在做校验的时候会涉及到很多需要自定义的内容，现把常用的验证方式总结出来，留待后用。   以下内容只需要在公用js中添加即可。   使用类似于如下： <input class="easyui-textbox" name="mobile" id="mobile&
  • 架构师之httpurlconnection----------读取和发送(流读取效率通用类) nannan408
    1.前言.    如题. 2.代码. /* * Copyright (c) 2015, S.F. Express Inc. All rights reserved. */ package com.test.test.test.send; import java.io.IOException; import java.io.InputStream
  • Jquery性能优化 r361251 JavaScriptjquery
    一、注意定义jQuery变量的时候添加var关键字 这个不仅仅是jQuery，所有javascript开发过程中，都需要注意，请一定不要定义成如下： $loading = $('#loading'); //这个是全局定义，不知道哪里位置倒霉引用了相同的变量名，就会郁闷至死的 二、请使用一个var来定义变量 如果你使用多个变量的话，请如下方式定义： . 代码如下: var page
  • 在eclipse项目中使用maven管理依赖 tjj006 eclipsemaven
    概览: 如何导入maven项目至eclipse中 建立自有Maven  Java类库服务器 建立符合maven代码库标准的自定义类库 Maven在管理Java类库方面有巨大的优势，像白衣所说就是非常“环保”。 我们平时用IDE开发都是把所需要的类库一股脑的全丢到项目目录下，然后全部添加到ide的构建路径中，如果用了SVN/CVS，这样会很容易就 把
  • 中国天气网省市级联页面 x125858805 级联
    1、页面及级联js <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> &l
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他