小海蟹
小海蟹

Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）


1、主机规划

序号 主机名 IP地址 角色
1 nn-1 192.168.9.21 NameNode、mr-jobhistory、zookeeper、JournalNode
2 nn-2 192.168.9.22 Secondary NameNode、JournalNode
3 dn-1 192.168.9.23 DataNode、JournalNode、zookeeper、ResourceManager、NodeManager
4 dn-2 192.168.9.24 DataNode、zookeeper、NodeManager
5 dn-3 192.168.9.25 DataNode、NodeManager
集群说明：
（1）、对于集群规模小于7台和以下的， 可以不做NameNode HA。
（2）、HA的集群，  JournalNode节点要在3个以上， 建议设置成5个节点。 JournalNode是轻量级服务，  为了本地性， 其中两个 JournalNode和两台NameNode节点复用。其他 JournalNode和分散在其他节点上。
（ 3 ） 、 HA的集群， zookeeper 节点要在3个以上， 建议设置成5个或者7个节点。 zookeeper可以和DataNode节点复用。
（4 ） 、 HA的集群， ResourceManager建议单独一个节点。对于较大规模的集群，且有空闲的主机资源， 可以考虑设置ResourceManager的HA。


2、主机环境设置

2.1 配置JDK


卸载OpenJDK： 
     
     
     
     
    
      
      
      
      
  1. --查看java版本
    2. 
      
      
      
      
  2. [root@dtgr ~]# java -version
    3. 
      
      
      
      
  3. java version "1.7.0_45"
    4. 
      
      
      
      
  4. OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15)
    5. 
      
      
      
      
  5. OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)
    6. 
      
      
      
      
    7. 
      
      
      
      
  7. --查看安装源
    8. 
      
      
      
      
  8. [root@dtgr ~]# rpm -qa | grep java
    9. 
      
      
      
      
  9. java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
    10. 
      
      
      
      
    11. 
      
      
      
      
  11. -- 卸载
    12. 
      
      
      
      
  12. [root@dtgr ~]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
    13. 
      
      
      
      
    14. 
      
      
      
      
    15. 
      
      
      
      
  15. --验证是否卸载成功
    16. 
      
      
      
      
  16. [root@dtgr ~]# rpm -qa | grep java
    17. 
      
      
      
      
  17. [root@dtgr ~]# java -version
    18. 
      
      
      
      
  18. -bash: /usr/bin/java: 没有那个文件或目录
    19.

安装jdk： 
    
    
    
    
    
     
     
     
     
  1. -- 下载并解压java源码包
    2. 
     
     
     
     
  2. [root@dtgr java]# mkdir /usr/local/java
    3. 
     
     
     
     
  3. [root@dtgr java]# mv jdk-7u79-linux-x64.tar.gz /usr/local/java
    4. 
     
     
     
     
  4. [root@dtgr java]# cd /usr/local/java
    5. 
     
     
     
     
  5. [root@dtgr java]# tar xvf jdk-7u79-linux-x64.tar.gz
    6. 
     
     
     
     
  6. [root@dtgr java]# ls
    7. 
     
     
     
     
  7. jdk1.7.0_79  jdk-7u79-linux-x64.tar.gz
    8. 
     
     
     
     
  8. [root@dtgr java]# 
    9. 
     
     
     
     
    10. 
     
     
     
     
  10. --- 添加环境变量
    11. 
     
     
     
     
  11. [root@dtgr java]# vim /etc/profile
    12. 
     
     
     
     
  12. [root@dtgr java]# tail /etc/profile
    13. 
     
     
     
     
  13. export JAVA_HOME=/usr/local/java/jdk1.7.0_79
    14. 
     
     
     
     
  14. export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
    15. 
     
     
     
     
  15. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
    16. 
     
     
     
     
  16. export PATH=$JAVA_HOME/bin:$PATH
    17. 
     
     
     
     
    18. 
     
     
     
     
  18. -- 生效环境变量
    19. 
     
     
     
     
  19. [root@dtgr ~]# source /etc/profile
    20. 
     
     
     
     
    21. 
     
     
     
     
  21. -- 验证
    22. 
     
     
     
     
  22. [root@dtgr ~]# java -version
    23. 
     
     
     
     
  23. java version "1.7.0_79"
    24. 
     
     
     
     
  24. Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
    25. 
     
     
     
     
  25. Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
    26. 
     
     
     
     
  26. [root@dtgr ~]# javac -version
    27. 
     
     
     
     
  27. javac 1.7.0_79
    28.

2.2 修改主机名和配置主机名解析
在所有节点按照规划修改主机名， 并将主机名加入/etc/hosts文件。
修改主机名： 
    
    
    
    
    
     
     
     
     
  1. [root@dn-3 ~]# cat /etc/sysconfig/network
    2. 
     
     
     
     
  2. NETWORKING=yes
    3. 
     
     
     
     
  3. HOSTNAME=dn-3
    4. 
     
     
     
     
  4. [root@dn-3 ~]# hostname dn-3
    5.

配置/etc/hosts， 并分发到所有节点： 
     
     
     
     
    
      
      
      
      
  1. [root@dn-3 ~]# cat /etc/hosts
    2. 
      
      
      
      
  2. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    3. 
      
      
      
      
  3. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    4. 
      
      
      
      
  4. 192.168.9.21 nn-1
    5. 
      
      
      
      
  5. 192.168.9.22 nn-2
    6. 
      
      
      
      
  6. 192.168.9.23 dn-1
    7. 
      
      
      
      
  7. 192.168.9.24 dn-2
    8. 
      
      
      
      
  8. 192.168.9.25 dn-3
    9.

2.3 新建hadoop账户

用户和组均为hadoop， 密码为hadoop， home目录为/hadoop。 
    
    
    
    
    
     
     
     
     
  1. [root@dn-3 ~]# useradd -d /hadoop hadoop
    2.

2.4 配置ntp时钟同步

将nn-1主机作为时钟源）
#vi  /etc/ntp.conf
#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org
#server 2.centos.pool.ntp.org
server nn-1

配置ntp服务自启动
#chkconfig ntpd on
启动ntp服务
#service ntpd start

2.5 关闭防火墙iptables和selinux

（1）、关闭iptables 
    
    
    
    
    
     
     
     
     
  1. [root@dn-3 ~]# service iptables stop
    2. 
     
     
     
     
  2. [root@dn-3 ~]# chkconfig iptables off
    3. 
     
     
     
     
  3. [root@dn-3 ~]# chkconfig --list | grep iptables
    4. 
     
     
     
     
  4. iptables       	0:关闭	1:关闭	2:关闭	3:关闭	4:关闭	5:关闭	6:关闭
    5. 
     
     
     
     
  5. [root@dn-3 ~]#
    6.

（2）、关闭selinux 
    
    
    
    
    
     
     
     
     
  1. [root@dn-3 ~]# setenforce 0
    2. 
     
     
     
     
  2. setenforce: SELinux is disabled
    3. 
     
     
     
     
  3. [root@dn-3 ~]# vim /etc/sysconfig/selinux 
    4. 
    
    
    
    

    
    
    
    

     
     
     
            SELINUX=disabled

2.6 设置ssh无密码登陆

（1）、在所有节点生成密钥
所有节点， 切换到hadoop用户下， 生成密钥，一路回车： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ ssh-keygen -t rsa
    2.

（2）、在nn-1上面，将公钥复制到文件authorized_keys中：
命令：$ ssh  主机名   'cat ./.ssh/id_rsa.pub' >> authorized_keys
将上面的命令的主机名替换成实际的主机名， 在nn-1上面将所有的主机都执行一次，包括自己， 如下示例： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ ssh nn-1 'cat ./.ssh/id_rsa.pub' >> authorized_keys
    2. 
     
     
     
     
  2. hadoop@nn-1's password: 
    3. 
     
     
     
     
  3. [hadoop@nn-1 ~]$
    4.

（3）、设置权限 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 .ssh]$ chmod 644 authorized_keys
    2.

（4）、将authorized_keys分发到所有节点: $HOME/.ssh/ 。
如下示例： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 .ssh]$ scp authorized_keys hadoop@nn-2:/hadoop/.ssh/
    2.

3、安装配置Hadoop


说明： 先在nn-1上面修改配置， 配置完毕批量分发到其他节点。

3.1 上传hadoop、zookeeper安装包

复制安装包到/hadoop目录下。
解压安装包： [hadoop@nn-1 ~]$ tar -xzvf hadoop2-js-0121.tar.gz

3.2 修改hadoop-env.sh

    
    
    
    
    
     
     
     
     
  1. export JAVA_HOME=/usr/local/java/jdk1.7.0_79
    2. 
     
     
     
     
  2. export  HADOOP_HEAPSIZE=2000
    3. 
     
     
     
     
  3. export  HADOOP_NAMENODE_INIT_HEAPSIZE=10000
    4. 
     
     
     
     
  4. export  HADOOP_OPTS="-server $HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
    5. 
     
     
     
     
  5. export HADOOP_NAMENODE_OPTS="-Xmx15000m -Xms15000m -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger
    6. 
     
     
     
     
  6. =${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"
    7.

参数说明参考: http://blog.csdn.net/fenglibing/article/details/31051225


3.3 修改core-site.xml

     
     
     
     
    
      
      
      
      
    2. 
      
      
      
      
  2.     
    3. 
      
      
      
      
  3.         fs.defaultFS
    4. 
      
      
      
      
  4.         hdfs://dpi
    5. 
      
      
      
      
  5.     
    6. 
      
      
      
      
  6.     
    7. 
      
      
      
      
  7.         io.file.buffer.size
    8. 
      
      
      
      
  8.         131072
    9. 
      
      
      
      
  9.     
    10. 
      
      
      
      
  10.     
    11. 
      
      
      
      
  11.         hadoop.tmp.dir
    12. 
      
      
      
      
  12.         file:/hadoop/hdfs/temp
    13. 
      
      
      
      
  13.         Abase for other temporary directories.
    14. 
      
      
      
      
  14.     
    15. 
      
      
      
      
  15.     
    16. 
      
      
      
      
  16.         hadoop.proxyuser.hduser.hosts
    17. 
      
      
      
      
  17.         *
    18. 
      
      
      
      
  18.     
    19. 
      
      
      
      
  19.     
    20. 
      
      
      
      
  20.         hadoop.proxyuser.hduser.groups
    21. 
      
      
      
      
  21.         *
    22. 
      
      
      
      
  22.     
    23. 
      
      
      
      
  23.              
    24. 
      
      
      
      
  24.         ha.zookeeper.quorum     
    25. 
      
      
      
      
  25.         dn-1:2181,dn-2:2181,dn-3:2181    
    26. 
      
      
      
      
  26.     
    27. 
      
      
      
      
    28.

3.4 修改hdfs-site.xml

    
    
    
    
    
     
     
     
     
    2. 
     
     
     
     
  2.      
    3. 
     
     
     
     
  3.         dfs.namenode.secondary.http-address
    4. 
     
     
     
     
  4.         nn-1:9001
    5. 
     
     
     
     
  5.     
    6. 
     
     
     
     
  6.     
    7. 
     
     
     
     
  7.         dfs.namenode.name.dir
    8. 
     
     
     
     
  8.         file:/hadoop/hdfs/name
    9. 
     
     
     
     
  9.     
    10. 
     
     
     
     
  10.     
    11. 
     
     
     
     
  11.         dfs.datanode.data.dir
    12. 
     
     
     
     
  12.         file:/hadoop/hdfs/data,file:/hadoopdata/hdfs/data
    13. 
     
     
     
     
  13.     
    14. 
     
     
     
     
  14.     
    15. 
     
     
     
     
  15.         dfs.replication
    16. 
     
     
     
     
  16.         3
    17. 
     
     
     
     
  17.     
    18. 
     
     
     
     
  18.     
    19. 
     
     
     
     
  19.         dfs.webhdfs.enabled
    20. 
     
     
     
     
  20.         true
    21. 
     
     
     
     
  21.     
    22. 
     
     
     
     
  22.     
    23. 
     
     
     
     
  23.         dfs.nameservices
    24. 
     
     
     
     
  24.         dpi
    25. 
     
     
     
     
  25.     
    26. 
     
     
     
     
  26.     
    27. 
     
     
     
     
  27.         dfs.ha.namenodes.dpi
    28. 
     
     
     
     
  28.         nn-1,nn-2
    29. 
     
     
     
     
  29.     
    30. 
     
     
     
     
  30.     
    31. 
     
     
     
     
  31.         dfs.namenode.rpc-address.dpi.nn-1
    32. 
     
     
     
     
  32.         nn-1:9000
    33. 
     
     
     
     
  33.     
    34. 
     
     
     
     
  34.         
    35. 
     
     
     
     
  35.         dfs.namenode.http-address.dpi.nn-1    
    36. 
     
     
     
     
  36.         nn-1:50070    
    37. 
     
     
     
     
  37.     
    38. 
     
     
     
     
  38.         
    39. 
     
     
     
     
  39.         dfs.namenode.rpc-address.dpi.nn-2    
    40. 
     
     
     
     
  40.         nn-2:9000    
    41. 
     
     
     
     
  41.     
    42. 
     
     
     
     
  42.         
    43. 
     
     
     
     
  43.         dfs.namenode.http-address.dpi.nn-2    
    44. 
     
     
     
     
  44.         nn-2:50070    
    45. 
     
     
     
     
  45.     
    46. 
     
     
     
     
  46.     
    47. 
     
     
     
     
  47.         dfs.namenode.servicerpc-address.dpi.nn-1
    48. 
     
     
     
     
  48.         nn-1:53310
    49. 
     
     
     
     
  49.     
    50. 
     
     
     
     
  50.     
    51. 
     
     
     
     
  51.         dfs.namenode.servicerpc-address.dpi.nn-2
    52. 
     
     
     
     
  52.         nn-2:53310
    53. 
     
     
     
     
  53.     
    54. 
     
     
     
     
  54.       
    55. 
     
     
     
     
  55.         dfs.ha.automatic-failover.enabled  
    56. 
     
     
     
     
  56.         true  
    57. 
     
     
     
     
  57.       
    58. 
     
     
     
     
  58.     
    59. 
     
     
     
     
  59.         dfs.namenode.shared.edits.dir
    60. 
     
     
     
     
  60.         qjournal://nn-1:8485;nn-2:8485;dn-1:8485/dpi
    61. 
     
     
     
     
  61.     
    62. 
     
     
     
     
  62.     
    63. 
     
     
     
     
  63.         dfs.client.failover.proxy.provider.dpi
    64. 
     
     
     
     
  64.         org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider 
    65. 
     
     
     
     
  65.     
    66. 
     
     
     
     
  66.         
    67. 
     
     
     
     
  67.         dfs.journalnode.edits.dir    
    68. 
     
     
     
     
  68.         /hadoop/hdfs/journal    
    69. 
     
     
     
     
  69.     
    70. 
     
     
     
     
  70.         
    71. 
     
     
     
     
  71.         dfs.ha.fencing.methods    
    72. 
     
     
     
     
  72.         sshfence    
    73. 
     
     
     
     
  73.     
    74. 
     
     
     
     
  74.         
    75. 
     
     
     
     
  75.         dfs.ha.fencing.ssh.private-key-files    
    76. 
     
     
     
     
  76.         /hadoop/.ssh/id_rsa    
    77. 
     
     
     
     
  77.     
    78. 
     
     
     
     
    79.

参数说明参考: http://www.aboutyun.com/thread-10572-1-1.html

新建配置文件中的目录： 
    
    
    
    
    
     
     
     
     
  1. mkdir -p /hadoop/hdfs/name
    2. 
     
     
     
     
  2. mkdir -p /hadoop/hdfs/data
    3. 
     
     
     
     
  3. mkdir -p /hadoop/hdfs/temp
    4. 
     
     
     
     
  4. mkdir -p /hadoop/hdfs/journal
    5. 
     
     
     
     
  5. 授权：chmod 755 /hadoop/hdfs
    6. 
     
     
     
     
  6. mkdir -p /hadoopdata/hdfs/data
    7. 
     
     
     
     
  7. chmod 755 /hadoopdata/hdfs
    8.

属主和属组修改为：hadoop:hadoop


3.5 修改mapred-site.xml


 
     
     
     
     
    
      
      
      
      
    2. 
      
      
      
      
  2.     
    3. 
      
      
      
      
  3.         mapreduce.framework.name
    4. 
      
      
      
      
  4.         yarn
    5. 
      
      
      
      
  5.     
    6. 
      
      
      
      
  6.     
    7. 
      
      
      
      
  7.         mapreduce.jobhistory.address
    8. 
      
      
      
      
  8.         nn-1:10020
    9. 
      
      
      
      
  9.     
    10. 
      
      
      
      
  10.     
    11. 
      
      
      
      
  11.         mapreduce.jobhistory.webapp.address
    12. 
      
      
      
      
  12.         nn-1:19888
    13. 
      
      
      
      
  13.     
    14. 
      
      
      
      
    15.


3.6 修改yarn-site.xml

    
    
    
    
    
     
     
     
     
    2. 
     
     
     
     
  2.  
    3. 
     
     
     
     
  3.     
    4. 
     
     
     
     
  4.         yarn.nodemanager.aux-services
    5. 
     
     
     
     
  5.         mapreduce_shuffle
    6. 
     
     
     
     
  6.     
    7. 
     
     
     
     
  7.     
    8. 
     
     
     
     
  8.         yarn.nodemanager.aux-services.mapreduce.shuffle.class
    9. 
     
     
     
     
  9.         org.apache.hadoop.mapred.ShuffleHandler
    10. 
     
     
     
     
  10.     
    11. 
     
     
     
     
  11.     
    12. 
     
     
     
     
  12.         yarn.resourcemanager.address
    13. 
     
     
     
     
  13.         dn-1:8032
    14. 
     
     
     
     
  14.     
    15. 
     
     
     
     
  15.     
    16. 
     
     
     
     
  16.         yarn.resourcemanager.scheduler.address
    17. 
     
     
     
     
  17.         dn-1:8030
    18. 
     
     
     
     
  18.     
    19. 
     
     
     
     
  19.     
    20. 
     
     
     
     
  20.         yarn.resourcemanager.resource-tracker.address
    21. 
     
     
     
     
  21.         dn-1:8031
    22. 
     
     
     
     
  22.     
    23. 
     
     
     
     
  23.     
    24. 
     
     
     
     
  24.         yarn.resourcemanager.admin.address
    25. 
     
     
     
     
  25.         dn-1:8033
    26. 
     
     
     
     
  26.     
    27. 
     
     
     
     
  27.     
    28. 
     
     
     
     
  28.         yarn.resourcemanager.webapp.address
    29. 
     
     
     
     
  29.         dn-1:8088
    30. 
     
     
     
     
  30.     
    31. 
     
     
     
     
    32.

3.7 修改slaves

将所有的DataNode节点加入到slaves文件中： 
    
    
    
    
    
     
     
     
     
  1. dn-1
    2. 
     
     
     
     
  2. dn-2
    3. 
     
     
     
     
  3. dn-3
    4.


3.8 修改yarn-env.sh

     
     
     
     
    
      
      
      
      
  1. # some Java parameters
    2. 
      
      
      
      
  2. # export JAVA_HOME=/home/y/libexec/jdk1.6.0/
    3. 
      
      
      
      
  3. if [ "$JAVA_HOME" != "" ]; then
    4. 
      
      
      
      
  4.   #echo "run java in $JAVA_HOME"
    5. 
      
      
      
      
  5.   JAVA_HOME=/usr/local/java/jdk1.7.0_79
    6. 
      
      
      
      
  6. fi
    7. 
      
      
      
      
    8. 
      
      
      
      
  8. JAVA_HEAP_MAX=-Xmx15000m
    9. 
      
      
      
      
  9. YARN_HEAPSIZE=15000
    10. 
      
      
      
      
  10. export  YARN_RESOURCEMANAGER_HEAPSIZE=5000
    11. 
      
      
      
      
  11. export  YARN_TIMELINESERVER_HEAPSIZE=10000
    12. 
      
      
      
      
  12. export  YARN_NODEMANAGER_HEAPSIZE=10000
    13.

3.9 分发配置好的hadoop目录到所有节点

     
     
     
     
    
      
      
      
      
  1. [hadoop@nn-1 ~]$ scp -rp hadoop hadoop@nn-2:/hadoop
    2. 
      
      
      
      
  2. [hadoop@nn-1 ~]$ scp -rp hadoop hadoop@dn-1:/hadoop
    3. 
      
      
      
      
  3. [hadoop@nn-1 ~]$ scp -rp hadoop hadoop@dn-2:/hadoop
    4. 
      
      
      
      
  4. [hadoop@nn-1 ~]$ scp -rp hadoop hadoop@dn-3:/hadoop
    5.

4 安装配置zookeeper

切换到hadoop目录下面， 根据规划， 三台zookeeper节点为：nn-1, dn-1, dn-2。
先在nn-1节点配置zookeeper， 然后分发至三个zookeeper节点：
4.1 在 nn-1上传并解压zookeeper

4.2 修改配置文件/hadoop/zookeeper/conf/zoo.cfg

    
    
    
    
    
     
     
     
     
  1. dataDir=/hadoop/zookeeper/data/
    2. 
     
     
     
     
  2. dataLogDir=/hadoop/zookeeper/log/
    3. 
     
     
     
     
  3. # the port at which the clients will connect
    4. 
     
     
     
     
  4. clientPort=2181
    5. 
     
     
     
     
  5. server.1=nn-1:2887:3887
    6. 
     
     
     
     
  6. server.2=dn-1:2888:3888
    7. 
     
     
     
     
  7. server.3=dn-2:2889:3889
    8.

4.3 从nn-1分发配置的zookeeper目录到其他节点

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ scp -rp zookeeper  hadoop@dn-1:/hadoop
    2. 
     
     
     
     
  2. [hadoop@nn-1 ~]$ scp -rp zookeeper  hadoop@dn-2:/hadoop
    3.

4.4 在所有zk节点创建目录

    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ mkdir /hadoop/zookeeper/data/
    2. 
     
     
     
     
  2. [hadoop@dn-1 ~]$ mkdir /hadoop/zookeeper/log/
    3.

4.5 修改myid

在所有zk节点， 切换到目录/hadoop/zookeeper/data，创建myid文件：
注意：myid文件的内容为zoo.cfg文件中配置的server.后面的数字（即nn-1为1,dn-1为2,dn-2为3）。
在nn-1节点的myid内容为： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 data]$ echo 1 > /hadoop/zookeeper/data/myid
    2.

其他zk节点也安要求创建myid文件。


4.6 设置环境变量

    
    
    
    
    
     
     
     
     
  1. $ echo "export ZOOKEEPER_HOME=/hadoop/zookeeper" >> $HOME/.bash_profile
    2. 
     
     
     
     
  2. $ echo "export PATH=$ZOOKEEPER_HOME/bin:\$PATH" >> $HOME/.bash_profile
    3. 
     
     
     
     
  3. $ source $HOME/.bash_profile
    4.


5 集群启动

5.1 启动zookeeper

根据规划， zk的节点为nn-1、dn-1和dn-2， 在这三台节点分别启动zk：

启动命令： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/zookeeper/bin/zkServer.sh start
    2. 
     
     
     
     
  2. JMX enabled by default
    3. 
     
     
     
     
  3. Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg
    4. 
     
     
     
     
  4. Starting zookeeper ... STARTED
    5.

查看进程， 可以看到QuorumPeerMain： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ jps
    2. 
     
     
     
     
  2. 9382 QuorumPeerMain
    3. 
     
     
     
     
  3. 9407 Jps
    4.

查看状态， 可以看到Mode: follower， 说明这是zk的从节点： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/zookeeper/bin/zkServer.sh status
    2. 
     
     
     
     
  2. JMX enabled by default
    3. 
     
     
     
     
  3. Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg
    4. 
     
     
     
     
  4. Mode: follower
    5.

查看状态， 可以看到 Mode: leader ， 说明这是zk的leader节点： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 data]$ /hadoop/zookeeper/bin/zkServer.sh status
    2. 
     
     
     
     
  2. JMX enabled by default
    3. 
     
     
     
     
  3. Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg
    4. 
     
     
     
     
  4. Mode: leader
    5.

5.2 格式化zookeeper集群（只做一次）（机器nn-1上执行）


    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/hadoop/bin/hdfs zkfc -formatZK
    2.
中间有个交互的步骤， 输入Y：
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第1张图片
 
进入zk， 查看是否创建成功： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 bin]$ ./zkCli.sh 
    2.
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第2张图片
 

5.3 启动zkfc（机器nn-1,nn-2上执行）

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/hadoop/sbin/hadoop-daemon.sh start zkfc
    2. 
     
     
     
     
  2. starting zkfc, logging to /hadoop/hadoop/logs/hadoop-hadoop-zkfc-nn-1.out
    3.

使用jps， 可以看到进程DFSZKFailoverController： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ jps
    2. 
     
     
     
     
  2. 9681 Jps
    3. 
     
     
     
     
  3. 9638 DFSZKFailoverController
    4. 
     
     
     
     
  4. 9382 QuorumPeerMain
    5.

 

5.4 启动journalnode

根据规划， 启动journalnode节点为nn-1、nn-2和dn-1， 在这三个节点分别使用如下的命令启动服务： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/hadoop/sbin/hadoop-daemon.sh  start  journalnode
    2. 
     
     
     
     
  2. starting journalnode, logging to /hadoop/hadoop/logs/hadoop-hadoop-journalnode-nn-1.out
    3.

使用jps命令可以看到进程JournalNode： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ jps
    2. 
     
     
     
     
  2. 9714 JournalNode
    3. 
     
     
     
     
  3. 9638 DFSZKFailoverController
    4. 
     
     
     
     
  4. 9382 QuorumPeerMain
    5. 
     
     
     
     
  5. 9762 Jps
    6.

5.5 格式化namenode（机器nn-1上执行）

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/hadoop/bin/hadoop namenode -format
    2.

查看日志信息：
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第3张图片
 

5.6 启动namenode（机器nn-1上执行）

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/hadoop/sbin/hadoop-daemon.sh  start  namenode
    2. 
     
     
     
     
  2. starting namenode, logging to /hadoop/hadoop/logs/hadoop-hadoop-namenode-nn-1.out
    3.
使用jps命令可以看到进程NameNode： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ jps
    2. 
     
     
     
     
  2. 9714 JournalNode
    3. 
     
     
     
     
  3. 9638 DFSZKFailoverController
    4. 
     
     
     
     
  4. 9382 QuorumPeerMain
    5. 
     
     
     
     
  5. 10157 NameNode
    6. 
     
     
     
     
  6. 10269 Jps
    7.

5.7 格式化secondnamnode（机器nn-2上执行）

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs namenode -bootstrapStandby
    2.
部分日志如下：
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第4张图片
 

5.8 启动namenode（机器nn-2上执行）

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/sbin/hadoop-daemon.sh  start  namenode
    2. 
     
     
     
     
  2. starting namenode, logging to /hadoop/hadoop/logs/hadoop-hadoop-namenode-nn-2.out
    3.
使用jps命令可以看到进程NameNode： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-2 ~]$ jps
    2. 
     
     
     
     
  2. 53990 NameNode
    3. 
     
     
     
     
  3. 54083 Jps
    4. 
     
     
     
     
  4. 53824 JournalNode
    5. 
     
     
     
     
  5. 53708 DFSZKFailoverController
    6.

5.9 启动datanode（机器dn-1到dn-3上执行）

    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ /hadoop/hadoop/sbin/hadoop-daemon.sh  start  datanode
    2.
使用jps可以看到DataNode进程： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 temp]$ jps
    2. 
     
     
     
     
  2. 57007 Jps
    3. 
     
     
     
     
  3. 56927 DataNode
    4. 
     
     
     
     
  4. 56223 QuorumPeerMain
    5.


5.10 启动resourcemanager

根据规划，resourcemanager服务在节点dn-1上面， 在dn-1上面启动resourcemanager： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ /hadoop/hadoop/sbin/yarn-daemon.sh  start  resourcemanager
    2. 
     
     
     
     
  2. starting resourcemanager, logging to /hadoop/hadoop/logs/yarn-hadoop-resourcemanager-dn-1.out
    3.

使用jps， 可以看到进程ResourceManager： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ jps
    2. 
     
     
     
     
  2. 57173 QuorumPeerMain
    3. 
     
     
     
     
  3. 58317 Jps
    4. 
     
     
     
     
  4. 57283 JournalNode
    5. 
     
     
     
     
  5. 58270 ResourceManager
    6. 
     
     
     
     
  6. 58149 DataNode
    7.

5.11 启动jobhistory

根据规划， jobhistory服务在nn-1上面， 使用如下命令启动： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
    2. 
     
     
     
     
  2. starting historyserver, logging to /hadoop/hadoop/logs/mapred-hadoop-historyserver-nn-1.out
    3.

使用jps， 可以看到进程JobHistoryServer： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ jps
    2. 
     
     
     
     
  2. 11210 JobHistoryServer
    3. 
     
     
     
     
  3. 9714 JournalNode
    4. 
     
     
     
     
  4. 9638 DFSZKFailoverController
    5. 
     
     
     
     
  5. 9382 QuorumPeerMain
    6. 
     
     
     
     
  6. 11039 NameNode
    7. 
     
     
     
     
  7. 11303 Jps
    8.

5.12 启动NodeManager

根据规划， dn-1、dn-2和dn-3是nodemanager， 在这三个节点启动NodeManager： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ /hadoop/hadoop/sbin/yarn-daemon.sh start nodemanager
    2. 
     
     
     
     
  2. starting nodemanager, logging to /hadoop/hadoop/logs/yarn-hadoop-nodemanager-dn-1.out
    3.

使用jps可以看到进程NodeManager： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ jps
    2. 
     
     
     
     
  2. 58559 NodeManager
    3. 
     
     
     
     
  3. 57173 QuorumPeerMain
    4. 
     
     
     
     
  4. 58668 Jps
    5. 
     
     
     
     
  5. 57283 JournalNode
    6. 
     
     
     
     
  6. 58270 ResourceManager
    7. 
     
     
     
     
  7. 58149 DataNode
    8.


6、安装后查看和验证


6.1 HDFS相关操作命令

查看NameNode状态的命令 
     
     
     
     
    
      
      
      
      
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs haadmin -getServiceState nn-1
    2.

手工切换，将active的NameNode从nn-1切换到nn-2 。 
      
      
      
      
    
       
       
       
       
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs haadmin -DfSHAadmin -failover nn-1 nn-2
    2.
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第5张图片
 
NameNode健康检查： 
      
      
      
      
    
       
       
       
       
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs haadmin -checkHealth nn-1
    2.
 将其中一台NameNode给kill后， 查看健康状态：
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第6张图片
 


查看所有的DataNode列表： 
     
     
     
     
    
      
      
      
      
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs dfsadmin -report | more
    2.
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第7张图片
 
查看正常DataNode列表: 
        
        
        
        
    
         
         
         
         
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs dfsadmin -report -live
    2. 
         
         
         
         
  2. 17/03/01 22:49:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
         
         
         
         
  3. Configured Capacity: 224954695680 (209.51 GB)
    4. 
         
         
         
         
  4. Present Capacity: 180557139968 (168.16 GB)
    5. 
         
         
         
         
  5. DFS Remaining: 179963428864 (167.60 GB)
    6. 
         
         
         
         
  6. DFS Used: 593711104 (566.21 MB)
    7. 
         
         
         
         
  7. DFS Used%: 0.33%
    8. 
         
         
         
         
  8. Under replicated blocks: 2
    9. 
         
         
         
         
  9. Blocks with corrupt replicas: 0
    10. 
         
         
         
         
  10. Missing blocks: 0
    11. 
         
         
         
         
    12. 
         
         
         
         
  12. -------------------------------------------------
    13. 
         
         
         
         
  13. Live datanodes (3):
    14. 
         
         
         
         
    15. 
         
         
         
         
  15. Name: 192.168.9.23:50010 (dn-1)
    16. 
         
         
         
         
  16. Hostname: dn-1
    17. 
         
         
         
         
  17. Rack: /rack2
    18. 
         
         
         
         
  18. Decommission Status : Normal
    19. 
         
         
         
         
  19. Configured Capacity: 74984898560 (69.84 GB)
    20. 
         
         
         
         
  20. DFS Used: 197902336 (188.73 MB)
    21. 
         
         
         
         
  21. Non DFS Used: 14869356544 (13.85 GB)
    22. 
         
         
         
         
  22. DFS Remaining: 59917639680 (55.80 GB)
    23. 
         
         
         
         
  23. DFS Used%: 0.26%
    24. 
         
         
         
         
  24. DFS Remaining%: 79.91%
    25. 
         
         
         
         
  25. Configured Cache Capacity: 0 (0 B)
    26. 
         
         
         
         
  26. Cache Used: 0 (0 B)
    27. 
         
         
         
         
  27. Cache Remaining: 0 (0 B)
    28. 
         
         
         
         
  28. Cache Used%: 100.00%
    29. 
         
         
         
         
  29. Cache Remaining%: 0.00%
    30. 
         
         
         
         
  30. Xceivers: 1
    31. 
         
         
         
         
  31. Last contact: Wed Mar 01 22:49:42 CST 2017
    32.

查看异常DataNode列表： 
        
        
        
        
    
         
         
         
         
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs dfsadmin -report -dead
    2.

获取指定DataNode信息(运行时间及版本等): 
      
      
      
      
    
       
       
       
       
  1. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs haadmin -checkHealth nn-2
    2. 
       
       
       
       
  2. 17/03/01 22:55:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
       
       
       
       
  3. [hadoop@nn-2 ~]$ /hadoop/hadoop/bin/hdfs haadmin -checkHealth nn-1
    4. 
       
       
       
       
  4. 17/03/01 22:55:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    5.


6.2 YARN相关的命令

查看resourceManager状态的命令： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 hadoop]$ yarn rmadmin -getServiceState rm1
    2. 
     
     
     
     
  2. active
    3. 
     
     
     
     
  3. [hadoop@dn-1 hadoop]$ yarn rmadmin -getServiceState rm2
    4. 
     
     
     
     
  4. standby
    5.

查看所有的yarn节点： 
     
     
     
     
    
      
      
      
      
  1. [hadoop@dn-1 hadoop]$ /hadoop/hadoop/bin/yarn node -all -list
    2. 
      
      
      
      
  2. 17/03/01 23:06:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
      
      
      
      
  3. Total Nodes:3
    4. 
      
      
      
      
  4.          Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
    5. 
      
      
      
      
  5.       dn-2:55506	        RUNNING	        dn-2:8042	                           0
    6. 
      
      
      
      
  6.       dn-1:56447	        RUNNING	        dn-1:8042	                           0
    7. 
      
      
      
      
  7.       dn-3:37533	        RUNNING	        dn-3:8042	                           0
    8.

查看正常的yarn节点： 
      
      
      
      
    
       
       
       
       
  1. [hadoop@dn-1 hadoop]$ /hadoop/hadoop/bin/yarn node -list
    2. 
       
       
       
       
  2. 17/03/01 23:07:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
       
       
       
       
  3. Total Nodes:3
    4. 
       
       
       
       
  4.          Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
    5. 
       
       
       
       
  5.       dn-2:55506	        RUNNING	        dn-2:8042	                           0
    6. 
       
       
       
       
  6.       dn-1:56447	        RUNNING	        dn-1:8042	                           0
    7. 
       
       
       
       
  7.       dn-3:37533	        RUNNING	        dn-3:8042	                           0
    8.

查看指定节点的信息：
/hadoop/hadoop/bin/yarn node -status 
      
      
      
      
    
       
       
       
       
  1. [hadoop@dn-1 hadoop]$ /hadoop/hadoop/bin/yarn node -status dn-2:55506
    2. 
       
       
       
       
  2. 17/03/01 23:08:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
       
       
       
       
  3. Node Report : 
    4. 
       
       
       
       
  4. 	Node-Id : dn-2:55506
    5. 
       
       
       
       
  5. 	Rack : /default-rack
    6. 
       
       
       
       
  6. 	Node-State : RUNNING
    7. 
       
       
       
       
  7. 	Node-Http-Address : dn-2:8042
    8. 
       
       
       
       
  8. 	Last-Health-Update : 星期三 01/三月/17 11:06:21:373CST
    9. 
       
       
       
       
  9. 	Health-Report : 
    10. 
       
       
       
       
  10. 	Containers : 0
    11. 
       
       
       
       
  11. 	Memory-Used : 0MB
    12. 
       
       
       
       
  12. 	Memory-Capacity : 8192MB
    13. 
       
       
       
       
  13. 	CPU-Used : 0 vcores
    14. 
       
       
       
       
  14. 	CPU-Capacity : 8 vcores
    15. 
       
       
       
       
  15. 	Node-Labels :
    16.

查看当前运行的MapReduce任务： 
      
      
      
      
    
       
       
       
       
  1. [hadoop@dn-2 ~]$ /hadoop/hadoop/bin/yarn application -list
    2. 
       
       
       
       
  2. 17/03/01 23:10:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
       
       
       
       
  3. Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1
    4. 
       
       
       
       
  4.                 Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
    5. 
       
       
       
       
  5. application_1488375590901_0004	     QuasiMonteCarlo	           MAPREDUCE	    hadoop	   default	           RUNNING	         UNDEFINED	
    6. 
       
       
       
       
  6.


6.3 使用自带的例子测试

    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 ~]$ cd hadoop/
    2. 
     
     
     
     
  2. [hadoop@dn-1 hadoop]$ 
    3. 
     
     
     
     
  3. [hadoop@dn-1 hadoop]$ ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 200
    4. 
    
    
    
    

    
    
    
    
    
     
     
     
     
  1. [hadoop@dn-1 hadoop]$ ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 200
    2. 
     
     
     
     
  2. Number of Maps  = 2
    3. 
     
     
     
     
  3. Samples per Map = 200
    4. 
     
     
     
     
  4. 17/02/28 01:51:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    5. 
     
     
     
     
  5. Wrote input for Map #0
    6. 
     
     
     
     
  6. Wrote input for Map #1
    7. 
     
     
     
     
  7. Starting Job
    8. 
     
     
     
     
  8. 17/02/28 01:51:15 INFO input.FileInputFormat: Total input paths to process : 2
    9. 
     
     
     
     
  9. 17/02/28 01:51:15 INFO mapreduce.JobSubmitter: number of splits:2
    10. 
     
     
     
     
  10. 17/02/28 01:51:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1488216892564_0001
    11. 
     
     
     
     
  11. 17/02/28 01:51:16 INFO impl.YarnClientImpl: Submitted application application_1488216892564_0001
    12. 
     
     
     
     
  12. 17/02/28 01:51:16 INFO mapreduce.Job: The url to track the job: http://dn-1:8088/proxy/application_1488216892564_0001/
    13. 
     
     
     
     
  13. 17/02/28 01:51:16 INFO mapreduce.Job: Running job: job_1488216892564_0001
    14. 
     
     
     
     
  14. 17/02/28 01:51:24 INFO mapreduce.Job: Job job_1488216892564_0001 running in uber mode : false
    15. 
     
     
     
     
  15. 17/02/28 01:51:24 INFO mapreduce.Job:  map 0% reduce 0%
    16. 
     
     
     
     
  16. 17/02/28 01:51:38 INFO mapreduce.Job:  map 100% reduce 0%
    17. 
     
     
     
     
  17. 17/02/28 01:51:49 INFO mapreduce.Job:  map 100% reduce 100%
    18. 
     
     
     
     
  18. 17/02/28 01:51:49 INFO mapreduce.Job: Job job_1488216892564_0001 completed successfully
    19. 
     
     
     
     
  19. 17/02/28 01:51:50 INFO mapreduce.Job: Counters: 49
    20. 
     
     
     
     
  20. 	File System Counters
    21. 
     
     
     
     
  21. 		FILE: Number of bytes read=50
    22. 
     
     
     
     
  22. 		FILE: Number of bytes written=326922
    23. 
     
     
     
     
  23. 		FILE: Number of read operations=0
    24. 
     
     
     
     
  24. 		FILE: Number of large read operations=0
    25. 
     
     
     
     
  25. 		FILE: Number of write operations=0
    26. 
     
     
     
     
  26. 		HDFS: Number of bytes read=510
    27. 
     
     
     
     
  27. 		HDFS: Number of bytes written=215
    28. 
     
     
     
     
  28. 		HDFS: Number of read operations=11
    29. 
     
     
     
     
  29. 		HDFS: Number of large read operations=0
    30. 
     
     
     
     
  30. 		HDFS: Number of write operations=3
    31. 
     
     
     
     
  31. 	Job Counters 
    32. 
     
     
     
     
  32. 		Launched map tasks=2
    33. 
     
     
     
     
  33. 		Launched reduce tasks=1
    34. 
     
     
     
     
  34. 		Data-local map tasks=2
    35. 
     
     
     
     
  35. 		Total time spent by all maps in occupied slots (ms)=25604
    36. 
     
     
     
     
  36. 		Total time spent by all reduces in occupied slots (ms)=7267
    37. 
     
     
     
     
  37. 		Total time spent by all map tasks (ms)=25604
    38. 
     
     
     
     
  38. 		Total time spent by all reduce tasks (ms)=7267
    39. 
     
     
     
     
  39. 		Total vcore-seconds taken by all map tasks=25604
    40. 
     
     
     
     
  40. 		Total vcore-seconds taken by all reduce tasks=7267
    41. 
     
     
     
     
  41. 		Total megabyte-seconds taken by all map tasks=26218496
    42. 
     
     
     
     
  42. 		Total megabyte-seconds taken by all reduce tasks=7441408
    43. 
     
     
     
     
  43. 	Map-Reduce Framework
    44. 
     
     
     
     
  44. 		Map input records=2
    45. 
     
     
     
     
  45. 		Map output records=4
    46. 
     
     
     
     
  46. 		Map output bytes=36
    47. 
     
     
     
     
  47. 		Map output materialized bytes=56
    48. 
     
     
     
     
  48. 		Input split bytes=274
    49. 
     
     
     
     
  49. 		Combine input records=0
    50. 
     
     
     
     
  50. 		Combine output records=0
    51. 
     
     
     
     
  51. 		Reduce input groups=2
    52. 
     
     
     
     
  52. 		Reduce shuffle bytes=56
    53. 
     
     
     
     
  53. 		Reduce input records=4
    54. 
     
     
     
     
  54. 		Reduce output records=0
    55. 
     
     
     
     
  55. 		Spilled Records=8
    56. 
     
     
     
     
  56. 		Shuffled Maps =2
    57. 
     
     
     
     
  57. 		Failed Shuffles=0
    58. 
     
     
     
     
  58. 		Merged Map outputs=2
    59. 
     
     
     
     
  59. 		GC time elapsed (ms)=419
    60. 
     
     
     
     
  60. 		CPU time spent (ms)=6940
    61. 
     
     
     
     
  61. 		Physical memory (bytes) snapshot=525877248
    62. 
     
     
     
     
  62. 		Virtual memory (bytes) snapshot=2535231488
    63. 
     
     
     
     
  63. 		Total committed heap usage (bytes)=260186112
    64. 
     
     
     
     
  64. 	Shuffle Errors
    65. 
     
     
     
     
  65. 		BAD_ID=0
    66. 
     
     
     
     
  66. 		CONNECTION=0
    67. 
     
     
     
     
  67. 		IO_ERROR=0
    68. 
     
     
     
     
  68. 		WRONG_LENGTH=0
    69. 
     
     
     
     
  69. 		WRONG_MAP=0
    70. 
     
     
     
     
  70. 		WRONG_REDUCE=0
    71. 
     
     
     
     
  71. 	File Input Format Counters 
    72. 
     
     
     
     
  72. 		Bytes Read=236
    73. 
     
     
     
     
  73. 	File Output Format Counters 
    74. 
     
     
     
     
  74. 		Bytes Written=97
    75. 
     
     
     
     
  75. Job Finished in 35.466 seconds
    76. 
     
     
     
     
  76. Estimated value of Pi is 3.17000000000000000000
    77.

6.4 查看NameNode

 链接分别为：
http://192.168.9.21:50070/
http://192.168.9.22:50070/

192.168.9.21和 192.168.9.22分别为NameNode和Secondary NameNode的地址。
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第8张图片
 
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第9张图片
 



6.5 查看NameNode 的HA切换是否正常

将nn-1上状态为active的NameNode进程kill， 查看nn-2上的NameNode能否从standby切换为active：
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第10张图片
 

切换成功： http://192.168.9.22:50070/
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第11张图片
 


6.6 查看RM页面

http://192.168.9.23:8088/

其中192.168.9.23为Resource服务所在的节点。
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第12张图片
 



7、安装Spark


规划， 在现有的Hadoop集群安装spark集群：
master节点： nn-1
worker节点： nn-2、dn-1、dn-2、dn-3。

7.1 安装配置Scala

上传安装包到nn-1的/hadoop目录下面，解压： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz
    2.
环境变量后面统一配置。

7.2 安装spark


上传安装包spark-1.6.0-bin-hadoop2.6.tgz到nn-1的目录/hadoop下面， 解压 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz 
    2.

进入目录：/hadoop/spark-1.6.0-bin-hadoop2.6/conf
复制生成文件spark-env.sh和slaves： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 conf]$ pwd
    2. 
     
     
     
     
  2. /hadoop/spark-1.6.0-bin-hadoop2.6/conf
    3. 
     
     
     
     
  3. [hadoop@nn-1 conf]$ cp spark-env.sh.template spark-env.sh
    4. 
     
     
     
     
  4. [hadoop@nn-1 conf]$ cp slaves.template  slaves
    5.
编辑 spark-env.sh， 加入如下内容： 
    
    
    
    
    
     
     
     
     
  1. export JAVA_HOME=/usr/local/java/jdk1.7.0_79
    2. 
     
     
     
     
  2. export SCALA_HOME=/hadoop/scala-2.11.7
    3. 
     
     
     
     
  3. export SPARK_HOME=/hadoop/spark-1.6.0-bin-hadoop2.6
    4. 
     
     
     
     
  4. export SPARK_MASTER_IP=nn-1
    5. 
     
     
     
     
  5. export SPARK_WORKER_MEMORY=2g
    6. 
     
     
     
     
  6. export HADOOP_CONF_DIR=/hadoop/hadoop/etc/hadoop
    7.
SPARK_WORKER_MEMORY根据实际情况配置。

编辑 spark-env.sh， 加入如下内容： slaves 
     
     
     
     
    
      
      
      
      
  1. nn-2
    2. 
      
      
      
      
  2. dn-1
    3. 
      
      
      
      
  3. dn-2
    4. 
      
      
      
      
  4. dn-3
    5.
slaves指定的是worker节点。

7.3 配置环境变量

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ vim .bash_profile 
    2.
追加如下内容： 
    
    
    
    
    
     
     
     
     
  1. export HADOOP_HOME=/hadoop/hadoop
    2. 
     
     
     
     
  2. export SCALA_HOME=/hadoop/scala-2.11.7
    3. 
     
     
     
     
  3. export SPARK_HOME=/hadoop/spark-1.6.0-bin-hadoop2.6
    4. 
     
     
     
     
  4. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
    5.

7.4 分发上面配置好的scala和spark目录到其他节点

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 bin]$ cd /hadoop
    2. 
     
     
     
     
  2. [hadoop@nn-1 ~]$ scp -rp spark-1.6.0-bin-hadoop2.6 hadoop@dn-1:/hadoop
    3. 
     
     
     
     
  3. [hadoop@nn-1 ~]$ scp -rp scala-2.11.7 hadoop@dn-1:/hadoop
    4.

7.5 启动Spark集群

    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ /hadoop/spark-1.6.0-bin-hadoop2.6/sbin/start-all.sh
    2.

在nn-1和其他slaves节点查看进程：
在nn-1节点， 可以看到Master进程： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ jps
    2. 
     
     
     
     
  2. 2473 JournalNode
    3. 
     
     
     
     
  3. 2541 NameNode
    4. 
     
     
     
     
  4. 4401 Jps
    5. 
     
     
     
     
  5. 2399 DFSZKFailoverController
    6. 
     
     
     
     
  6. 2687 JobHistoryServer
    7. 
     
     
     
     
  7. 2775 Master
    8. 
     
     
     
     
  8. 2351 QuorumPeerMain
    9.

在 slaves节点可以看到Worker进程： 
     
     
     
     
    
      
      
      
      
  1. [hadoop@dn-1 ~]$ jps
    2. 
      
      
      
      
  2. 2522 NodeManager
    3. 
      
      
      
      
  3. 3449 Jps
    4. 
      
      
      
      
  4. 2007 QuorumPeerMain
    5. 
      
      
      
      
  5. 2141 DataNode
    6. 
      
      
      
      
  6. 2688 Worker
    7. 
      
      
      
      
  7. 2061 JournalNode
    8. 
      
      
      
      
  8. 2258 ResourceManager
    9.

查看spark页面：
http://192.168.9.21:8080/

Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第13张图片
 

7.6 运行测试案例

./bin/spark-submit --class org.apache.spark.examples.SparkPi \

                   --master yarn --deploy-mode cluster \

                   --driver-memory 100M \

                   --executor-memory 200M \

                   --executor-cores 1 \

                   --queue default \

                   lib/spark-examples*.jar 10

或者：

./bin/spark-submit --class org.apache.spark.examples.SparkPi \

                   --master yarn --deploy-mode cluster \

                   --executor-cores 1 \

                   --queue default \

                   lib/spark-examples*.jar 10


Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第14张图片
  Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第15张图片
 
Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第16张图片
 



8、配置机架感知

在nn-1和nn-2节点的配置文件/hadoop/hadoop/etc/hadoop/core-site.xml加入如下配置： 
    
    
    
    
    
     
     
     
     
  1. <property>  
    2. 
     
     
     
     
  2.     <name>topology.script.file.namename>  
    3. 
     
     
     
     
  3.     <value>/hadoop/hadoop/etc/hadoop/RackAware.pyvalue>  
    4. 
     
     
     
     
  4. property>
    5.
新增文件：/hadoop/hadoop/etc/hadoop/RackAware.py，内容如下： 
    
    
    
    
    
     
     
     
     
  1. #!/usr/bin/python
    2. 
     
     
     
     
  2. #-*-coding:UTF-8 -*-
    3. 
     
     
     
     
  3. import sys
    4. 
     
     
     
     
    5. 
     
     
     
     
  5. rack = {"dn-1":"rack2",
    6. 
     
     
     
     
  6.         "dn-2":"rack1",
    7. 
     
     
     
     
  7.         "dn-3":"rack1",
    8. 
     
     
     
     
  8.         "192.168.9.23":"rack2",
    9. 
     
     
     
     
  9.         "192.168.9.24":"rack1",
    10. 
     
     
     
     
  10.         "192.168.9.25":"rack1",
    11. 
     
     
     
     
  11. }
    12. 
     
     
     
     
    13. 
     
     
     
     
    14. 
     
     
     
     
  14. if __name__=="__main__":
    15. 
     
     
     
     
  15.     print "/" + rack.get(sys.argv[1],"rack0")
    16.
设置权限： 
    
    
    
    
    
     
     
     
     
  1. [root@nn-1 hadoop]# chmod +x RackAware.py 
    2. 
     
     
     
     
  2. [root@nn-1 hadoop]# ll RackAware.py
    3. 
     
     
     
     
  3. -rwxr-xr-x 1 hadoop hadoop 294 3月   1 21:24 RackAware.py
    4.

重启nn-1和nn-2上的NameNode服务： 
    
    
    
    
    
     
     
     
     
  1. [hadoop@nn-1 ~]$ hadoop-daemon.sh stop namenode
    2. 
     
     
     
     
  2. stopping namenode
    3. 
     
     
     
     
  3. [hadoop@nn-1 ~]$ hadoop-daemon.sh start namenode
    4. 
     
     
     
     
  4. starting namenode, logging to /hadoop/hadoop/logs/hadoop-hadoop-namenode-nn-1.out
    5.

查看日志： 
    
    
    
    
    
     
     
     
     
  1. [root@nn-1 logs]# pwd
    2. 
     
     
     
     
  2. /hadoop/hadoop/logs
    3. 
     
     
     
     
  3. [root@nn-1 logs]# vim hadoop-hadoop-namenode-nn-1.log
    4.

Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）_第17张图片
 


使用命令查看拓扑： 
      
      
      
      
    
       
       
       
       
  1. [hadoop@dn-3 ~]$ hdfs dfsadmin -printTopology
    2. 
       
       
       
       
  2. 17/03/02 00:21:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    3. 
       
       
       
       
  3. Rack: /rack1
    4. 
       
       
       
       
  4.    192.168.9.24:50010 (dn-2)
    5. 
       
       
       
       
  5.    192.168.9.25:50010 (dn-3)
    6. 
       
       
       
       
    7. 
       
       
       
       
  7. Rack: /rack2
    8. 
       
       
       
       
  8.    192.168.9.23:50010 (dn-1)
    9.







你可能感兴趣的:(Apache Hadoop集群安装（NameNode HA + SPARK + 机架感知）)

  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 每日一题——第八十九题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：在字符串中找到提取数字，并统计一共找到多少整数，a123xxyu23&8889，那么找到的整数为123，23，8889//思想：#include#include#includeintmain(){charstr[]="a123xxyu23&8889";intcount=0;intnum=0;//用于临时存放当前正在构建的整数。boolinNum=false;//用于标记当前是否正在读取一个整
  • 每日一题——第九十题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
  • 每日一题——第八十一题 互联网打工人no1 C语言程序设计每日一练c语言
    打印如下图案:#includeintmain(){inti,j;charch='A';for(i=1;i<5;i++,ch++){for(j=0;j<5-i;j++){printf("");//控制空格输出}for(j=1;j<2*i;j++)//条件j<2*i{printf("%c",ch);//控制字符输出}printf("\n");}return0;}
  • 每日一题——第八十四题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
  • 每日一题——第八十二题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：将一个控制台输入的字符串中的所有元音字母复制到另一字符串中#include#include#include#include#defineMAX_INPUT1024boolisVowel(charp);intmain(){charinput[MAX_INPUT];charoutput[MAX_INPUT];printf("请输入一串字符串：\n");fgets(input,sizeof(inp
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
    利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
  • 如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchainjava服务器python
    标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • 走向以教育叙事为载体的教育叙事研究 666小飞鱼
    今天我读了吴松超老师的《给教师的68条建写作建议》中的第23条《如何通过教育叙事走向研究》，吴老师在文中与我们分享了一个德育案例，这是一个反面的案例，意在告知我们在处理问题时，不能就考虑的点太窄，思考要全面。走向教育叙事研究，教师要有敏锐的“感知力”，这个感知力来自于背后专业知识的支撑，思维能力以及广阔的视野和见识等。所以对于同一件事处理方法不同，这个就是教师背后“敏锐力”的不同造成的，也就是说是
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • 高级 ECharts 技巧：自定义图表主题与样式 SnowMan1993 echarts信息可视化数据分析
    ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
  • C++ | Leetcode C++题解之第409题最长回文串 Ddddddd_158 经验分享C++Leetcode题解
    题目：题解：classSolution{public:intlongestPalindrome(strings){unordered_mapcount;intans=0;for(charc:s)++count[c];for(autop:count){intv=p.second;ans+=v/2*2;if(v%2==1andans%2==0)++ans;}returnans;}};
  • 每日一题——第八十八题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：输入一个9位的无符号整数，判断其是否有重复数字#include#include#includeintmain(){charnum_str[10];printf("请输入一个9位数的无符号数：");scanf_s("%9d",&num_str);if(strlen(num_str)!=9){printf("输入的不是一个9位无符号整数，请重新输入");}else{if(hasDuplicate
  • mac电脑命令行获取电量 小米人er 我的博客macos命令行
    在macOS上，有几个命令行工具可以用来获取电量信息，最常用的是pmset命令。你可以通过以下方式来查看电池状态和电量信息：查看电池状态：pmset-gbatt这个命令会返回类似下面的输出：Nowdrawingfrom'BatteryPower'-InternalBattery-0(id=1234567)95%;discharging;4:02remainingpresent:true输出中包括电
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 在Ubuntu中编译含有JSON的文件出现报错 芝麻糊76 Linuxkill_buglinuxubuntujson
    在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
  • Xinference如何注册自定义模型 玩人工智能的辣条哥 人工智能AI大模型Xinference
    环境：Xinference问题描述：Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048,"model_name":"custom-llama-3","model_lang":["en","ch"],"model_ability":["generate","chat"],"model
  • STM32中的计时与延时 lupinjia STM32stm32单片机
    前言在裸机开发中，延时作为一种规定循环周期的方式经常被使用，其中尤以HAL库官方提供的HAL_Delay为甚。刚入门的小白可能会觉得既然有官方提供的延时函数，而且精度也还挺好，为什么不用呢？实际上HAL_Delay中有不少坑，而这些也只是HAL库中无数坑的其中一些。想从坑里跳出来还是得加强外设原理的学习和理解，切不可只依赖HAL库。除了延时之外，我们在开发中有时也会想要确定某段程序的耗时，这就需要
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 你可能遗漏的一些C#/.NET/.NET Core知识点 追逐时光者 C#.NETDotNetGuide编程指南c#.net.netcoremicrosoft
    前言在这个快速发展的技术世界中，时常会有一些重要的知识点、信息或细节被忽略或遗漏。《C#/.NET/.NETCore拾遗补漏》专栏我们将探讨一些可能被忽略或遗漏的重要知识点、信息或细节，以帮助大家更全面地了解这些技术栈的特性和发展方向。拾遗补漏GitHub开源地址https://github.com/YSGStudyHards/DotNetGuide/blob/main/docs/DotNet/D
  • 为什么你总是对下属不满意? ZhaoWu1050
    【ZhaoWu的听课笔记】大多数公司，都存在两种问题。我创业四年，更是体会深切。这两种问题就是：老板经常不满意下属的表现；下属总是不知道老板想要什么；虽然这两种问题普遍存在，其实解决方法并不复杂。这节课，我们再聊聊第一个问题：为什么老板经常不满意下属表现?其实，这背后也是一条管理常识。管理学家德鲁克先生早就说过：管理者的任务，不是去改变人。*来自《卓有成效的管理者》只是大多数老板和我一样，都是一边
  • 推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
    importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
  • 2024.8.22 Python，链表两数之和，链表快速反转，二叉树的深度，二叉树前中后序遍历，N叉树递归遍历，翻转二叉树 RaidenQ python链表开发语言
    1.链表两数之和输入：l1=[2,4,3],l2=[5,6,4]输出：[7,0,8]解释：342+465=807.示例2：输入：l1=[0],l2=[0]输出：[0]示例3：输入：l1=[9,9,9,9,9,9,9],l2=[9,9,9,9]输出：[8,9,9,9,0,0,0,1]昨天的这个题，用自己的办法写的麻烦的要死，然后刚才一看chat归类的办法，感觉自己像个智障。classListNode
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • ARM V8 base instruction -- Debug instructions xiaozhiwise Assemblyarm
    /**Debuginstructions*/BRK#imm16进入monitormodedebug，那里有on-chipdebugmonitorcodeHLT#imm16进入haltmodedebug，连接有外部调试硬件
  • Spring中@Value注解，需要注意的地方 无量 springbean@Valuexml
    Spring 3以后,支持@Value注解的方式获取properties文件中的配置值，简化了读取配置文件的复杂操作 1、在applicationContext.xml文件(或引用文件中)中配置properties文件 <bean id="appProperty" class="org.springframework.beans.fac
  • mongoDB 分片 开窍的石头 mongodb
        mongoDB的分片。要mongos查询数据时候 先查询configsvr看数据在那台shard上，configsvr上边放的是metar信息，指的是那条数据在那个片上。由此可以看出mongo在做分片的时候咱们至少要有一个configsvr,和两个以上的shard（片）信息。     第一步启动两台以上的mongo服务 &nb
  • OVER(PARTITION BY)函数用法 0624chenhong oracle
    这篇写得很好，引自 http://www.cnblogs.com/lanzi/archive/2010/10/26/1861338.html OVER(PARTITION BY)函数用法 2010年10月26日 OVER(PARTITION BY)函数介绍 开窗函数        &nb
  • Android开发中，ADB server didn't ACK 解决方法 一炮送你回车库 Android开发
    首先通知：凡是安装360、豌豆荚、腾讯管家的全部卸载，然后再尝试。   一直没搞明白这个问题咋出现的，但今天看到一个方法，搞定了！原来是豌豆荚占用了 5037 端口导致。 参见原文章：一个豌豆荚引发的血案——关于ADB server didn't ACK的问题 简单来讲，首先将Windows任务进程中的豌豆荚干掉，如果还是不行，再继续按下列步骤排查。 &nb
  • canvas中的像素绘制问题 换个号韩国红果果 JavaScriptcanvas
    pixl的绘制，1.如果绘制点正处于相邻像素交叉线，绘制x像素的线宽，则从交叉线分别向前向后绘制x/2个像素，如果x/2是整数，则刚好填满x个像素，如果是小数，则先把整数格填满，再去绘制剩下的小数部分，绘制时，是将小数部分的颜色用来除以一个像素的宽度，颜色会变淡。所以要用整数坐标来画的话（即绘制点正处于相邻像素交叉线时），线宽必须是2的整数倍。否则会出现不饱满的像素。 2.如果绘制点为一个像素的
  • 编码乱码问题 灵静志远 javajvmjsp编码
    1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式；2、对于单个字符：ISO-8859-1单字节编码，GBK双字节编码，UTF-8三字节编码；因此中文平台(中文平台默认字符集编码GBK)下一个中文字符占2个字节，而英文平台(英文平台默认字符集编码Cp1252(类似于ISO-8859-1))。 3、getBytes()、getByte
  • java 求几个月后的日期 darkranger calendargetinstance
    Date plandate = planDate.toDate(); SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd"); Calendar cal = Calendar.getInstance(); cal.setTime(plandate); // 取得三个月后时间 cal.add(Calendar.M
  • 数据库设计的三大范式（通俗易懂） aijuans 数据库复习
    关系数据库中的关系必须满足一定的要求。满足不同程度要求的为不同范式。数据库的设计范式是数据库设计所需要满足的规范。只有理解数据库的设计范式，才能设计出高效率、优雅的数据库，否则可能会设计出错误的数据库. 目前，主要有六种范式：第一范式、第二范式、第三范式、BC范式、第四范式和第五范式。满足最低要求的叫第一范式，简称1NF。在第一范式基础上进一步满足一些要求的为第二范式，简称2NF。其余依此类推。
  • 想学工作流怎么入手 atongyeye jbpm
    工作流在工作中变得越来越重要，很多朋友想学工作流却不知如何入手。 很多朋友习惯性的这看一点，那了解一点，既不系统，也容易半途而废。好比学武功，最好的办法是有一本武功秘籍。研究明白，则犹如打通任督二脉。 系统学习工作流，很重要的一本书《JBPM工作流开发指南》。 本人苦苦学习两个月，基本上可以解决大部分流程问题。整理一下学习思路，有兴趣的朋友可以参考下。 1  首先要
  • Context和SQLiteOpenHelper创建数据库 百合不是茶 androidContext创建数据库
           一直以为安卓数据库的创建就是使用SQLiteOpenHelper创建,但是最近在android的一本书上看到了Context也可以创建数据库,下面我们一起分析这两种方式创建数据库的方式和区别,重点在SQLiteOpenHelper     一:SQLiteOpenHelper创建数据库:   1,SQLi
  • 浅谈group by和distinct bijian1013 oracle数据库group bydistinct
            group by和distinct只了去重意义一样，但是group by应用范围更广泛些，如分组汇总或者从聚合函数里筛选数据等。         譬如：统计每id数并且只显示数大于3 select id ,count(id) from ta
  • vi opertion 征客丶 macoprationvi
    进入 command mode （命令行模式） 按 esc 键 再按 shift + 冒号 注：以下命令中 带 $ 【在命令行模式下进行】，不带 $ 【在非命令行模式下进行】 一、文件操作 1.1、强制退出不保存 $ q! 1.2、保存 $ w 1.3、保存并退出 $ wq 1.4、刷新或重新加载已打开的文件 $ e 二、光标移动 2.1、跳到指定行 数字
  • 【Spark十四】深入Spark RDD第三部分RDD基本API bit1129 spark
      对于K/V类型的RDD,如下操作是什么含义？   val rdd = sc.parallelize(List(("A",3),("C",6),("A",1),("B",5)) rdd.reduceByKey(_+_).collect  reduceByKey在这里的操作，是把
  • java类加载机制 BlueSkator java虚拟机
    java类加载机制 1.java类加载器的树状结构 引导类加载器 ^ | 扩展类加载器 ^ | 系统类加载器 java使用代理模式来完成类加载，java的类加载器也有类似于继承的关系，引导类是最顶层的加载器，它是所有类的根加载器，它负责加载java核心库。当一个类加载器接到装载类到虚拟机的请求时，通常会代理给父类加载器，若已经是根加载器了，就自己完成加载。 虚拟机区分一个Cla
  • 动态添加文本框 BreakingBad 文本框
      <script>     var num=1; function AddInput() {      var str="";     str+="<input 
  • 读《研磨设计模式》-代码笔记-单例模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ public class Singleton { } /* * 懒汉模式。注意，getInstance如果在多线程环境中调用，需要加上synchronized，否则存在线程不安全问题 */ class LazySingleton
  • iOS应用打包发布常见问题 chenhbc iosiOS发布iOS上传iOS打包
    这个月公司安排我一个人做iOS客户端开发，由于急着用，我先发布一个版本，由于第一次发布iOS应用，期间出了不少问题，记录于此。   1、使用Application Loader 发布时报错：Communication error.please use diagnostic mode to check connectivity.you need to have outbound acc
  • 工作流复杂拓扑结构处理新思路 comsci 设计模式工作算法企业应用OO
    我们走的设计路线和国外的产品不太一样，不一样在哪里呢？  国外的流程的设计思路是通过事先定义一整套规则(类似XPDL)来约束和控制流程图的复杂度(我对国外的产品了解不够多，仅仅是在有限的了解程度上面提出这样的看法)，从而避免在流程引擎中处理这些复杂的图的问题，而我们却没有通过事先定义这样的复杂的规则来约束和降低用户自定义流程图的灵活性，这样一来，在引擎和流程流转控制这一个层面就会遇到很
  • oracle 11g新特性Flashback data archive daizj oracle
    1. 什么是flashback data archive Flashback data archive是oracle 11g中引入的一个新特性。Flashback archive是一个新的数据库对象，用于存储一个或多表的历史数据。Flashback archive是一个逻辑对象，概念上类似于表空间。实际上flashback archive可以看作是存储一个或多个表的所有事务变化的逻辑空间。
  • 多叉树:2-3-4树 dieslrae 树
        平衡树多叉树,每个节点最多有4个子节点和3个数据项,2,3,4的含义是指一个节点可能含有的子节点的个数,效率比红黑树稍差.一般不允许出现重复关键字值.2-3-4树有以下特征:     1、有一个数据项的节点总是有2个子节点(称为2-节点)     2、有两个数据项的节点总是有3个子节点(称为3-节
  • C语言学习七动态分配 malloc的使用 dcj3sjt126com clanguagemalloc
    /* 2013年3月15日15:16:24 malloc 就memory(内存) allocate(分配)的缩写 本程序没有实际含义，只是理解使用 */ # include <stdio.h> # include <malloc.h> int main(void) { int i = 5; //分配了4个字节 静态分配 int * p
  • Objective-C编码规范[译] dcj3sjt126com 代码规范
      原文链接 : The official raywenderlich.com Objective-C style guide 原文作者 : raywenderlich.com Team 译文出自 : raywenderlich.com Objective-C编码规范 译者 : Sam Lau
  • 0.性能优化-目录 frank1234 性能优化
    从今天开始笔者陆续发表一些性能测试相关的文章，主要是对自己前段时间学习的总结，由于水平有限，性能测试领域很深，本人理解的也比较浅，欢迎各位大咖批评指正。 主要内容包括： 一、性能测试指标 吞吐量、TPS、响应时间、负载、可扩展性、PV、思考时间 http://frank1234.iteye.com/blog/2180305 二、性能测试策略 生产环境相同 基准测试 预热等 htt
  • Java父类取得子类传递的泛型参数Class类型 happyqing java泛型父类子类Class
      import java.lang.reflect.ParameterizedType; import java.lang.reflect.Type; import org.junit.Test; abstract class BaseDao<T> { public void getType() { //Class<E> clazz =
  • 跟我学SpringMVC目录汇总贴、PDF下载、源码下载 jinnianshilongnian springMVC
      ----广告-------------------------------------------------------------- 网站核心商详页开发 掌握Java技术，掌握并发/异步工具使用，熟悉spring、ibatis框架； 掌握数据库技术，表设计和索引优化，分库分表/读写分离； 了解缓存技术，熟练使用如Redis/Memcached等主流技术； 了解Ngin
  • the HTTP rewrite module requires the PCRE library 流浪鱼 rewrite
    ./configure: error: the HTTP rewrite module requires the PCRE library. 模块依赖性Nginx需要依赖下面3个包 1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ ) 2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ ) 3. s
  • 第12章 Ajax（中） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Optimize query with Query Stripping in Web Intelligence blueoxygen BO
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Optimize+query+with+Query+Stripping+in+Web+Intelligence and a very straightfoward video http://www.sdn.sap.com/irj/scn/events?rid=/library/uuid/40ec3a0c-936
  • Java开发者写SQL时常犯的10个错误 tomcat_oracle javasql
    1、不用PreparedStatements 　　有意思的是，在JDBC出现了许多年后的今天，这个错误依然出现在博客、论坛和邮件列表中，即便要记住和理解它是一件很简单的事。开发者不使用PreparedStatements的原因可能有如下几个： 　　他们对PreparedStatements不了解 　　他们认为使用PreparedStatements太慢了 　　他们认为写Prepar
  • 世纪互联与结盟有感 阿尔萨斯
    10月10日，世纪互联与（Foxcon）签约成立合资公司，有感。 全球电子制造业巨头（全球500强企业）与世纪互联共同看好IDC、云计算等业务在中国的增长空间，双方迅速果断出手，在资本层面上达成合作，此举体现了全球电子制造业巨头对世纪互联IDC业务的欣赏与信任，另一方面反映出世纪互联目前良好的运营状况与广阔的发展前景。 众所周知，精于电子产品制造（世界第一），对于世纪互联而言，能够与结盟
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他