lzspf
lzspf

部署hadoop标准文档及标准目录

 

部署hadoop标准文档及标准目录
版本：v1.1
安装基础系统
1.       操作系统安装：centos6.3 x64
2.       分区情况：boot分区200M，根分区50G，swap分区，>32G <64G, 剩余空间（或者独立磁盘分区）划分到/data目录。
3.       安装套件：基础系统、开发环境。
4.       光盘安装：或者挂载光驱，执行yum --disablerepo=\* --enablerepo=c6-media groupinstall base 'Development tools'
datanode硬件初始化
1.       RAID制作：系统盘做raid1，数据盘每个盘独立做raid0。
2.       格式化分区：使用下列命令进行每块硬盘的分区和格式化。
#!/bin/bash
for i in sdb sdc sdd sde sdf sdg sdh sdi
do
         parted /dev/$i mklabel gpt
         parted /dev/$i mkpart 1 ext4 0M 2000G
         mkfs.ext4 /dev/${i}1 &
done
3.       修改fstab
[root@namenode002 ~]# cat /etc/fstab
tmpfs      /dev/shm     tmpfs   defaults        0 0
devpts     /dev/pts     devpts gid=5,mode=620 0 0
sysfs      /sys         sysfs   defaults        0 0
proc       /proc        proc    defaults        0 0
/dev/sda1 /boot         ext3 defaults           1 1
/dev/sda2 /             ext3 defaults           1 1
/dev/sdb1 /data/disk01 ext3 noatime,nodiratime 1 1
/dev/sdc1 /data/disk02 ext3 noatime,nodiratime 1 1
/dev/sdd1 /data/disk03 ext3 noatime,nodiratime 1 1
/dev/sde1 /data/disk04 ext3 noatime,nodiratime 1 1
/dev/sdf1 /data/disk05 ext3 noatime,nodiratime 1 1
/dev/sdg1 /data/disk06 ext3 noatime,nodiratime 1 1
/dev/sdh1 /data/disk07 ext3 noatime,nodiratime 1 1
/dev/sdi1 /data/disk08 ext3 noatime,nodiratime 1 1
[root@namenode002 ~]# mkdir -p /data/disk0{1,2,3,4,5,6,7,8}
[root@namenode002 ~]# mount -a
[root@namenode002 ~]# cat /etc/mtab
/dev/sda2 / ext3 rw 0 0
proc /proc proc rw 0 0
sysfs /sys sysfs rw 0 0
devpts /dev/pts devpts rw,gid=5,mode=620 0 0
tmpfs /dev/shm tmpfs rw 0 0
/dev/sda1 /boot ext3 rw 0 0
none /proc/sys/fs/binfmt_misc binfmt_misc rw 0 0
/dev/sdb1 /data/disk01 ext3 rw,noatime,nodiratime 0 0
/dev/sdc1 /data/disk02 ext3 rw,noatime,nodiratime 0 0
/dev/sdd1 /data/disk03 ext3 rw,noatime,nodiratime 0 0
/dev/sde1 /data/disk04 ext3 rw,noatime,nodiratime 0 0
/dev/sdf1 /data/disk05 ext3 rw,noatime,nodiratime 0 0
/dev/sdg1 /data/disk06 ext3 rw,noatime,nodiratime 0 0
/dev/sdh1 /data/disk07 ext3 rw,noatime,nodiratime 0 0
/dev/sdi1 /data/disk08 ext3 rw,noatime,nodiratime 0 0
 
 
设置系统环境
在每台服务器上执行如下操作：
1.       修改网络设置IP地址，主机名。
2.       关闭selinux，关闭iptables服务。sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
3.       设置/etc/hosts 文件，将hadoop列表所有机器添加到host文件中。
[root@namenode01 ~]# cat /etc/hosts
192.168.12.235         namenode01
192.168.12.236         datanode01
192.168.12.237         datanode02
192.168.12.238         datanode03
192.168.12.239         namenode02
192.168.12.240         jobtracker01
4.       修改yum.conf
sed -i 's/keepcache=0/keepcache=1/' /etc/yum.conf
5.       修改服务运行级别
/etc/init.d/iptables stop;chkconfig iptables off
6.       做ssh信任授权。
for i in datanode004 datanode005 datanode006 datanode007; do scp -rp .ssh/ root@$i:/root/; done
7.       修改dns，更新ntp时间。
[root@namenode001 ~]# for i in `cat /etc/hosts|awk '{print $2}'|grep -v localhost`; do scp /etc/resolv.conf root@$i:/etc/;ssh root@$i ntpdate dns.elong.cn;ssh root@$i hwclock -w;ssh $i chkconfig ntpd on; scp /etc/ntp.conf root@$i:/etc/;ssh $i /etc/init.d/ntpd restart; done
8.       批量重启
for i in `cat /etc/hosts|awk '{print $2}'|grep -v localhost|tac`;do ssh root@$i shutdown -r now;done
9.       拷贝软件安装包
for i in datanode004 datanode005 datanode006 datanode007; do scp jdk-6u37-linux-x64.bin mysql-connector-java-5.1.22.tar.gz cloudera-cdh-4-0.noarch.rpm root@$i:/root/; done
10.   设置mount环境
mkdir -p /opt/hadoop;yum -y install nfs-utils
安装jdk
在每台服务器上执行如下操作：
1.         安装 jdk-6u37-linux-x64.bin
chmod +x jdk-6u37-linux-x64.bin ;./jdk-6u37-linux-x64.bin
mv jdk1.6.0_37/ /usr/local/jdk
 
2.         安装cdh源
rpm -ivh http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.noarch.rpm
配置环境变量jdk
1.       增加jdk环境变量
[root@namenode01 ~]# cat /etc/profile
# for java env
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVAHOME/lib/dt.jar
 
[root@namenode01 ~]# java -version
java version "1.6.0_37"
Java(TM) SE Runtime Environment (build 1.6.0_37-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.12-b01, mixed mode)
 
安装hadoop
1.         安装namenode
yum install hadoop-hdfs-namenode
chkconfig hadoop-hdfs-namenode on
 
2.         安装secondary namenode
yum install hadoop-hdfs-secondarynamenode
chkconfig hadoop-hdfs-secondarynamenode on
 
3.         安装jobtracker
yum install hadoop-0.20-mapreduce-jobtracker
chkconfig hadoop-0.20-mapreduce-jobtracker on
 
4.         安装datanode 和 tasktracker
yum install hadoop-0.20-mapreduce-tasktracker hadoop-hdfs-datanode
chkconfig hadoop-0.20-mapreduce-tasktracker on;chkconfig hadoop-hdfs-datanode on
 
5.         安装hadoop客户端
yum install hadoop-client
 
6.         将下列JAVA运行环境添加到上述各种hadoop的启动脚本的第二行中，以便于开机启动。
[root@namenode01 ~]# vi /etc/init.d/hadoop-hdfs-namenode
#!/bin/bash
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
 
 
配置hadoop
1.       配置文件
[root@namenode01 ~]# rm -f /etc/hadoop/conf/; cp -rp /etc/hadoop/conf.empty /etc/hadoop/conf
[root@namenode01 ~]# cat /etc/hadoop/conf/masters
namenode02
[root@namenode01 ~]# cat /etc/hadoop/conf/slaves
datanode01
datanode02
datanode03
[root@namenode01 ~]# cat /etc/hadoop/conf/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
         <property>
                   <name>fs.default.name</name>
                   <value>hdfs://namenode001:9000</value>
         </property>
         <property>
                   <name>hadoop.tmp.dir</name>
                   <value>/tmp/</value>
         </property>
</configuration>
[root@namenode01 ~]# cat /etc/hadoop/conf/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
         <property>
                   <name>dfs.name.dir</name>
                   <value>/data/hdfs/dfs/name</value>
                   <description>Name node save the metadata namespace</description>
         </property>
         <property>
                   <name>dfs.data.dir</name>
                   <value>/data/hdfs/dfs/data</value>
                   <description>save the data node dir</description>
         </property>
         <property>
                   <name>dfs.replication</name>
                   <value>3</value>
         </property>
         <property>
                <name>dfs.webhdfs.enabled</name>
                   <value>true</value>
         </property>
<!-- for second namenode -->
         <property>
                   <name>dfs.namenode.http-address</name>
                   <value>namenode01:50070</value>
                   <description>The address and the base port on which the dfs NameNode Web UI will listen. If the port is 0, the server will start on a free port.</description>
         </property>
</configuration>
[root@namenode01 ~]# cat /etc/hadoop/conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
         <property>
                   <name>mapred.job.tracker</name>
                   <value>jobtracker001:9001</value>
         </property>
         <property>
                   <name>mapred.local.dir</name>
                   <value>/tmp/hadoop/mapred/local</value>
         </property>
         <property>
                   <name>mapred.system.dir</name>
                   <value>/mapred/system</value>
         </property>
</configuration>
 
2.       在namenode上执行创建目录
[root@namenode002 ~]# mkdir -p /data/disk0{1,2,3,4,5,6,7,8}/hdfs ; mkdir -p /data/disk0{1,2,3,4,5,6,7,8}/mapred/local ; chown -R hdfs /data/disk0{1,2,3,4,5,6,7,8}/hdfs ; chown -R mapred /data/disk0{1,2,3,4,5,6,7,8}/mapred/local ;
[root@namenode002 ~]# chown -R mapred /usr/lib/hadoop-0.20-mapreduce/bin/../logs/
[root@namenode002 ~]# su - hdfs
-bash-4.1$ hadoop fs -mkdir /mapred/system
-bash-4.1$ hadoop fs -chown -R mapred /mapred/system
-bash-4.1$ hdfs namenode -format
12/11/21 19:50:30 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:    host = namenode002/10.35.66.11
STARTUP_MSG:    args = [-format]
STARTUP_MSG:    version = 2.0.0-cdh4.1.2
STARTUP_MSG:    classpath = /etc/hadoop/conf:/usr/lib/hadoop/lib/guava-11.0.2.jar:/usr/lib/hadoop/lib/snappy-java-1.0.4.1.jar:/usr/lib/hadoop/lib/jsch-0.1.42.jar:/usr/lib/hadoop/lib/xmlenc-0.52.jar:/usr/lib/hadoop/lib/junit-4.8.2.jar:/usr/lib/hadoop/lib/commons-configuration-1.6.jar:/usr/lib/hadoop/lib/commons-logging-1.1.1.jar:/usr/lib/hadoop/lib/protobuf-java-2.4.0a.jar:/usr/lib/hadoop/lib/zookeeper-3.4.3-cdh4.1.2.jar:/usr/lib/hadoop/lib/mockito-all-1.8.5.jar:/usr/lib/hadoop/lib/asm-3.2.jar:/usr/lib/hadoop/lib/commons-beanutils-1.7.0.jar:/usr/lib/hadoop/lib/commons-io-2.1.jar:/usr/lib/hadoop/lib/commons-digester-1.8.jar:/usr/lib/hadoop/lib/jets3t-0.6.1.jar:/usr/lib/hadoop/lib/jackson-xc-1.8.8.jar:/usr/lib/hadoop/lib/kfs-0.3.jar:/usr/lib/hadoop/lib/commons-lang-2.5.jar:/usr/lib/hadoop/lib/commons-cli-1.2.jar:/usr/lib/hadoop/lib/commons-beanutils-core-1.8.0.jar:/usr/lib/hadoop/lib/servlet-api-2.5.jar:/usr/lib/hadoop/lib/slf4j-api-1.6.1.jar:/usr/lib/hadoop/lib/activation-1.1.jar:/usr/lib/hadoop/lib/jline-0.9.94.jar:/usr/lib/hadoop/lib/commons-el-1.0.jar:/usr/lib/hadoop/lib/jersey-server-1.8.jar:/usr/lib/hadoop/lib/jasper-compiler-5.5.23.jar:/usr/lib/hadoop/lib/jersey-json-1.8.jar:/usr/lib/hadoop/lib/jaxb-impl-2.2.3-1.jar:/usr/lib/hadoop/lib/jetty-6.1.26.cloudera.2.jar:/usr/lib/hadoop/lib/log4j-1.2.17.jar:/usr/lib/hadoop/lib/jaxb-api-2.2.2.jar:/usr/lib/hadoop/lib/jersey-core-1.8.jar:/usr/lib/hadoop/lib/commons-httpclient-3.1.jar:/usr/lib/hadoop/lib/jackson-core-asl-1.8.8.jar:/usr/lib/hadoop/lib/stax-api-1.0.1.jar:/usr/lib/hadoop/lib/jsp-api-2.1.jar:/usr/lib/hadoop/lib/slf4j-log4j12-1.6.1.jar:/usr/lib/hadoop/lib/jackson-jaxrs-1.8.8.jar:/usr/lib/hadoop/lib/paranamer-2.3.jar:/usr/lib/hadoop/lib/jsr305-1.3.9.jar:/usr/lib/hadoop/lib/commons-codec-1.4.jar:/usr/lib/hadoop/lib/jettison-1.1.jar:/usr/lib/hadoop/lib/jetty-util-6.1.26.cloudera.2.jar:/usr/lib/hadoop/lib/commons-collections-3.2.1.jar:/usr/lib/hadoop/lib/avro-1.7.1.cloudera.2.jar:/usr/lib/hadoop/lib/jackson-mapper-asl-1.8.8.jar:/usr/lib/hadoop/lib/commons-math-2.1.jar:/usr/lib/hadoop/lib/jasper-runtime-5.5.23.jar:/usr/lib/hadoop/lib/commons-net-3.1.jar:/usr/lib/hadoop/.//hadoop-common.jar:/usr/lib/hadoop/.//hadoop-auth.jar:/usr/lib/hadoop/.//hadoop-annotations-2.0.0-cdh4.1.2.jar:/usr/lib/hadoop/.//hadoop-annotations.jar:/usr/lib/hadoop/.//hadoop-common-2.0.0-cdh4.1.2.jar:/usr/lib/hadoop/.//hadoop-auth-2.0.0-cdh4.1.2.jar:/usr/lib/hadoop/.//hadoop-common-2.0.0-cdh4.1.2-tests.jar:/usr/lib/hadoop-hdfs/./:/usr/lib/hadoop-hdfs/lib/guava-11.0.2.jar:/usr/lib/hadoop-hdfs/lib/xmlenc-0.52.jar:/usr/lib/hadoop-hdfs/lib/commons-logging-1.1.1.jar:/usr/lib/hadoop-hdfs/lib/protobuf-java-2.4.0a.jar:/usr/lib/hadoop-hdfs/lib/zookeeper-3.4.3-cdh4.1.2.jar:/usr/lib/hadoop-hdfs/lib/asm-3.2.jar:/usr/lib/hadoop-hdfs/lib/commons-io-2.1.jar:/usr/lib/hadoop-hdfs/lib/commons-lang-2.5.jar:/usr/lib/hadoop-hdfs/lib/commons-cli-1.2.jar:/usr/lib/hadoop-hdfs/lib/servlet-api-2.5.jar:/usr/lib/hadoop-hdfs/lib/commons-daemon-1.0.3.jar:/usr/lib/hadoop-hdfs/lib/jline-0.9.94.jar:/usr/lib/hadoop-hdfs/lib/commons-el-1.0.jar:/usr/lib/hadoop-hdfs/lib/jersey-server-1.8.jar:/usr/lib/hadoop-hdfs/lib/jetty-6.1.26.cloudera.2.jar:/usr/lib/hadoop-hdfs/lib/log4j-1.2.17.jar:/usr/lib/hadoop-hdfs/lib/jersey-core-1.8.jar:/usr/lib/hadoop-hdfs/lib/jackson-core-asl-1.8.8.jar:/usr/lib/hadoop-hdfs/lib/jsp-api-2.1.jar:/usr/lib/hadoop-hdfs/lib/jsr305-1.3.9.jar:/usr/lib/hadoop-hdfs/lib/commons-codec-1.4.jar:/usr/lib/hadoop-hdfs/lib/jetty-util-6.1.26.cloudera.2.jar:/usr/lib/hadoop-hdfs/lib/jackson-mapper-asl-1.8.8.jar:/usr/lib/hadoop-hdfs/lib/jasper-runtime-5.5.23.jar:/usr/lib/hadoop-hdfs/.//hadoop-hdfs-2.0.0-cdh4.1.2.jar:/usr/lib/hadoop-hdfs/.//hadoop-hdfs-2.0.0-cdh4.1.2-tests.jar:/usr/lib/hadoop-hdfs/.//hadoop-hdfs.jar:/usr/lib/hadoop-yarn/.//*:/usr/lib/hadoop-0.20-mapreduce/./:/usr/lib/hadoop-0.20-mapreduce/lib/guava-11.0.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/snappy-java-1.0.4.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jsch-0.1.42.jar:/usr/lib/hadoop-0.20-mapreduce/lib/xmlenc-0.52.jar:/usr/lib/hadoop-0.20-mapreduce/lib/junit-4.8.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-configuration-1.6.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-logging-1.1.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/protobuf-java-2.4.0a.jar:/usr/lib/hadoop-0.20-mapreduce/lib/mockito-all-1.8.5.jar:/usr/lib/hadoop-0.20-mapreduce/lib/asm-3.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-beanutils-1.7.0.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-io-2.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-digester-1.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/aspectjrt-1.6.5.jar:/usr/lib/hadoop-0.20-mapreduce/lib/hsqldb-1.8.0.10.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jets3t-0.6.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jackson-xc-1.8.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/kfs-0.3.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-lang-2.5.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-cli-1.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-beanutils-core-1.8.0.jar:/usr/lib/hadoop-0.20-mapreduce/lib/hadoop-fairscheduler-2.0.0-mr1-cdh4.1.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/servlet-api-2.5.jar:/usr/lib/hadoop-0.20-mapreduce/lib/slf4j-api-1.6.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/aspectjtools-1.6.5.jar:/usr/lib/hadoop-0.20-mapreduce/lib/activation-1.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-el-1.0.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jersey-server-1.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jasper-compiler-5.5.23.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jersey-json-1.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jaxb-impl-2.2.3-1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jetty-6.1.26.cloudera.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/avro-compiler-1.7.1.cloudera.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/log4j-1.2.17.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jaxb-api-2.2.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jersey-core-1.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-httpclient-3.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jackson-core-asl-1.8.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/stax-api-1.0.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/kfs-0.2.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jsp-api-2.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jackson-jaxrs-1.8.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/paranamer-2.3.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jsr305-1.3.9.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-codec-1.4.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jettison-1.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/ant-contrib-1.0b3.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jetty-util-6.1.26.cloudera.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-collections-3.2.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/avro-1.7.1.cloudera.2.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jackson-mapper-asl-1.8.8.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-math-2.1.jar:/usr/lib/hadoop-0.20-mapreduce/lib/jasper-runtime-5.5.23.jar:/usr/lib/hadoop-0.20-mapreduce/lib/commons-net-3.1.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-2.0.0-mr1-cdh4.1.2-test.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-2.0.0-mr1-cdh4.1.2-ant.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-examples-2.0.0-mr1-cdh4.1.2.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-examples.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-2.0.0-mr1-cdh4.1.2-tools.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-tools-2.0.0-mr1-cdh4.1.2.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-ant-2.0.0-mr1-cdh4.1.2.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-2.0.0-mr1-cdh4.1.2-core.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-test-2.0.0-mr1-cdh4.1.2.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-test.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-core.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-core-2.0.0-mr1-cdh4.1.2.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-ant.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-2.0.0-mr1-cdh4.1.2-examples.jar:/usr/lib/hadoop-0.20-mapreduce/.//hadoop-tools.jar
STARTUP_MSG:    build = file:///data/1/jenkins/workspace/generic-package-rhel64-6-0/topdir/BUILD/hadoop-2.0.0-cdh4.1.2/src/hadoop-common-project/hadoop-common -r f0b53c81cbf56f5955e403b49fcd27afd5f082de; compiled by 'jenkins' on Thu Nov 1 17:33:23 PDT 2012
************************************************************/
12/11/21 19:50:31 WARN common.Util: Path /data/disk01/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk02/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk03/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk04/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk05/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk06/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk07/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk08/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk01/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk02/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk03/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk04/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk05/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk06/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk07/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
12/11/21 19:50:31 WARN common.Util: Path /data/disk08/hdfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
Formatting using clusterid: CID-0e567455-ca4e-40f0-aac0-c65640212c5e
12/11/21 19:50:31 INFO util.HostsFileReader: Refreshing hosts (include/exclude) list
12/11/21 19:50:31 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000
12/11/21 19:50:31 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
12/11/21 19:50:31 INFO blockmanagement.BlockManager: defaultReplication          = 3
12/11/21 19:50:31 INFO blockmanagement.BlockManager: maxReplication              = 512
12/11/21 19:50:31 INFO blockmanagement.BlockManager: minReplication              = 1
12/11/21 19:50:31 INFO blockmanagement.BlockManager: maxReplicationStreams       = 2
12/11/21 19:50:31 INFO blockmanagement.BlockManager: shouldCheckForEnoughRacks = false
12/11/21 19:50:31 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
12/11/21 19:50:31 INFO blockmanagement.BlockManager: encryptDataTransfer         = false
12/11/21 19:50:31 INFO namenode.FSNamesystem: fsOwner              = hdfs (auth:SIMPLE)
12/11/21 19:50:31 INFO namenode.FSNamesystem: supergroup           = supergroup
12/11/21 19:50:31 INFO namenode.FSNamesystem: isPermissionEnabled = true
12/11/21 19:50:31 INFO namenode.FSNamesystem: HA Enabled: false
12/11/21 19:50:32 INFO namenode.FSNamesystem: Append Enabled: true
12/11/21 19:50:32 INFO namenode.NameNode: Caching file names occuring more than 10 times
12/11/21 19:50:32 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
12/11/21 19:50:32 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
12/11/21 19:50:32 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension      = 30000
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk01/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk02/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk03/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk04/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk05/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk06/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk07/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.NNStorage: Storage directory /data/disk08/hdfs/name has been successfully formatted.
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk05/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk01/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk07/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk03/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk06/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk04/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk02/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Saving image file /data/disk08/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.FSImage: Image file of size 119 saved in 0 seconds.
12/11/21 19:50:32 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
12/11/21 19:50:32 INFO util.ExitUtil: Exiting with status 0
12/11/21 19:50:32 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at namenode002/10.35.66.11
************************************************************/
[root@namenode002 ~]# /etc/init.d/hadoop-hdfs-namenode start
Starting Hadoop namenode:                                   [ OK ]
starting namenode, logging to /var/log/hadoop-hdfs/hadoop-hdfs-namenode-namenode002.out
[root@namenode002 ~]# jps
2976 Jps
2874 NameNode
[root@namenode002 ~]# /etc/init.d/hadoop-0.20-mapreduce-jobtracker start
Starting Hadoop jobtracker daemon (hadoop-jobtracker): starting jobtracker, logging to /var/log/hadoop-0.20-mapreduce/hadoop-hadoop-jobtracker-namenode002.out
[root@namenode002 ~]# jps                                   [ OK ]
3097 JobTracker
3135 Jps
2874 NameNode
 
3.在datanode上执行：
[root@datanode01 ~]# mkdir /usr/lib/hadoop/logs
[root@datanode01 ~]# chown -R hdfs /usr/lib/hadoop/logs
[root@datanode01 ~]# ln -s /usr/lib/hadoop/libexec/ /usr/lib/hadoop-hdfs/libexec
 
4. 拷贝所有配置到datanode
for i in `cat /etc/hosts|awk '{print $2}'|grep -v localhost|grep -v namenode001`;do ssh root@$i rm -rf /etc/hadoop/conf;scp -r /etc/hadoop/conf root@$i:/etc/hadoop/; done
 
 
检查状态
1.         主机列表：
192.168.12.235         namenode01
192.168.12.236         datanode01
192.168.12.237         datanode02
192.168.12.238         datanode03
192.168.12.239         namenode02
192.168.12.240         jobtracker01
 
2.         命令检查：
[root@namenode01 ~]# jps
1427 NameNode
1577 Jps
[root@namenode02 ~]# jps
1444 SecondaryNameNode
1586 Jps
[root@jobtracker01 ~]# jps
1494 JobTracker
1596 Jps
[root@datanode01 ~]# jps
1428 DataNode
1547 TaskTracker
1692 Jps
[root@datanode02 ~]# jps
1703 Jps
1557 TaskTracker
1438 DataNode
[root@datanode03 ~]# jps
1542 TaskTracker
1423 DataNode
1688 Jps
 
3.         URL检查
访问 http://192.168.12.235:50070/dfshealth.jsp
NameNode 'namenode01:9000' (active)
 
Started:    Fri Nov 16 07:48:23 CST 2012
Version:    2.0.0-cdh4.1.2, f0b53c81cbf56f5955e403b49fcd27afd5f082de
Compiled:          Thu Nov 1 17:33:23 PDT 2012 by jenkins from Unknown
Upgrades:         There are no upgrades in progress.
Cluster ID:         CID-1ba166bf-7d58-49d5-a3f7-a91fd5b569b1
Block Pool ID: BP-1977465138-192.168.12.235-1352944279653
 
Browse the filesystem
NameNode Logs
Cluster Summary
 
Security is OFF
9 files and directories, 2 blocks = 11 total.
Heap Memory used 21.89 MB is 49% of Commited Heap Memory 44.62 MB. Max Heap Memory is 888.94 MB.
Non Heap Memory used 33.39 MB is 95% of Commited Non Heap Memory 34.81 MB. Max Non Heap Memory is 130 MB.
 Configured Capacity     :      74.42 GB
 DFS Used         :      132 KB
 Non DFS Used          :      7.67 GB
 DFS Remaining        :      66.75 GB
 DFS Used%      :      0 %
 DFS Remaining%     :      89.7 %
 Block Pool Used       :      132 KB
 Block Pool Used% :       0 %
 DataNodes usages          :      Min %     Median %       Max %    stdev %
                  0 %          0 %          0 %          0 %
 Live Nodes     :      3 (Decommissioned: 0)
 Dead Nodes            :      0 (Decommissioned: 0)
 Decommissioning Nodes       :      0
 Number of Under-Replicated Blocks      :      0
 
NameNode Journal Status:
 
Current transaction ID: 319
Journal Manager      State
FileJournalManager(root=/data/hdfs/dfs/name)          EditLogFileOutputStream(/data/hdfs/dfs/name/current/edits_inprogress_0000000000000000319)
NameNode Storage:
 
Storage Directory     Type State
/data/hdfs/dfs/name        IMAGE_AND_EDITS         Active
Hadoop, 2012.
 
访问 http://192.168.12.239:50090/status.jsp
SecondaryNameNode
 
Version:    2.0.0-cdh4.1.2, f0b53c81cbf56f5955e403b49fcd27afd5f082de
Compiled:          Thu Nov 1 17:33:23 PDT 2012 by jenkins from Unknown
SecondaryNameNode Status
Name Node Address     : namenode01/192.168.12.235:9000
Start Time            : Fri Nov 16 07:43:46 CST 2012
Last Checkpoint Time : --
Checkpoint Period     : 3600 seconds
Checkpoint Size       : 39.06 KB (= 40000 bytes)
Checkpoint Dirs       : [file:///tmp/hadoop.tmp.dir/dfs/namesecondary]
Checkpoint Edits Dirs: [file:///tmp/hadoop.tmp.dir/dfs/namesecondary]
 
 
访问 http://192.168.12.240:50030/jobtracker.jsp
jobtracker01 Hadoop Map/Reduce Administration
 
Quick Links State: RUNNING
Started: Fri Nov 16 07:48:18 CST 2012
Version: 2.0.0-mr1-cdh4.1.2, Unknown
Compiled: Thu Nov 1 18:05:52 PDT 2012 by jenkins from Unknown
Identifier: 201211160748
Cluster Summary (Heap Size is 27.88 MB/888.94 MB)
 
Running Map Tasks Running Reduce Tasks     Total Submissions    Nodes       Occupied Map Slots          Occupied Reduce Slots         Reserved Map Slots         Reserved Reduce Slots    Map Task Capacity Reduce Task Capacity      Avg. Tasks/Node      Blacklisted Nodes       Excluded Nodes
0        0       0       3       0       0       0       0       6       6       4.00 0       0
 
Scheduling Information
 
Queue Name    State      Scheduling Information
default      running    N/A
Filter (Jobid, Priority, User, Name) 
Example: 'user:smith 3200' will filter by 'smith' only in the user field and '3200' in all fields
Running Jobs
 
none
Retired Jobs
 
none
Local Logs
 
Log directory, Job Tracker History
Hadoop, 2012.
 
访问
http://192.168.12.236:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/&nnaddr=namenode01:9000
Contents of directory /
 
Goto :
Name
Type
Size
Replication
Block Size
Modification Time
Permission
Owner
Group
mapred
dir
目录规划
Namenode目录：
file:///data/disk01/hdfs/name,file:///data/disk02/hdfs/name,file:///data/disk03/hdfs/name,file:///data/disk04/hdfs/name,file:///data/disk05/hdfs/name,file:///data/disk06/hdfs/name,file:///data/disk07/hdfs/name,file:///data/disk08/hdfs/name
Secondary namenode目录：
file:///data/disk01/hdfs/namesecondary,file:///data/disk02/hdfs/namesecondary,file:///data/disk03/hdfs/namesecondary,file:///data/disk04/hdfs/namesecondary,file:///data/disk05/hdfs/namesecondary,file:///data/disk06/hdfs/namesecondary,file:///data/disk07/hdfs/namesecondary,file:///data/disk08/hdfs/namesecondary
HDFS数据存储目录：
file:///data/disk01/hdfs/data,file:///data/disk02/hdfs/data,file:///data/disk03/hdfs/data,file:///data/disk04/hdfs/data,file:///data/disk05/hdfs/data,file:///data/disk06/hdfs/data,file:///data/disk07/hdfs/data,file:///data/disk08/hdfs/data
Mapred目录：
/data/disk01/mapred/local,/data/disk02/mapred/local,/data/disk03/mapred/local,/data/disk04/mapred/local,/data/disk05/mapred/local,/data/disk06/mapred/local,/data/disk07/mapred/local,/data/disk08/mapred/local
 
运维标准
1.       新上架服务器流程
a)         新上架服务器按照系统部标准上架流程操作。
b)         操作系统安装必须严格按照上述《安装手册》进行。
c)         Hadoop 环境部署交由hadoop 运维人员安装，禁止自行安装。
d)         每台datanode 和tasktracker 角色不允许分离。
e)         开发人员使用Hadoop 必须通过统一的登陆服务器运行job ，禁止跳转到集群服务器上运行JOB 。
2.       权限管理
a)         如果开发人员需要使用Hadoop 集群，必须填写申请单，经由部门负责人及相关负责人审核后，交由Hadoop 运维人员开通账号。
b)         告知用户登陆和使用方法。
c)         开通的帐户均在hdfs://user/<USERID> 下面为用户存储空间，可以自由存放数据。
d)         Hive 的存储数据仓库路径为/data/hive/warehouse/, 指定用户建立库则指定用户具备读写权限。
e)         需要修改权限请联系hadoop 运维人员。
 

你可能感兴趣的:(hadoop)

  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • Hadoop学习第三课（HDFS架构--读、写流程） 小小程序员呀~ 数据库hadoop架构bigdata
    1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
  • hadoop启动HDFS命令 m0_67401228 java搜索引擎linux后端
    启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
  • 【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现 程序员-石头山 大数据实战案例大数据hadoop毕业设计毕设
    博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
  • 分布式离线计算—Spark—基础介绍 测试开发abbey 人工智能—大数据
    原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
  • spark常用命令 我是浣熊的微笑 spark
    查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
  • spark启动命令 学不会又听不懂 spark大数据分布式
    hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • Hadoop常见面试题整理及解答 叶青舟 Linuxhdfs大数据hadooplinux
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
  • 2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购 计算机编程指导师 Java实战集Python实战集大数据实战集课程设计hadoop数据分析springbootjava进货python
    ✍✍计算机编程指导师⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
  • Hadoop Common 之序列化机制小解 猫君之上 #ApacheHadoop
    1.JavaSerializable序列化该序列化通过ObjectInputStream的readObject实现序列化，ObjectOutputStream的writeObject实现反序列化。这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。（序列化信息包括这个对象的类，类签名，类的所有静态，费静态成员的值，以及他们父类都要被写入）publ
  • 深入理解hadoop(一)----Common的实现----Configuration maoxiao_jsd 深入理解----hadoop
    属本人个人原创，转载请注明,希望对大家有帮助！！一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml");conf.addResource("core-site.xml");后者会覆盖前者中未final标记的相同配置项b
  • hadoop 0.22.0 部署笔记 weixin_33701564 大数据java运维
    为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！org.apache.hadoophadoop-com
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
  • 深入解析HDFS：定义、架构、原理、应用场景及常用命令 CloudJourney hdfs架构hadoop
    引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。本文将从HDFS的定义、架构、工作原理、应用场景以及常用命令等多个方面进行详细探讨，帮助读者全面深入地了解HDFS。1.HDFS的定义1.1什么是HDFSHDFS是Hadoop生态系统中的一个分布式文件系
  • Hadoop的搭建流程 lzhlizihang hadoop大数据分布式
    文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9、修改配置文件hadoop-en
  • hive搭建 -----内嵌模式和本地模式 lzhlizihang hivehadoop
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
  • Hadoop之mapreduce -- WrodCount案例以及各种概念 lzhlizihang hadoopmapreduce大数据
    文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
  • IAAS: IT公司去IOE-Alibaba系统构架解读 wishchin 心理学/职业BigDataMiniSparkPaaS
    从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现，阿里一直摸索在技术衍变的前沿。这里，我们将从架构、性能、运维等多个方面深入了解阿里基础设施。【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
  • ztree异步加载 3213213333332132 JavaScriptAjaxjsonWebztree
    相信新手用ztree的时候,对异步加载会有些困惑，我开始的时候也是看了API花了些时间才搞定了异步加载，在这里分享给大家。 我后台代码生成的是json格式的数据，数据大家按各自的需求生成，这里只给出前端的代码。 设置setting，这里只关注async属性的配置 var setting = { //异步加载配置
  • thirft rpc 具体调用流程 BlueSkator 中间件rpcthrift
    Thrift调用过程中，Thrift客户端和服务器之间主要用到传输层类、协议层类和处理类三个主要的核心类，这三个类的相互协作共同完成rpc的整个调用过程。在调用过程中将按照以下顺序进行协同工作：         （1）     将客户端程序调用的函数名和参数传递给协议层（TProtocol），协议
  • 异或运算推导, 交换数据 dcj3sjt126com PHP异或^
    /* * 5 0101 * 9 1010 * * 5 ^ 5 * 0101 * 0101 * ----- * 0000 * 得出第一个规律: 相同的数进行异或, 结果是0 * * 9 ^ 5 ^ 6 * 1010 * 0101 * ---- * 1111 * * 1111 * 0110 * ---- * 1001
  • 事件源对象 周华华 JavaScript
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • MySql配置及相关命令 g21121 mysql
            MySQL安装完毕后我们需要对它进行一些设置及性能优化，主要包括字符集设置，启动设置，连接优化，表优化，分区优化等等。           一 修改MySQL密码及用户      
  • [简单]poi删除excel 2007超链接 53873039oycg Excel
          采用解析sheet.xml方式删除超链接，缺点是要打开文件2次,代码如下:      public void removeExcel2007AllHyperLink(String filePath) throws Exception { OPCPackage ocPkg = OPCPac
  • Struts2添加 open flash chart 云端月影
    准备以下开源项目： 1. Struts 2.1.6 2. Open Flash Chart 2 Version 2 Lug Wyrm Charmer (28th, July 2009) 3. jofc2，这东西不知道是没做好还是什么意思，好像和ofc2不怎么匹配，最好下源码，有什么问题直接改。 4. log4j 用eclipse新建动态网站，取名OFC2Demo，将Struts2 l
  • spring包详解 aijuans spring
    下载的spring包中文件及各种包众多，在项目中往往只有部分是我们必须的，如果不清楚什么时候需要什么包的话，看看下面就知道了。 aspectj目录下是在Spring框架下使用aspectj的源代码和测试程序文件。Aspectj是java最早的提供AOP的应用框架。 dist 目录下是Spring 的发布包，关于发布包下面会详细进行说明。 docs&nb
  • 网站推广之seo概念 antonyup_2006 算法Web应用服务器搜索引擎Google
       持续开发一年多的b2c网站终于在08年10月23日上线了。作为开发人员的我在修改bug的同时，准备了解下网站的推广分析策略。     所谓网站推广，目的在于让尽可能多的潜在用户了解并访问网站，通过网站获得有关产品和服务等信息，为最终形成购买决策提供支持。     网站推广策略有很多，seo，email，adv
  • 单例模式,sql注入,序列 百合不是茶 单例模式序列sql注入预编译
      序列在前面写过有关的博客,也有过总结,但是今天在做一个JDBC操作数据库的相关内容时 需要使用序列创建一个自增长的字段  居然不会了,所以将序列写在本篇的前面    1,序列是一个保存数据连续的增长的一种方式; 序列的创建; CREATE SEQUENCE seq_pro 2 INCREMENT BY 1 -- 每次加几个 3
  • Mockito单元测试实例 bijian1013 单元测试mockito
    Mockito单元测试实例： public class SettingServiceTest { private List<PersonDTO> personList = new ArrayList<PersonDTO>(); @InjectMocks private SettingPojoService settin
  • 精通Oracle10编程SQL(9)使用游标 bijian1013 oracle数据库plsql
    /* *使用游标 */ --显示游标 --在显式游标中使用FETCH...INTO语句 DECLARE CURSOR emp_cursor is select ename,sal from emp where deptno=1; v_ename emp.ename%TYPE; v_sal emp.sal%TYPE; begin ope
  • 【Java语言】动态代理 bit1129 java语言
      JDK接口动态代理 JDK自带的动态代理通过动态的根据接口生成字节码(实现接口的一个具体类)的方式，为接口的实现类提供代理。被代理的对象和代理对象通过InvocationHandler建立关联   package com.tom; import com.tom.model.User; import com.tom.service.IUserService;
  • Java通信之URL通信基础 白糖_ javajdkwebservice网络协议ITeye
    java对网络通信以及提供了比较全面的jdk支持，java.net包能让程序员直接在程序中实现网络通信。 在技术日新月异的现在，我们能通过很多方式实现数据通信，比如webservice、url通信、socket通信等等，今天简单介绍下URL通信。 学习准备：建议首先学习java的IO基础知识   URL是统一资源定位器的简写，URL可以访问Internet和www，可以通过url
  • 博弈Java讲义 - Java线程同步 (1) boyitech java多线程同步锁
      在并发编程中经常会碰到多个执行线程共享资源的问题。例如多个线程同时读写文件，共用数据库连接，全局的计数器等。如果不处理好多线程之间的同步问题很容易引起状态不一致或者其他的错误。    同步不仅可以阻止一个线程看到对象处于不一致的状态，它还可以保证进入同步方法或者块的每个线程，都看到由同一锁保护的之前所有的修改结果。处理同步的关键就是要正确的识别临界条件（cri
  • java-给定字符串，删除开始和结尾处的空格，并将中间的多个连续的空格合并成一个。 bylijinnan java
    public class DeleteExtraSpace { /** * 题目：给定字符串，删除开始和结尾处的空格，并将中间的多个连续的空格合并成一个。 * 方法1.用已有的String类的trim和replaceAll方法 * 方法2.全部用正则表达式，这个我不熟 * 方法3.“重新发明轮子”，从头遍历一次 */ public static v
  • An error has occurred.See the log file错误解决！ Kai_Ge MyEclipse
    今天早上打开MyEclipse时，自动关闭！弹出An error has occurred.See the log file错误提示！ 很郁闷昨天启动和关闭还好着！！！打开几次依然报此错误，确定不是眼花了！ 打开日志文件！找到当日错误文件内容： --------------------------------------------------------------------------
  • [矿业与工业]修建一个空间矿床开采站要多少钱? comsci
           地球上的钛金属矿藏已经接近枯竭...........        我们在冥王星的一颗卫星上面发现一些具有开采价值的矿床.....        那么,现在要编制一个预算,提交给财政部门..
  • 解析Google Map Routes dai_lm google api
    为了获得从A点到B点的路劲，经常会使用Google提供的API，例如 [url] http://maps.googleapis.com/maps/api/directions/json?origin=40.7144,-74.0060&destination=47.6063,-122.3204&sensor=false [/url] 从返回的结果上，大致可以了解应该怎么走，但
  • SQL还有多少“理所应当”？ datamachine sql
    转贴存档，原帖地址：http://blog.chinaunix.net/uid-29242841-id-3968998.html、http://blog.chinaunix.net/uid-29242841-id-3971046.html！ ------------------------------------华丽的分割线--------------------------------
  • Yii使用Ajax验证时，如何设置某些字段不需要验证 dcj3sjt126com Ajaxyii
    经常像你注册页面,你可能非常希望只需要Ajax去验证用户名和Email,而不需要使用Ajax再去验证密码,默认如果你使用Yii 内置的ajax验证Form,例如: $form=$this->beginWidget('CActiveForm', array(        'id'=>'usuario-form',&
  • 使用git同步网站代码 dcj3sjt126com crontabgit
    转自:http://ued.ctrip.com/blog/?p=3646?tn=gongxinjun.com   管理一网站，最开始使用的虚拟空间，采用提供商支持的ftp上传网站文件，后换用vps，vps可以自己搭建ftp的，但是懒得搞，直接使用scp传输文件到服务器，现在需要更新文件到服务器，使用scp真的很烦。发现本人就职的公司，采用的git+rsync的方式来管理、同步代码，遂
  • sql基本操作 蕃薯耀 sqlsql基本操作sql常用操作
    sql基本操作 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年6月1日 17:30:33 星期一     &
  • Spring4+Hibernate4+Atomikos3.3多数据源事务管理 hanqunfeng Hibernate4
    Spring3+后不再对JTOM提供支持，所以可以改用Atomikos管理多数据源事务。Spring2.5+Hibernate3+JTOM参考：http://hanqunfeng.iteye.com/blog/1554251Atomikos官网网站：http://www.atomikos.com/   一.pom.xml <dependency> <
  • jquery中两个值得注意的方法one()和trigger()方法 jackyrong trigger
      在jquery中，有两个值得注意但容易忽视的方法，分别是one()方法和trigger()方法,这是从国内作者<<jquery权威指南》一书中看到不错的介绍 1） one方法     one方法的功能是让所选定的元素绑定一个仅触发一次的处理函数，格式为    one(type,${data},fn) &nb
  • 拿工资不仅仅是让你写代码的 lampcy 工作面试咨询
    这是我对团队每个新进员工说的第一件事情。这句话的意思是，我并不关心你是如何快速完成任务的，哪怕代码很差，只要它像救生艇通气门一样管用就行。这句话也是我最喜欢的座右铭之一。 这个说法其实很合理：我们的工作是思考客户提出的问题，然后制定解决方案。思考第一，代码第二，公司请我们的最终目的不是写代码，而是想出解决方案。 话粗理不粗。 付你薪水不是让你来思考的，也不是让你来写代码的，你的目的是交付产品
  • 架构师之对象操作----------对象的效率复制和判断是否全为空 nannan408 架构师
    1.前言。   如题。 2.代码。 (1)对象的复制，比spring的beanCopier在大并发下效率要高，利用net.sf.cglib.beans.BeanCopier Src src=new Src(); BeanCopier beanCopier = BeanCopier.create(Src.class, Des.class, false);
  • ajax 被缓存的解决方案 Rainbow702 JavaScriptjqueryAjaxcache缓存
    使用jquery的ajax来发送请求进行局部刷新画面，各位可能都做过。 今天碰到一个奇怪的现象，就是，同一个ajax请求，在chrome中，不论发送多少次，都可以发送至服务器端，而不会被缓存。但是，换成在IE下的时候，发现，同一个ajax请求，会发生被缓存的情况，只有第一次才会被发送至服务器端，之后的不会再被发送。郁闷。 解决方法如下： ① 直接使用 JQuery提供的 “cache”参数，
  • 修改date.toLocaleString()的警告 tntxia String
      我们在写程序的时候，经常要查看时间，所以我们经常会用到date.toLocaleString()，但是date.toLocaleString()是一个过时 的API，代替的方法如下：   package com.tntxia.htmlmaker.util; import java.text.SimpleDateFormat; import java.util.
  • 项目完成后的小总结 xiaomiya js总结项目
    项目完成了，突然想做个总结但是有点无从下手了。 做之前对于客户端给的接口很模式。然而定义好了格式要求就如此的愉快了。 先说说项目主要实现的功能吧 1，按键精灵 2，获取行情数据 3，各种input输入条件判断 4，发送数据（有json格式和string格式） 5，获取预警条件列表和预警结果列表， 6，排序， 7，预警结果分页获取 8，导出文件（excel，text等） 9，修
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他