修行修心

Ubuntu 下，Hadoop 单机伪分布式部署

安装Java

https://blog.csdn.net/yitengtongweishi/article/details/81946349

配置ssh

https://blog.csdn.net/yitengtongweishi/article/details/81946083

安装Hadoop

Hadoop Releases
单击上述链接，下载需要的版本。笔者选择的是 hadoop-2.6.5.tar.gz 和 hadoop-2.6.5.tar.gz.mds。
校验下载的Hadoop 压缩文件

blockchain@Dao:~$ md5sum Downloads/hadoop-2.6.5.tar.gz
967c24f3c15fcdd058f34923e92ce8ac  Downloads/hadoop-2.6.5.tar.gz
blockchain@Dao:~$ 
blockchain@Dao:~$ cat Downloads/hadoop-2.6.5.tar.gz.mds 
hadoop-2.6.5.tar.gz:    MD5 = 96 7C 24 F3 C1 5F CD D0  58 F3 49 23 E9 2C E8 AC
hadoop-2.6.5.tar.gz:   SHA1 = 877B FD6E 3577 3E4B 9021  53BD BD89 877B F360 5BA4
hadoop-2.6.5.tar.gz: RMD160 = 1F4D 4D66 26D4 ED7F 0F90  45D6 ADF8 5314 6C80 112C
hadoop-2.6.5.tar.gz: SHA224 = F187156E B23AA6D6 6BAD2788 4EB0480C 006732D3
                              E6EF3033 093750CF
hadoop-2.6.5.tar.gz: SHA256 = 001AD18D 4B6D0FE5 42B15DDA DBA2D092 BC97DF1C
                              4D2D7973 81C8D128 87691898
hadoop-2.6.5.tar.gz: SHA384 = 9B4B0CAE AD744C17 62660C76 11EEB503 B0F04ED6
                              6CF54B45 1196D68F 3129369E 04279893 B63A7799
                              AE45CA9D 3ECE13F9
hadoop-2.6.5.tar.gz: SHA512 = FD9D2415 5BB18475 C25BC6A8 8284A696 224D5EF3
                              8503C5C3 F1D4C0B6 5AE1C552 D90D2136 CA0FA452
                              94D62204 EED3D115 4785C12C C260CCA4 2EA2FBF0
                              27B461B2
blockchain@Dao:~$

校验成功后，解压 Hadoop 压缩文件

blockchain@Dao:~$ tar -zxvf Downloads/hadoop-2.6.5.tar.gz -C ~

修改文件夹属性，避免恼人的权限问题

blockchain@Dao:~$ sudo chown blockchain:blockchain -R /home/blockchain/hadoop-2.6.5/

编辑 ~/.bashrc ，在文件末尾添加

#Hadoop
export HADOOP_HOME=$HOME/hadoop-2.6.5
export PATH=$PATH:${HADOOP_HOME}/bin

使配置立即生效

blockchain@Dao:~$ source ~/.bashrc

切换至 ${HADOOP_HOME}/etc/hadoop 目录，

blockchain@Dao:~/hadoop-2.6.5/etc/hadoop$ cd /home/blockchain/hadoop-2.6.5/etc/hadoop/ ; ls -lt
total 152
-rw-rw-r-- 1 blockchain blockchain  4436 10月  3  2016 capacity-scheduler.xml
-rw-rw-r-- 1 blockchain blockchain  1335 10月  3  2016 configuration.xsl
-rw-rw-r-- 1 blockchain blockchain   318 10月  3  2016 container-executor.cfg
-rw-rw-r-- 1 blockchain blockchain   775 10月  3  2016 hdfs-site.xml
-rw-rw-r-- 1 blockchain blockchain  1449 10月  3  2016 httpfs-env.sh
-rw-rw-r-- 1 blockchain blockchain  1657 10月  3  2016 httpfs-log4j.properties
-rw-rw-r-- 1 blockchain blockchain    21 10月  3  2016 httpfs-signature.secret
-rw-rw-r-- 1 blockchain blockchain   620 10月  3  2016 httpfs-site.xml
-rw-rw-r-- 1 blockchain blockchain  3523 10月  3  2016 kms-acls.xml
-rw-rw-r-- 1 blockchain blockchain  1325 10月  3  2016 kms-env.sh
-rw-rw-r-- 1 blockchain blockchain  1631 10月  3  2016 kms-log4j.properties
-rw-rw-r-- 1 blockchain blockchain  5511 10月  3  2016 kms-site.xml
-rw-rw-r-- 1 blockchain blockchain   938 10月  3  2016 mapred-env.cmd
-rw-rw-r-- 1 blockchain blockchain  1383 10月  3  2016 mapred-env.sh
-rw-rw-r-- 1 blockchain blockchain  4113 10月  3  2016 mapred-queues.xml.template
-rw-rw-r-- 1 blockchain blockchain   758 10月  3  2016 mapred-site.xml.template
-rw-rw-r-- 1 blockchain blockchain    10 10月  3  2016 slaves
-rw-rw-r-- 1 blockchain blockchain  2237 10月  3  2016 yarn-env.cmd
-rw-rw-r-- 1 blockchain blockchain  4567 10月  3  2016 yarn-env.sh
-rw-rw-r-- 1 blockchain blockchain   690 10月  3  2016 yarn-site.xml
-rw-rw-r-- 1 blockchain blockchain   774 10月  3  2016 core-site.xml
-rw-rw-r-- 1 blockchain blockchain  3670 10月  3  2016 hadoop-env.cmd
-rw-rw-r-- 1 blockchain blockchain  4224 10月  3  2016 hadoop-env.sh
-rw-rw-r-- 1 blockchain blockchain  2598 10月  3  2016 hadoop-metrics2.properties
-rw-rw-r-- 1 blockchain blockchain  2490 10月  3  2016 hadoop-metrics.properties
-rw-rw-r-- 1 blockchain blockchain  9683 10月  3  2016 hadoop-policy.xml
-rw-rw-r-- 1 blockchain blockchain 11291 10月  3  2016 log4j.properties
-rw-rw-r-- 1 blockchain blockchain  2316 10月  3  2016 ssl-client.xml.example
-rw-rw-r-- 1 blockchain blockchain  2268 10月  3  2016 ssl-server.xml.example
blockchain@Dao:~/hadoop-2.6.5/etc/hadoop$

修改 hadoop-env.sh 中的部分内容：

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=${HOME}/jdk1.8.0_181

修改配置文件 core-site.xml，修改后的内容如下：


        
             hadoop.tmp.dir
             file:/home/blockchain/hadoop-2.6.5/tmp
             Abase for other temporary directories.
        
        
             fs.defaultFS
             hdfs://localhost:9000

修改配置文件 hdfs-site.xml，修改后的内容如下：


        
             dfs.replication
             1
        
        
             dfs.namenode.name.dir
             file:/home/blockchain/hadoop-2.6.5/tmp/dfs/name
        
        
             dfs.datanode.data.dir
             file:/home/blockchain/hadoop-2.6.5/tmp/dfs/data

复制 mapred-site.xml.template 为 mapred-site.xml，修改配置文件 mapred-site.xml，修改后的内容如下：


        
             mapreduce.framework.name
             yarn

修改配置文件 yarn-site.xml，修改后的内容如下：


        
             yarn.nodemanager.aux-services
             mapreduce_shuffle

格式化 NameNode

blockchain@Dao:~/hadoop-2.6.5$ ./bin/hdfs namenode -format
18/08/22 15:03:32 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = Dao/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.6.5
STARTUP_MSG:   classpath = /home/blockchain/hadoop-2.6.5/etc/hadoop:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jets3t-0.9.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/curator-framework-2.6.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/curator-client-2.6.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/hamcrest-core-1.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-net-3.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-codec-1.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-beanutils-1.7.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/mockito-all-1.8.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/guava-11.0.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/asm-3.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jersey-json-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jasper-runtime-5.5.23.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jettison-1.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-compress-1.4.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/activation-1.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jasper-compiler-5.5.23.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/apacheds-i18n-2.0.0-M15.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/servlet-api-2.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/apacheds-kerberos-codec-2.0.0-M15.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/api-asn1-api-1.0.0-M20.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jetty-util-6.1.26.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jersey-core-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/stax-api-1.0-2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/httpclient-4.2.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-io-2.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jackson-jaxrs-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/avro-1.7.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/hadoop-auth-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/httpcore-4.2.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/log4j-1.2.17.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/zookeeper-3.4.6.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/htrace-core-3.0.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-math3-3.1.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jaxb-impl-2.2.3-1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jackson-mapper-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/xmlenc-0.52.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/netty-3.6.2.Final.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/slf4j-api-1.7.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jackson-core-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jsp-api-2.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-el-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-beanutils-core-1.8.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/api-util-1.0.0-M20.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-digester-1.8.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/gson-2.2.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jetty-6.1.26.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jsr305-1.3.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jersey-server-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/hadoop-annotations-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-logging-1.1.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/xz-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jackson-xc-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/java-xmlbuilder-0.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-lang-2.6.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/protobuf-java-2.5.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-cli-1.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-collections-3.2.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/junit-4.11.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-configuration-1.6.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/paranamer-2.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jaxb-api-2.2.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/jsch-0.1.42.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/snappy-java-1.0.4.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/curator-recipes-2.6.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/lib/commons-httpclient-3.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/hadoop-common-2.6.5-tests.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/hadoop-common-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/common/hadoop-nfs-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-codec-1.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/guava-11.0.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/asm-3.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jasper-runtime-5.5.23.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/servlet-api-2.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jetty-util-6.1.26.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jersey-core-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-daemon-1.0.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-io-2.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/log4j-1.2.17.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/xml-apis-1.3.04.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/htrace-core-3.0.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jackson-mapper-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/xmlenc-0.52.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/netty-3.6.2.Final.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jackson-core-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jsp-api-2.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-el-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jetty-6.1.26.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jsr305-1.3.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/jersey-server-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-logging-1.1.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-lang-2.6.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/protobuf-java-2.5.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-cli-1.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/lib/xercesImpl-2.9.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/hadoop-hdfs-2.6.5-tests.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/hadoop-hdfs-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/hdfs/hadoop-hdfs-nfs-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-codec-1.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/guava-11.0.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/asm-3.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-json-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jettison-1.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-compress-1.4.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/activation-1.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/servlet-api-2.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/javax.inject-1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jetty-util-6.1.26.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-core-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/stax-api-1.0-2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/guice-3.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-io-2.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-jaxrs-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/leveldbjni-all-1.8.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-guice-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/log4j-1.2.17.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/zookeeper-3.4.6.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jaxb-impl-2.2.3-1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-mapper-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/netty-3.6.2.Final.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-core-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jetty-6.1.26.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jsr305-1.3.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-server-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-logging-1.1.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/xz-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jline-0.9.94.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/guice-servlet-3.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-xc-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-lang-2.6.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/protobuf-java-2.5.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-cli-1.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-collections-3.2.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-client-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/jaxb-api-2.2.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/aopalliance-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/lib/commons-httpclient-3.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-applications-unmanaged-am-launcher-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-api-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-registry-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-common-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-web-proxy-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-common-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-client-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-tests-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-nodemanager-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/hamcrest-core-1.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/asm-3.2.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/commons-compress-1.4.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/javax.inject-1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/jersey-core-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/guice-3.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/commons-io-2.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/avro-1.7.4.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/leveldbjni-all-1.8.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/jersey-guice-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/log4j-1.2.17.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/jackson-mapper-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/netty-3.6.2.Final.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/jackson-core-asl-1.9.13.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/jersey-server-1.9.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/hadoop-annotations-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/xz-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/guice-servlet-3.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/protobuf-java-2.5.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/junit-4.11.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/paranamer-2.3.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/snappy-java-1.0.4.1.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/lib/aopalliance-1.0.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-app-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-2.6.5.jar:/home/blockchain/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.5-tests.jar:/home/blockchain/hadoop-2.6.5/contrib/capacity-scheduler/*.jar
STARTUP_MSG:   build = https://github.com/apache/hadoop.git -r e8c9fe0b4c252caf2ebf1464220599650f119997; compiled by 'sjlee' on 2016-10-02T23:43Z
STARTUP_MSG:   java = 1.8.0_181
************************************************************/
18/08/22 15:03:32 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]
18/08/22 15:03:32 INFO namenode.NameNode: createNameNode [-format]
Formatting using clusterid: CID-d056b431-2295-41c3-af5f-af2fbf88bf79
18/08/22 15:03:34 INFO namenode.FSNamesystem: No KeyProvider found.
18/08/22 15:03:34 INFO namenode.FSNamesystem: fsLock is fair:true
18/08/22 15:03:34 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000
18/08/22 15:03:34 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true
18/08/22 15:03:34 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000
18/08/22 15:03:34 INFO blockmanagement.BlockManager: The block deletion will start around 2018 Aug 22 15:03:34
18/08/22 15:03:34 INFO util.GSet: Computing capacity for map BlocksMap
18/08/22 15:03:34 INFO util.GSet: VM type       = 64-bit
18/08/22 15:03:34 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB
18/08/22 15:03:34 INFO util.GSet: capacity      = 2^21 = 2097152 entries
18/08/22 15:03:34 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false
18/08/22 15:03:34 INFO blockmanagement.BlockManager: defaultReplication         = 1
18/08/22 15:03:34 INFO blockmanagement.BlockManager: maxReplication             = 512
18/08/22 15:03:34 INFO blockmanagement.BlockManager: minReplication             = 1
18/08/22 15:03:34 INFO blockmanagement.BlockManager: maxReplicationStreams      = 2
18/08/22 15:03:34 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000
18/08/22 15:03:34 INFO blockmanagement.BlockManager: encryptDataTransfer        = false
18/08/22 15:03:34 INFO blockmanagement.BlockManager: maxNumBlocksToLog          = 1000
18/08/22 15:03:34 INFO namenode.FSNamesystem: fsOwner             = blockchain (auth:SIMPLE)
18/08/22 15:03:34 INFO namenode.FSNamesystem: supergroup          = supergroup
18/08/22 15:03:34 INFO namenode.FSNamesystem: isPermissionEnabled = true
18/08/22 15:03:34 INFO namenode.FSNamesystem: HA Enabled: false
18/08/22 15:03:34 INFO namenode.FSNamesystem: Append Enabled: true
18/08/22 15:03:35 INFO util.GSet: Computing capacity for map INodeMap
18/08/22 15:03:35 INFO util.GSet: VM type       = 64-bit
18/08/22 15:03:35 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB
18/08/22 15:03:35 INFO util.GSet: capacity      = 2^20 = 1048576 entries
18/08/22 15:03:35 INFO namenode.NameNode: Caching file names occuring more than 10 times
18/08/22 15:03:35 INFO util.GSet: Computing capacity for map cachedBlocks
18/08/22 15:03:35 INFO util.GSet: VM type       = 64-bit
18/08/22 15:03:35 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB
18/08/22 15:03:35 INFO util.GSet: capacity      = 2^18 = 262144 entries
18/08/22 15:03:35 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033
18/08/22 15:03:35 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
18/08/22 15:03:35 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension     = 30000
18/08/22 15:03:35 INFO namenode.FSNamesystem: Retry cache on namenode is enabled
18/08/22 15:03:35 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis
18/08/22 15:03:35 INFO util.GSet: Computing capacity for map NameNodeRetryCache
18/08/22 15:03:35 INFO util.GSet: VM type       = 64-bit
18/08/22 15:03:35 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
18/08/22 15:03:35 INFO util.GSet: capacity      = 2^15 = 32768 entries
18/08/22 15:03:35 INFO namenode.NNConf: ACLs enabled? false
18/08/22 15:03:35 INFO namenode.NNConf: XAttrs enabled? true
18/08/22 15:03:35 INFO namenode.NNConf: Maximum size of an xattr: 16384
18/08/22 15:03:35 INFO namenode.FSImage: Allocated new BlockPoolId: BP-2092028299-127.0.1.1-1534921415736
18/08/22 15:03:36 INFO common.Storage: Storage directory /home/blockchain/hadoop-2.6.5/tmp/dfs/name has been successfully formatted.
18/08/22 15:03:36 INFO namenode.FSImageFormatProtobuf: Saving image file /home/blockchain/hadoop-2.6.5/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
18/08/22 15:03:36 INFO namenode.FSImageFormatProtobuf: Image file /home/blockchain/hadoop-2.6.5/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 327 bytes saved in 0 seconds.
18/08/22 15:03:36 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
18/08/22 15:03:36 INFO util.ExitUtil: Exiting with status 0
18/08/22 15:03:36 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Dao/127.0.1.1
************************************************************/
blockchain@Dao:~/hadoop-2.6.5$

启动 HDFS

blockchain@Dao:~/hadoop-2.6.5$ ./sbin/start-dfs.sh
Starting namenodes on [localhost]
localhost: starting namenode, logging to /home/blockchain/hadoop-2.6.5/logs/hadoop-blockchain-namenode-Dao.out
localhost: starting datanode, logging to /home/blockchain/hadoop-2.6.5/logs/hadoop-blockchain-datanode-Dao.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/blockchain/hadoop-2.6.5/logs/hadoop-blockchain-secondarynamenode-Dao.out
blockchain@Dao:~/hadoop-2.6.5$ jps
10996 NameNode
11337 SecondaryNameNode
11147 DataNode
11469 Jps
blockchain@Dao:~/hadoop-2.6.5$

启动 YARN

blockchain@Dao:~/hadoop-2.6.5$ ./sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /home/blockchain/hadoop-2.6.5/logs/yarn-blockchain-resourcemanager-Dao.out
localhost: starting nodemanager, logging to /home/blockchain/hadoop-2.6.5/logs/yarn-blockchain-nodemanager-Dao.out
blockchain@Dao:~/hadoop-2.6.5$ jps
11571 ResourceManager
11700 NodeManager
10996 NameNode
11337 SecondaryNameNode
12009 Jps
11147 DataNode
blockchain@Dao:~/hadoop-2.6.5$

启动历史服务器，才能在网页中查看任务运行情况

blockchain@Dao:~/hadoop-2.6.5$ ./sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /home/blockchain/hadoop-2.6.5/logs/mapred-blockchain-historyserver-Dao.out
blockchain@Dao:~/hadoop-2.6.5$ jps
11571 ResourceManager
11700 NodeManager
10996 NameNode
11337 SecondaryNameNode
11147 DataNode
12075 JobHistoryServer
12126 Jps
blockchain@Dao:~/hadoop-2.6.5$

来一个 wordcount 实例

./bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output

你可能感兴趣的:(HBase,Hive,Hadoop)

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
浅谈MapReduce Android路上的人 Hadoop 分布式计算 mapreduce 分布式框架 hadoop
从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Hadoop 傲雪凌霜，松柏长青后端大数据 hadoop 大数据分布式
ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
Presto【基础 01】简介+架构+数据源+数据模型 2401_84254343 程序员架构
一个Catalog包含Schema和Connector。例如，配置JMX的Catalog，通过JXMConnector访问JXM信息。当执行一条SQL语句时，可以同时运行在多个Catalog。Presto处理table时，是通过表的完全限定（fully-qualified）名来找到Catalog。例如，一个表的权限定名是hive.test_data.test，则test是表名，test_data是
hbase介绍 CrazyL- 云计算+大数据 hbase
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
Apache HBase基础（基本概述，物理架构，逻辑架构，数据管理，架构特点，HBase Shell） May--J--Oldhu HBase HBase shell hbase物理架构 hbase逻辑架构 hbase
NoSQL综述及ApacheHBase基础一.HBase1.HBase概述2.HBase发展历史3.HBase应用场景3.1增量数据-时间序列数据3.2信息交换-消息传递3.3内容服务-Web后端应用程序3.4HBase应用场景示例4.ApacheHBase生态圈5.HBase物理架构5.1HMaster5.2RegionServer5.3Region和Table6.HBase逻辑架构-Row7.
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
Spark集群的三种模式 MelodyYN #Spark spark hadoop big data
文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线「已注销」个人总结 hadoop
一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
HBase（一）——HBase介绍 weixin_30595035 大数据数据库数据结构与算法
HBase介绍1、关系型数据库与非关系型数据库（1）关系型数据库关系型数据库最典型的数据机构是表，由二维表及其之间的联系所组成的一个数据组织优点：1、易于维护：都是使用表结构，格式一致2、使用方便：SQL语言通用，可用于复杂查询3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询缺点：1、读写性能比较差，尤其是海量数据的高效率读写2、固定的表结构，灵活度稍欠3、高并发读写需求，传统关
HBase介绍 mingyu1016 数据库
概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
大数据之flink与hive 星辰_mya 大数据 flink hive
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
Java中的大数据处理框架对比分析省赚客app开发者 java 开发语言
Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
hive血缘关系之输入表与目标表的解析 zxfBdd hive 大数据治理大数据
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
Hadoop windows intelij 跑 MR WordCount piziyang12138
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
初级练习[3]:Hive SQL子查询应用大数据深度洞察 Hive hive sql hadoop 数据仓库大数据数据库
目录环境准备看如下链接子查询查询所有课程成绩均小于60分的学生的学号、姓名查询没有学全所有课的学生的学号、姓名解释：没有学全所有课，也就是该学生选修的课程数<总的课程数。查询出只选修了三门课程的全部学生的学号和姓名环境准备看如下链接环境准备https://blog.csdn.net/qq_45115959/article/details/142057624?spm=1001.2014.3001.5
Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略 promise524 Linux linux 运维服务器后端 bash shell
在Linux中，下载各种格式的压缩包（如.tar.gz、.zip、.tar.bz2等）通常使用命令行工具如wget和curl。1.使用wget下载压缩包wget是Linux中最常用的文件下载工具，支持HTTP、HTTPS、FTP等协议，可以直接从命令行下载文件。基本命令：wget[URL]下载.tar.gz文件wgethttps://test.com/archive.tar.gz此命令将从指定的U
Hbase - 迁移数据[导出,导入] kikiki5
>有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作。![](https://upload-images.jianshu.io/upload_images/9028759-4fb9aa8ca3777969.png?imageMogr2/auto
通过DBeaver连接Phoenix操作hbase 不想做咸鱼的王富贵
通过DBeaver连接Phoenix操作hbase前言本文介绍常用一种通用数据库工具Dbeaver，DBeaver可通过JDBC连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、SQLServer、Sybase、MSAccess、Teradata、Firebird、Derby等等。商业版本更是可以支持各种NoSQ
Anaconda版本和Python版本对应关系纬领网络 python anaconda3
官网下载地址：https://repo.anaconda.com/archive/下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/anaconda3版本基础python版本Anaconda3-2024.06-1Python3.12.4Anaconda3-2024.02-1Python3.11.7Anaconda3-2023.09
Hbase - kerberos认证异常 kikiki2
之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.KrbTg
Hadoop学习第三课（HDFS架构--读、写流程）小小程序员呀~ 数据库 hadoop 架构 big data
1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
hadoop启动HDFS命令 m0_67401228 java 搜索引擎 linux 后端
启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
R语言包AMORE安装报错问题以及RStudio与Rtools环境配置卡卡_R-Python R语言数据分析与可视化 r语言开发语言
在使用R语言进行AMORE安装时会遇到报错，这时候需要采用解决办法：'''AMORE包安装，需要离线官网下载安装包：Indexof/src/contrib/Archive/AMORE(r-project.org)https://cran.r-project.org/src/contrib/Archive/AMORE/一、出现的问题最近开始学习R语言，安装了最新版的R4.4.1和RStudio，但安
中级练习[3]：Hive SQL用户行为与商品销售数据分析大数据深度洞察 Hive hive 数据仓库大数据 sql
目录1.用户累计消费金额及VIP等级查询1.1题目需求1.2代码实现2.首次下单后第二天连续下单的用户比率查询2.1题目需求2.2代码实现3.每个商品销售首年的年份、销售数量和销售金额统计3.1题目需求3.2代码实现1.用户累计消费金额及VIP等级查询1.1题目需求从订单信息表(order_info)中统计每个用户截止其每个下单日期的累积消费金额，以及每个用户在其每个下单日期的VIP等级。VIP等
Python基础知识进阶之正则表达式_头歌python正则表达式进阶前端陈萨龙程序员 python 学习面试
最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现程序员-石头山大数据实战案例大数据 hadoop 毕业设计毕设
博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
分布式离线计算—Spark—基础介绍测试开发abbey 人工智能—大数据
原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
html页面js获取参数值 0624chenhong html
1.js获取参数值js function GetQueryString(name) { var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)"); var r = windo
MongoDB 在多线程高并发下的问题 BigCat2013 mongodb DB 高并发重复数据
最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫展，重复去看 MongoDB 的 API , 终于有了新发现： com.mongodb.DB 这个类有
c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构 C++
#include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
最近情况麦田的设计者感慨考试生活
在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。
linux系统中用pkill踢出在线登录用户被触发 linux
由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who 查出当前有那些终端登录（用 w 命令更详细） # who root pts/0 2010-10-28 09:36 (192
仿QQ聊天第二版肆无忌惮_ qq
在第一版之上的改进内容: 第一版链接: http://479001499.iteye.com/admin/blogs/2100893 用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑. 信息修改后上传至服务器再告诉所有用户,自己的窗口
java读取配置文件知了ing
1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
__attribute__ 你知多少？矮蛋蛋 C++gcc
原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
jsoup使用笔记 alleni123 java 爬虫 JSoup
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
JAVA中的集合 Collectio 和Map的简单使用及方法百合不是茶 list map set
List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念： Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
杀LINUX的JOB进程 bijian1013 linux unix
今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉系统环境： ORACLE 10G Linux操作系统操作步骤如下：第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
Spring AOP详解 bijian1013 java spring AOP
最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
[Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
TypeAdapter的使用动机 Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。以Date为例，在序列化和反序列化时，Gson默认使用java.
【spark八十七】给定Driver Program，如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
nginx 经验总结 ronin47 nginx 总结
　　　深感nginx的强大，只学了皮毛，把学下的记录。　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）获取body,通过接口，再展开，根据Ｋ取Ｖ　　　获取uri,以$arg_XX &n
轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
Netty源码学习-Java-NIO-Reactor bylijinnan java 多线程 netty
Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
AOP通俗理解 cngolon spring AOP
1.我所知道的aop 初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而已。 2.为什么用aop&nb
cursor variable 实例 ctrain variable
create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
shell报bash: service: command not found解决方法 daizj linux shell service jps
今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式 PHP 正则表达式 oop
你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
Android逐帧动画的实现 dcj3sjt126com android
一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
java远程调用linux的命令或者脚本 eksliang linux ganymed-ssh2
转载请出自出处： http://eksliang.iteye.com/blog/2105862 Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar) 使用步骤如下： 1.导包官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
adb端口被占用问题 gqdy365 adb
最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。一个比较彻底的解决办法就是修改
ASP.NET使用FileUpload上传文件 hvt .net C#hovertree asp.net webform
前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上传" />
代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜 IEEE
在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说，一点都不简单。单单是说明 IEEE浮点数就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。一次面试记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试，多年以后，他已经称为了一名很出色的
数据结构随记_1 lx.asymmetric 数据结构笔记
第一章 1.数据结构包括数据的逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是顺序存储、链式存储、索引存储和散列存储。 3.数据运算最常用的有五种，分别是查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：输入、输出、可行性、确定性和有穷性。 5.算法分析的
linux的会话和进程组网络接口 linux
会话：一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
二维数组元素的连续求解 1140566087 二维数组 ACM
import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
也谈什么时候Java比C++快 windshome java C++
刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C