记忆是夏天
记忆是夏天

Hadoop-0.22.0分布式集群配置

原文出处：http://blog.csdn.net/shirdrn/article/details/7166513

 

Hadoop集群的安装和配置，主要分为两个部分：一部分是主机环境配置，主要是指Hadoop集群所依赖的操作系统及其相关软件的安装配置，包括操作系统安装、JDK安装配置、主机规划与IP地址映射配置、无密码认证会话配置；另一部分是Hadoop基本配置，主要是指Hadoop集群的各种基本组件的配置，包括HDFS的配置、MapReduce配置。

下面根据上面总结的两个部分进行详细配置实践。在配置之前，先准备一下我们使用的软件，如下所示：
  • 操作系统：Ubuntu-11.10
  • Sun JDK：jdk-6u30-linux-i586.bin
  • Hadoop：hadoop-0.22.0.tar.gz

主机环境配置


  • JDK安装配置
直接安装即可，执行如下命令：
[plain] view plain copy print ?
  1. cd ~/installation  
  2. chmod +x jdk-6u30-linux-i586.bin  
  3. ./jdk-6u30-linux-i586.bin  
cd ~/installation
chmod +x jdk-6u30-linux-i586.bin
./jdk-6u30-linux-i586.bin
JDK配置，需要修改环境变量文件~/.bashrc（vi ~/.bashrc）， 在~/.bashrc文件的最后面增加如下配置行，如下所示：
[plain] view plain copy print ?
  1. export JAVA_HOME=/home/hadoop/installation/jdk1.6.0_30  
  2. export CLASSPATH=$JAVA_HOME/lib/*.jar:$JAVA_HOME/jre/lib/*.jar  
  3. export PATH=$PATH:$JAVA_HOME/bin  
export JAVA_HOME=/home/hadoop/installation/jdk1.6.0_30
export CLASSPATH=$JAVA_HOME/lib/*.jar:$JAVA_HOME/jre/lib/*.jar
export PATH=$PATH:$JAVA_HOME/bin
最后，使配置生效，并验证：
[plain] view plain copy print ?
  1. . ~/.bashrc  
  2. echo $JAVA_HOME  
. ~/.bashrc
echo $JAVA_HOME
在每台机器上的配置，都按照上面的步骤进行配置。

  • 主机规划与IP地址映射配置

1、主结点master配置

集群中分为主结点（Master Node）和从结点（Slave Node）两种结点。我们选择一个主结点，两个从结点进行配置。
主结点IP为192.168.0.190，修改主结点的/etc/hosts（sudo vi /etc/hosts），内容配置如下所示（不需要改动IPV6的配置内容）：
[plain] view plain copy print ?
  1. 127.0.0.1       localhost  
  2. 192.168.0.190   master  
  3. 192.168.0.186   slave-01  
  4. 192.168.0.183   slave-02  
  5. # The following lines are desirable for IPv6 capable hosts  
  6. ::1     ip6-localhost ip6-loopback  
  7. fe00::0 ip6-localnet  
  8. ff00::0 ip6-mcastprefix  
  9. ff02::1 ip6-allnodes  
  10. ff02::2 ip6-allrouters  
127.0.0.1       localhost
192.168.0.190   master
192.168.0.186   slave-01
192.168.0.183   slave-02
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
Ubuntu系统，还要修改主机名，对应的配置文件为/etc/hostname，修改该配置文件（sudo vi /etc/hostname），内容如下所示：
[plain] view plain copy print ?
  1. master  
master
这里，因为在集群启动以后，master需要登录到任意一个从结点上，执行相应的授权操作，所以，master的/etc/hosts中要配置上集群中全部从结点的主机名到对应IP地址的映射。
从结点有两个，分别为slave-01（192.168.0.186）、slave-02（192.168.0.183），对从结点的配置方式相同。

2、从结点slave-01配置

slave-01结点的/etc/hosts配置，内容如下所示：
[plain] view plain copy print ?
  1. 127.0.0.1       localhost  
  2. 192.168.0.190   master  
  3. 192.168.0.186   slave-01  
  4. # The following lines are desirable for IPv6 capable hosts  
  5. ::1     ip6-localhost ip6-loopback  
  6. fe00::0 ip6-localnet  
  7. ff00::0 ip6-mcastprefix  
  8. ff02::1 ip6-allnodes  
  9. ff02::2 ip6-allrouters  
127.0.0.1       localhost
192.168.0.190   master
192.168.0.186   slave-01
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
修改192.168.0.186的主机名，对应的配置文件为/etc/hostname，修改该配置文件（sudo vi /etc/hostname），内容如下所示：
[plain] view plain copy print ?
  1. slave-01  
slave-01

3、从结点slave-02配置

slave-02结点的/etc/hosts配置，内容如下所示：
[plain] view plain copy print ?
  1. 127.0.0.1       localhost  
  2. 192.168.0.190   master  
  3. 192.168.0.183   slave-02  
  4. # The following lines are desirable for IPv6 capable hosts  
  5. ::1     ip6-localhost ip6-loopback  
  6. fe00::0 ip6-localnet  
  7. ff00::0 ip6-mcastprefix  
  8. ff02::1 ip6-allnodes  
  9. ff02::2 ip6-allrouters  
127.0.0.1       localhost
192.168.0.190   master
192.168.0.183   slave-02
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
修改192.168.0.183的主机名，对应的配置文件为/etc/hostname，修改该配置文件（sudo vi /etc/hostname），内容如下所示：
[plain] view plain copy print ?
  1. slave-02  
slave-02

4、总结说明

为什么建议使用主机名称，而不直接使用IP地址？
第一，比较直观。通过看主机名称，你就能够知道集群中哪台机器是什么角色。
第二，扩展性好。因为通过/etc/hosts对主机名和IP地址进行了映射，即使IP变了，主机名可以保持不变。在Hadoop安装的时候，需要配置master和slaves两个文件，如果这两个文件都使用IP的话，试想，一个具有200个结点的集群，因为一次企业的网络规划重新分配网段，导致IP全部变更，那么这些配置都要进行修改，工作量很大。但是，如果使用主机名的话，Hadoop的配置不需要任何改变，而对于主机名到IP地址的映射配置交给系统管理员去做好了。

  • 无密码认证会话配置

1、基本配置

首先检查，你的ssh是否安装并启动，如果没有则进行安装：
[plain] view plain copy print ?
  1. sudo apt-get install openssh-server  
sudo apt-get install openssh-server
在master主结点上，生成密钥对：
[plain] view plain copy print ?
  1. ssh-keygen -t rsa  
ssh-keygen -t rsa
一路回车下去即可，即可生成公钥（~/.ssh/id_rsa.pub）和私钥（~/.ssh/id_rsa）文件。
添加认证公钥，并设置权限：
[plain] view plain copy print ?
  1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  
  2. chmod 644 ~/.ssh/authorized_keys  
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
验证配置，执行如下命令：
[plain] view plain copy print ?
  1. ssh master  
ssh master
如果不需要输入密码，即可登录master（登录本机），说明配置正确。
接着，我们要进行认证公钥的分发传播。
（1）远程拷贝master的公钥到slave-01结点上
执行如下命令：
[plain] view plain copy print ?
  1. scp ~/.ssh/id_rsa.pub hadoop@slave-01:/home/hadoop/.ssh/id_rsa.pub.master  
scp ~/.ssh/id_rsa.pub hadoop@slave-01:/home/hadoop/.ssh/id_rsa.pub.master
这时，因为结点之间（master到slave-01）要进行数据交换，需要输入slave-01结点的登录密码（hadoop用户），才能执行文件的远程拷贝。这里输入密码是正常的，不要与结点之间通过ssh进行无密码公钥认证混淆。
注意：分发公钥时，主要修改目标master公钥文件副本名称，以防覆盖掉从结点上已经存在并且正在使用的公钥文件。
在slave-01结点上，将master生成的密钥加入到认证密钥文件：
[plain] view plain copy print ?
  1. cat ~/.ssh/id_rsa.pub.master >> ~/.ssh/authorized_keys  
  2. chmod 644 ~/.ssh/authorized_keys  
cat ~/.ssh/id_rsa.pub.master >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
（2）远程拷贝master的公钥到slave-02结点上
类似地，执行如下命令：
[plain] view plain copy print ?
  1. scp ~/.ssh/id_rsa.pub hadoop@slave-02:/home/hadoop/.ssh/id_rsa.pub.master  
scp ~/.ssh/id_rsa.pub hadoop@slave-02:/home/hadoop/.ssh/id_rsa.pub.master
在slave-02结点上，将master生成的密钥加入到认证密钥文件，同样执行命令：
[plain] view plain copy print ?
  1. cat ~/.ssh/id_rsa.pub.master >> ~/.ssh/authorized_keys  
  2. chmod 644 ~/.ssh/authorized_keys  
cat ~/.ssh/id_rsa.pub.master >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys
这时，可以验证从master结点分别登录到slave-01和slave-02结点：
[plain] view plain copy print ?
  1. ssh slave-01  
  2. ssh slave-02  
ssh slave-01
ssh slave-02
如果不需要输入密码，则配置成功。

2、总结说明

（1）为什么要将master上的公钥分发到集群中各从结点slaves上？
密钥是用来进行安全认证的。在两个结点之间进行认证，主要有两种方式：
一是通过输入密码进行认证，你必须知道对方主机的登录用户名和口令，才能登录到对方主机上进行合法的授权操作；
二是不需要密码就能够认证，这就需要用到密钥，当一个主机A访问另一个主机B时，如果对方主机B的认证密钥配置了A的公钥，那么A访问B是就能够通过配置的A的公钥进行认证，而不需要进行输入密码认证。
Hadoop集群master分发公钥到slaves结点，并且，在各个slaves结点上配置了公钥认证，这时，当master通过ssh登录到slaves结点上以后，可以执行相应的授权操作，例如，当master要停止整个HDFS集群（namenode、datanode）时，可以在master上就能直接登录到各个slaves结点上，直接关闭datanode，从而关闭整个集群。这样的话，你就不需要分别登录每个datanode上，去执行相应的关闭操作。
（2）使用dsa密钥还是rsa密钥？
DSA和RSA都可以用于认证，不过是基于不同的加密和解密算法的而已。有关DSA和RSA可以查阅相关资料。

Hadoop集群配置


  • Hadoop集群基本配置
1、解压缩
[plain] view plain copy print ?
  1. cd ~/installation  
  2. tar -xvzf hadoop-0.22.0.tar.gz  
cd ~/installation
tar -xvzf hadoop-0.22.0.tar.gz

2、配置Hadoop环境变量

修改vi ~/.bashrc，在文件最后面加上如下配置：
[plain] view plain copy print ?
  1. export HADOOP_HOME=/home/hadoop/installation/hadoop-0.22.0  
  2. export PATH=$PATH:$HADOOP_HOME/bin  
export HADOOP_HOME=/home/hadoop/installation/hadoop-0.22.0
export PATH=$PATH:$HADOOP_HOME/bin
使配置~/.bashrc生效，执行：
[plain] view plain copy print ?
  1. . ~/.bashrc  
. ~/.bashrc

4、配置master和slaves文件

修改conf/master文件，内容如下所示：

[plain] view plain copy print ?
  1. master  
master
修改conf/slaves文件，内容如下所示：
[plain] view plain copy print ?
  1. slave-01  
  2. slave-02  
slave-01
slave-02

5、配置hadoop-env.sh文件

配置文件conf/hadoop-env.sh，只需要修改JAVA_HOME配置，如下所示：
[plain] view plain copy print ?
  1. export JAVA_HOME=/home/hadoop/installation/jdk1.6.0_30  
  export JAVA_HOME=/home/hadoop/installation/jdk1.6.0_30
其它选项，可以根据需要进行配置。

6、配置conf/core-site.xml文件

配置文件conf/core-site.xml的内容，如下所示：
[html] view plain copy print ?
  1. xml version="1.0"?>  
  2. xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3. <configuration>  
  4.         <property>  
  5.         <name>fs.default.namename>  
  6.         <value>hdfs://master:9000/value>  
  7.         <description>description>  
  8.     property>  
  9.     <property>  
  10.             <name>dfs.replicationname>  
  11.             <value>3value>  
  12.     property>  
  13.         <property>  
  14.         <name>fs.inmemory.size.mbname>  
  15.         <value>10value>  
  16.         <description>Larger amount of memory allocated for the in-memory file-system used to merge map-outputs at the reduces.description>  
  17.     property>  
  18.         <property>  
  19.         <name>io.sort.factorname>  
  20.         <value>10value>  
  21.         <description>More streams merged at once while sorting files.description>  
  22.     property>  
  23.         <property>  
  24.         <name>io.sort.mbname>  
  25.         <value>10value>  
  26.         <description>Higher memory-limit while sorting data.description>  
  27.     property>  
  28.         <property>  
  29.         <name>io.file.buffer.sizename>  
  30.         <value>131072value>  
  31.         <description>Size of read/write buffer used in SequenceFiles.description>  
  32.     property>  
  33.         <property>  
  34.         <name>hadoop.tmp.dirname>  
  35.         <value>/home/hadoop/storage/tmp/hadoop-${user.name}value>  
  36.         <description>description>  
  37.     property>  
  38. configuration>  



        
		fs.default.name
		hdfs://master:9000/
		
	
	
        	dfs.replication
        	3
	
        
		fs.inmemory.size.mb
		10
		Larger amount of memory allocated for the in-memory file-system used to merge map-outputs at the reduces.
	
        
		io.sort.factor
		10
		More streams merged at once while sorting files.
	
        
		io.sort.mb
		10
		Higher memory-limit while sorting data.
	
        
		io.file.buffer.size
		131072
		Size of read/write buffer used in SequenceFiles.
	
        
		hadoop.tmp.dir
		/home/hadoop/storage/tmp/hadoop-${user.name}

上面配置内容，是与HDFS的基本属性相关的，一般在系统运行过程中比较固定的配置，都放到这里面。如果需要根据实际应用的变化，可以配置到hdfs-site.xml文件中，下面会解释。

7、配置conf/hdfs-site.xml文件

配置文件conf/hdfs-site.xml的内容，如下所示：
[html] view plain copy print ?
  1. xml version="1.0"?>  
  2. xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3. <configuration>  
  4.         <property>  
  5.         <name>dfs.name.dirname>  
  6.         <value>/home/hadoop/storage/name/a,/home/hadoop/storage/name/bvalue>  
  7.         <description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.description>  
  8.     property>  
  9.         <property>  
  10.         <name>dfs.data.dirname>  
  11.         <value>/home/hadoop/storage/data/a,/home/hadoop/storage/data/b,/home/hadoop/storage/data/cvalue>  
  12.         <description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.description>  
  13.     property>  
  14.         <property>  
  15.         <name>dfs.block.sizename>  
  16.         <value>67108864value>  
  17.         <description>HDFS blocksize of 64MB for large file-systems.description>  
  18.     property>  
  19.         <property>  
  20.         <name>dfs.namenode.handler.countname>  
  21.         <value>10value>  
  22.         <description>More NameNode server threads to handle RPCs from large number of DataNodes.description>  
  23.     property>  
  24. configuration>  



        
		dfs.name.dir
		/home/hadoop/storage/name/a,/home/hadoop/storage/name/b
		Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.
	
        
		dfs.data.dir
		/home/hadoop/storage/data/a,/home/hadoop/storage/data/b,/home/hadoop/storage/data/c
		Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.
	
        
		dfs.block.size
		67108864
		HDFS blocksize of 64MB for large file-systems.
	
        
		dfs.namenode.handler.count
		10
		More NameNode server threads to handle RPCs from large number of DataNodes.
该配置文件配置与HDFS相关的属性，而且这些属性可能在使用计算过程中（如进行MapReduce计算），需要变化，如数据存储目录等等。如果该配置文件hdfs-site.xml和core-site.xml中同时都配置了某个属性，则hdfs-site.xml会覆盖掉core-site.xml中配置的属性。

8、配置conf/mapred-site.xml文件

配置文件conf/mapred-site.xml是与MapReduce计算相关的，在实际使用中根据需要进行配置某些参数，如JVM堆内存分配大小等。该配置文件的内容，配置如下所示：
[html] view plain copy print ?
  1. xml version="1.0"?>  
  2. xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3. <configuration>  
  4.         <property>  
  5.         <name>mapred.job.trackername>  
  6.         <value>hdfs://master:19830/value>  
  7.         <description>Host or IP and port of JobTracker.description>  
  8.     property>  
  9.         <property>  
  10.         <name>mapred.system.dirname>  
  11.         <value>/home/hadoop/storage/mapred/systemvalue>  
  12.         <description>Path on the HDFS where where the MapReduce framework stores system files.Note: This is in the default filesystem (HDFS) and must be accessible from both the server and client machines.description>  
  13.     property>  
  14.     <property>  
  15.         <name>mapred.local.dirname>  
  16.         <value>/home/hadoop/storage/mapred/localvalue>  
  17.         <description>Comma-separated list of paths on the local filesystem where temporary MapReduce data is written. Note: Multiple paths help spread disk i/o.description>  
  18.     property>  
  19.         <property>  
  20.         <name>mapred.tasktracker.map.tasks.maximumname>  
  21.         <value>10value>  
  22.         <description>The maximum number of Map tasks, which are run simultaneously on a given TaskTracker, individually.Note: Defaults to 2 maps, but vary it depending on your hardware.description>  
  23.     property>  
  24.         <property>  
  25.         <name>mapred.tasktracker.reduce.tasks.maximumname>  
  26.         <value>2value>  
  27.         <description>The maximum number of Reduce tasks, which are run simultaneously on a given TaskTracker, individually. Note: Defaults to 2 reduces, but vary it depending on your hardware.description>  
  28.     property>  
  29.         <property>  
  30.         <name>mapred.reduce.parallel.copiesname>  
  31.         <value>5value>  
  32.         <description>Higher number of parallel copies run by reduces to fetch outputs from very large number of maps.description>  
  33.     property>  
  34.         <property>  
  35.         <name>mapred.map.child.java.optsname>  
  36.         <value>-Xmx128Mvalue>  
  37.         <description>Larger heap-size for child jvms of maps.description>  
  38.     property>  
  39.         <property>  
  40.         <name>mapred.reduce.child.java.optsname>  
  41.         <value>-Xms64Mvalue>  
  42.         <description>Larger heap-size for child jvms of reduces.description>  
  43.     property>  
  44.         <property>  
  45.         <name>tasktracker.http.threadsname>  
  46.         <value>5value>  
  47.         <description>More worker threads for the TaskTracker's http server. The http server is used by reduces to fetch intermediate map-outputs.description>  
  48.     property>  
  49.         <property>  
  50.         <name>mapred.queue.namesname>  
  51.         <value>defaultvalue>  
  52.         <description>Comma separated list of queues to which jobs can be submitted. Note: The MapReduce system always supports atleast one queue with the name as default. Hence, this parameter's value should always contain the string default. Some job schedulers supported in Hadoop, like the Capacity Scheduler(http://hadoop.apache.org/common/docs/stable/capacity_scheduler.html), support multiple queues. If such a scheduler is being used, the list of configured queue names must be specified here. Once queues are defined, users can submit jobs to a queue using the property name mapred.job.queue.name in the job configuration. There could be a separate configuration file for configuring properties of these queues that is managed by the scheduler. Refer to the documentation of the scheduler for information on the same.description>  
  53.     property>  
  54.         <property>  
  55.         <name>mapred.acls.enabledname>  
  56.         <value>falsevalue>  
  57.         <description>Boolean, specifying whether checks for queue ACLs and job ACLs are to be done for authorizing users for doing queue operations and job operations. Note: If true, queue ACLs are checked while submitting and administering jobs and job ACLs are checked for authorizing view and modification of jobs. Queue ACLs are specified using the configuration parameters of the form mapred.queue.queue-name.acl-name, defined below under mapred-queue-acls.xml. Job ACLs are described at Job Authorization(http://hadoop.apache.org/common/docs/stable/mapred_tutorial.html#Job+Authorization).description>  
  58.     property>  
  59. configuration>  



        
		mapred.job.tracker
		hdfs://master:19830/
		Host or IP and port of JobTracker.
	
        
		mapred.system.dir
		/home/hadoop/storage/mapred/system
		Path on the HDFS where where the MapReduce framework stores system files.Note: This is in the default filesystem (HDFS) and must be accessible from both the server and client machines.
	
	
		mapred.local.dir
		/home/hadoop/storage/mapred/local
		Comma-separated list of paths on the local filesystem where temporary MapReduce data is written. Note: Multiple paths help spread disk i/o.
	
        
		mapred.tasktracker.map.tasks.maximum
		10
		The maximum number of Map tasks, which are run simultaneously on a given TaskTracker, individually.Note: Defaults to 2 maps, but vary it depending on your hardware.
	
        
		mapred.tasktracker.reduce.tasks.maximum
		2
		The maximum number of Reduce tasks, which are run simultaneously on a given TaskTracker, individually. Note: Defaults to 2 reduces, but vary it depending on your hardware.
	
        
		mapred.reduce.parallel.copies
		5
		Higher number of parallel copies run by reduces to fetch outputs from very large number of maps.
	
        
		mapred.map.child.java.opts
		-Xmx128M
		Larger heap-size for child jvms of maps.
	
        
		mapred.reduce.child.java.opts
		-Xms64M
		Larger heap-size for child jvms of reduces.
	
        
		tasktracker.http.threads
		5
		More worker threads for the TaskTracker's http server. The http server is used by reduces to fetch intermediate map-outputs.
	
        
		mapred.queue.names
		default
		Comma separated list of queues to which jobs can be submitted. Note: The MapReduce system always supports atleast one queue with the name as default. Hence, this parameter's value should always contain the string default. Some job schedulers supported in Hadoop, like the Capacity Scheduler(http://hadoop.apache.org/common/docs/stable/capacity_scheduler.html), support multiple queues. If such a scheduler is being used, the list of configured queue names must be specified here. Once queues are defined, users can submit jobs to a queue using the property name mapred.job.queue.name in the job configuration. There could be a separate configuration file for configuring properties of these queues that is managed by the scheduler. Refer to the documentation of the scheduler for information on the same.
	
        
		mapred.acls.enabled
		false
		Boolean, specifying whether checks for queue ACLs and job ACLs are to be done for authorizing users for doing queue operations and job operations. Note: If true, queue ACLs are checked while submitting and administering jobs and job ACLs are checked for authorizing view and modification of jobs. Queue ACLs are specified using the configuration parameters of the form mapred.queue.queue-name.acl-name, defined below under mapred-queue-acls.xml. Job ACLs are described at Job Authorization(http://hadoop.apache.org/common/docs/stable/mapred_tutorial.html#Job+Authorization).

9、安装文件远程分发

前面，我们已经在各台机器上配置好了基础环境，同时在master上配置好了Hadoop，这时需要将Hadoop拷贝到从结点上相应的目录下。由于Hadoop发行包中存在很多源码和文档，占用了很大存储空间，可以将其删除以后，再进行远程拷贝，删除前先做好备份，我暂时删除了如下文件：

[plain] view plain copy print ?
  1. rm -rf common/ hdfs/ contrib/ c++/ mapreduce/  
rm -rf common/ hdfs/ contrib/ c++/ mapreduce/

接着，执行远程拷贝命令：

[plain] view plain copy print ?
  1. cd ~/installation  
  2. scp -r ~/installation/hadoop-0.22.0/ hadoop@slave-01:/home/hadoop/installation  
  3. scp -r ~/installation/hadoop-0.22.0/ hadoop@slave-02:/home/hadoop/installation  
cd ~/installation
scp -r ~/installation/hadoop-0.22.0/ hadoop@slave-01:/home/hadoop/installation
scp -r ~/installation/hadoop-0.22.0/ hadoop@slave-02:/home/hadoop/installation

10、其它配置

因为我们在上面的配置中，使用了存储目录storage，需要预先在master和slaves结点上创建该目录，执行如下命令：
[plain] view plain copy print ?
  1. mkdir ~/storage  
mkdir ~/storage

  • Hadoop集群配置验证

1、启动HDFS集群

在master上，启动HDFS集群。
格式化HDFS，执行命令：
[plain] view plain copy print ?
  1. hdfs namenode -format  
hdfs namenode -format
如果没有错误，继续执行，启动HDFS，执行命令：
[plain] view plain copy print ?
  1. start-dfs.sh  
start-dfs.sh
此时：
在master上，执行jps你可以看到，启动了NameNode和SecondaryNameNode；
在slaves上，执行jps你可以看到，启动了DameNode。
你可以在各个结点上查看对应的日志，看HDFS集群启动的状况，确定启动是否正常：

[plain] view plain copy print ?
  1. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-namenode-master.log  
  2. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-secondarynamenode-master.log  
  3. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-01.log  
  4. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-02.log  
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-namenode-master.log
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-secondarynamenode-master.log
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-01.log
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-02.log

还可以通过Hadoop内置的Web Server（Jetty），通过浏览器访问监控：
[plain] view plain copy print ?
  1. master结点：  http://master:50070 或者 http://192.168.0.190:50070  
  2. slave-01结点：http://slave-01:50075 或者 http://192.168.0.186:50075  
  3. slave-02结点：http://slave-02:50075 或者 http://192.168.0.183:50075  
master结点：  http://master:50070 或者 http://192.168.0.190:50070
slave-01结点：http://slave-01:50075 或者 http://192.168.0.186:50075
slave-02结点：http://slave-02:50075 或者 http://192.168.0.183:50075
2、启动MapReduce任务集群
在master上，启动MapReduce集群，执行命令：
[plain] view plain copy print ?
  1. start-mapred.sh  
start-mapred.sh
此时：
在master上可以看到，JobTracker已经启动；
在slaves上可以看到，TaskTracker已经启动。
也可以查看日志文件，验证启动是否正常：
[plain] view plain copy print ?
  1. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-jobtracker-master.log   
  2. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-01.log  
  3. tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-02.log  
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-jobtracker-master.log 
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-01.log
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-02.log
还可以通过Hadoop内置的Web Server（Jetty），通过浏览器访问监控：
[plain] view plain copy print ?
  1. master结点：  http://master:50030 或者 http://192.168.0.190:50030  
  2. slave-01结点：http://slave-01:50060 或者 http://192.168.0.186:50060  
  3. slave-02结点：http://slave-02:50060 或者 http://192.168.0.183:50060  
master结点：  http://master:50030 或者 http://192.168.0.190:50030
slave-01结点：http://slave-01:50060 或者 http://192.168.0.186:50060
slave-02结点：http://slave-02:50060 或者 http://192.168.0.183:50060

3、上传文件到HDFS

例如，上传一个文件到HDFS上，使用copyFromLocal命令：

[plain] view plain copy print ?
  1. hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr  
  2. drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:40 /user/hadoop/storage  
  3. hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -mkdir storage/input  
  4. hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -copyFromLocal ~/storage/files/extfile.txt  ./storage/input/attractions.txt  
  5. hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr  
  6. drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:41 /user/hadoop/storage  
  7. drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:41 /user/hadoop/storage/input  
  8. -rw-r--r--   3 hadoop supergroup      66609 2011-12-31 11:41 /user/hadoop/storage/input/attractions.txt  
hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr
drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:40 /user/hadoop/storage
hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -mkdir storage/input
hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -copyFromLocal ~/storage/files/extfile.txt  ./storage/input/attractions.txt
hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr
drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:41 /user/hadoop/storage
drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:41 /user/hadoop/storage/input
-rw-r--r--   3 hadoop supergroup      66609 2011-12-31 11:41 /user/hadoop/storage/input/attractions.txt
将文件extfile.txt上传到HDFS，改名为attractions.txt。

4、运行MapReduce任务

执行如下命令，运行Hadoop自带的例子：
[plain] view plain copy print ?
  1. hadoop jar $HADOOP_HOME/hadoop-mapred-examples-0.22.0.jar wordcount ./storage/input/ $HADOOP_HOME/output  
hadoop jar $HADOOP_HOME/hadoop-mapred-examples-0.22.0.jar wordcount ./storage/input/ $HADOOP_HOME/output

5、总结说明

在Hadoop集群外部为什么无法通过域名（如：http://master:50030）访问Hadoop集群结点？
你在Hadoop集群的外部，例如，在局域网的Windows 7系统中访问master，必须能够将域名master映射到对应的IP地址，否则无法建立到目标主机的链路。在Windows 7下，可以通过设置C:\Windows\System32\drivers\etc目录下面的hosts映射文件，增加如下映射内容：
[plain] view plain copy print ?
  1. 192.168.0.190   master  
  2. 192.168.0.186   slave-01  
  3. 192.168.0.183   slave-02  
	192.168.0.190	master
	192.168.0.186	slave-01
	192.168.0.183	slave-02
保存以后，这时，你再通过域名访问Hadoop集群结点，就可以看到该结点的一些基本信息。

参考链接


  • http://hadoop.apache.org/common/docs/stable/hdfs_design.html
  • http://hadoop.apache.org/common/docs/stable/hdfs_user_guide.html
  • http://hadoop.apache.org/common/docs/stable/cluster_setup.html
  • http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

你可能感兴趣的:(hadoop)

  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • Hadoop学习第三课（HDFS架构--读、写流程） 小小程序员呀~ 数据库hadoop架构bigdata
    1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
  • hadoop启动HDFS命令 m0_67401228 java搜索引擎linux后端
    启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
  • 【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现 程序员-石头山 大数据实战案例大数据hadoop毕业设计毕设
    博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
  • 分布式离线计算—Spark—基础介绍 测试开发abbey 人工智能—大数据
    原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
  • spark常用命令 我是浣熊的微笑 spark
    查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
  • spark启动命令 学不会又听不懂 spark大数据分布式
    hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
  • 编程常用命令总结 Yellow0523 LinuxBigData大数据
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
  • Hadoop常见面试题整理及解答 叶青舟 Linuxhdfs大数据hadooplinux
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
  • 2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购 计算机编程指导师 Java实战集Python实战集大数据实战集课程设计hadoop数据分析springbootjava进货python
    ✍✍计算机编程指导师⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
  • Hadoop Common 之序列化机制小解 猫君之上 #ApacheHadoop
    1.JavaSerializable序列化该序列化通过ObjectInputStream的readObject实现序列化，ObjectOutputStream的writeObject实现反序列化。这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。（序列化信息包括这个对象的类，类签名，类的所有静态，费静态成员的值，以及他们父类都要被写入）publ
  • 深入理解hadoop(一)----Common的实现----Configuration maoxiao_jsd 深入理解----hadoop
    属本人个人原创，转载请注明,希望对大家有帮助！！一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml");conf.addResource("core-site.xml");后者会覆盖前者中未final标记的相同配置项b
  • hadoop 0.22.0 部署笔记 weixin_33701564 大数据java运维
    为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！org.apache.hadoophadoop-com
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
  • 深入解析HDFS：定义、架构、原理、应用场景及常用命令 CloudJourney hdfs架构hadoop
    引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。本文将从HDFS的定义、架构、工作原理、应用场景以及常用命令等多个方面进行详细探讨，帮助读者全面深入地了解HDFS。1.HDFS的定义1.1什么是HDFSHDFS是Hadoop生态系统中的一个分布式文件系
  • Hadoop的搭建流程 lzhlizihang hadoop大数据分布式
    文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9、修改配置文件hadoop-en
  • hive搭建 -----内嵌模式和本地模式 lzhlizihang hivehadoop
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
  • Hadoop之mapreduce -- WrodCount案例以及各种概念 lzhlizihang hadoopmapreduce大数据
    文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
  • IAAS: IT公司去IOE-Alibaba系统构架解读 wishchin 心理学/职业BigDataMiniSparkPaaS
    从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现，阿里一直摸索在技术衍变的前沿。这里，我们将从架构、性能、运维等多个方面深入了解阿里基础设施。【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
  • jvm调优总结（从基本概念 到 深度优化） oloz javajvmjdk虚拟机应用服务器
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html   Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
  • 【Scala十六】Scala核心十：柯里化函数 bit1129 scala
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 A way to write functions with multiple parameter lists. For instance def f(x: Int)(y: Int) is a
  • HashMap dalan_123 java
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构     在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容 周凡杨 java更新swingJTextArea
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。 问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
  • servlet或struts的Action处理ajax请求 g21121 servlet
    其实处理ajax的请求非常简单，直接看代码就行了： //如果用的是struts //HttpServletResponse response = ServletActionContext.getResponse(); // 设置输出为文字流 response.setContentType("text/plain"); // 设置字符集 res
  • FineReport的公式编辑框的语法简介 老A不折腾 finereport公式总结
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 简单的说下自己感觉的公式要注意的几个地方：   1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
  • linux mysql 数据库乱码的解决办法 墙头上一根草 linuxmysql数据库乱码
    linux 上mysql数据库区分大小写的配置 lower_case_table_names=1 1-不区分大小写 0-区分大小写   修改/etc/my.cnf 具体的修改内容如下:   [client] default-character-set=utf8   [mysqld] datadir=/var/lib/mysql socket=/va
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想 aijuans Spring 3
    ApplicationContext能读取多个Bean定义文件，方法是： ApplicationContext appContext = new ClassPathXmlApplicationContext（ new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
  • mysql 基准测试之sysbench annan211 基准测试mysql基准测试MySQL测试sysbench
    1 执行如下命令，安装sysbench-0.5： tar xzvf sysbench-0.5.tar.gz  cd sysbench-0.5  chmod +x autogen.sh  ./autogen.sh  ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
  • sql的复杂查询使用案列与技巧 百合不是茶 oraclesql函数数据分页合并查询
      本片博客使用的数据库表是oracle中的scott用户表;          -------------------  自然连接查询           查询 smith 的上司(两种方法) &
  • 深入学习Thread类 bijian1013 javathread多线程java多线程
    一．             线程的名字 下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 同时，Thr
  • JSON串转换成Map以及如何转换到对应的数据类型 bijian1013 javafastjsonnet.sf.json
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 一.fastjson实例 JsonUtil.java package com.study; impor
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架 bit1129 spring
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成   在 【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析 bit1129 Mahout
    #!/bin/bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information re
  • nginx三种获取用户真实ip的方法 ronin47
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 实例环境： 用户IP 120.22.11.11
  • java-判断二叉树是不是平衡 bylijinnan java
    参考了 http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 但是用java来实现有一个问题。 由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass import ljn.help.*; public class BalancedBTree {
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties 诸葛不亮 PropertyUtilsBeanUtils
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
  • [金融与信息安全]最简单的数据结构最安全 comsci 数据结构
          现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？        从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
  • vi区段删除 Cwind linuxvi区段删除
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。   vi概述    引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。   vi区段删除步骤： 1. 在末行模式下使用:set nu显示行号 非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
  • 清除tomcat缓存的方法总结 dashuaifu tomcat缓存
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 出现这种现象的原因主要是tomcat缓存的原因。 解决办法如下: 在jsp文件头加上 <meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
  • 不要盲目的在项目中使用LESS CSS dcj3sjt126com Webless
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 　　比如它的引用功能 ? .rounded_corners{     
  • [入门]更上一层楼 dcj3sjt126com PHPyii2
    更上一层楼 通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 本章将介绍一些有助于更好使用 Yii 的资源：
  • Apache HttpClient使用详解 eksliang httpclienthttp协议
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
  • zxing二维码扫描功能 gundumw100 androidzxing
    经常要用到二维码扫描功能 现给出示例代码 import com.google.zxing.WriterException; import com.zxing.activity.CaptureActivity; import com.zxing.encoding.EncodingHandler; import android.app.Activity; import an
  • 纯HTML+CSS带说明的黄色导航菜单 ini htmlWebhtml5csshovertree
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航   在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果：   <!DOCTYPE html > <html > <head> <title>HoverTree
  • fastjson初始化对性能的影响 kane_xie fastjson序列化
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。   网上的说法：   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
  • 基于Mybatis封装的增删改查实现通用自动化sql mengqingyu DAO
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 2.支持自定义注解包括主键生成、列重复验证、列名、表名等 3.支持批量插入、批量更新、批量删除 <bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等) qifeifei javascript js
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/     funct
  • java 计时器应用 tangqi609567707 javatimer
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int
  • erlang输出调用栈信息 wudixiaotie erlang
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 也可以用这个函数：erlang:get_s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他