vitaair
vitaair

Centos6.5搭建Hadoop2.5.2伪分布模式

Hadoop伪分布模式：在单节点上同时启动NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode等5个进程，模拟分布式运行的各个节点；

 

1、Hadoop搭建环境：

虚拟机操作系统： CentOS6.5  64位，单核，1G内存
JDK：1.7.0_79 64位
Hadoop：2.5.2
 
2、本地环境：
IP:10.0.10.50
 

2.1 设置机器名

vi /etc/sysconfig/network 打开配置文件，根据实际情况设置该服务器的机器名，新机器名在重启后生效
  
 
   
     
    
  1. [root@hadoop01 ~]# hostname 
    2.  
    
  2. hadoop01 
    3.  
   
 
   

       
   
 
   

     2.2 设置Host文件,IP地址与机器名的映射，设置信息如下： 
   
 
   
 
   
     
    
  1. [root@hadoop01 ~]# vim /etc/hosts 
    2.  
    
  2. 10.0.10.50 hadoop01 
    3.  
   
 
   

       
   
 
   

     2.3 建立hadoop用户（其实用户名你随意） 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 ~]# useradd hadoop 
    2.  
    
  2. [root@hadoop01 ~]# echo "hadoop" |passwd --stdin hadoop 
    3.  
   
 
   

     更改用户 hadoop 的密码 。 
   
 
   

     passwd： 所有的身份验证令牌已经成功更新。 
   
 
   

     2.4 切换到上面hadoop用户，并配置ssh-key： 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 ~]# su hadoop 
    2.  
    
  2. [hadoop@hadoop01 root]$ cd 
    3.  
    
  3. [hadoop@hadoop01 ~]$ ssh-keygen -t dsa 
    4.  
    
  4. Generating public/private dsa key pair. 
    5.  
    
  5. Enter file in which to save the key (/home/hadoop/.ssh/id_dsa):  
    6.  
    
  6. Created directory '/home/hadoop/.ssh'. 
    7.  
    
  7. Enter passphrase (empty for no passphrase):  
    8.  
    
  8. Enter same passphrase again:  
    9.  
    
  9. Your identification has been saved in /home/hadoop/.ssh/id_dsa. 
    10.  
    
  10. Your public key has been saved in /home/hadoop/.ssh/id_dsa.pub. 
    11.  
    
  11. The key fingerprint is: 
    12.  
    
  12. b8:5a:8b:7f:74:05:50:68:f3:d5:d9:e7:7f:bb:aa:25 hadoop@hadoop01 
    13.  
    
  13. The key's randomart image is: 
    14.  
    
  14. +--[ DSA 1024]----+ 
    15.  
    
  15. |        .+.  . o | 
    16.  
    
  16. |        + . . o o| 
    17.  
    
  17. |       . o o   ..| 
    18.  
    
  18. |       .  . .   .| 
    19.  
    
  19. |      . S  .    .| 
    20.  
    
  20. |       .. .     o| 
    21.  
    
  21. |      o. . E .  o| 
    22.  
    
  22. |     + ..   o  . | 
    23.  
    
  23. |    o.o.   ......| 
    24.  
    
  24. +-----------------+ 
    25.  
   
 
   

     2.5 复制一份KEY给自己,实现自己免密钥登陆： 
   
 
   

       
   
 
   
 
   
     
    
  1. [hadoop@hadoop01 ~]$ ssh-copy-id -i .ssh/id_dsa.pub hadoop@hadoop01 
    2.  
    
  2. The authenticity of host 'hadoop01 (10.0.10.50)' can't be established. 
    3.  
    
  3. RSA key fingerprint is 3f:8d:5d:d4:5d:1d:08:88:02:f1:1e:05:41:60:84:10. 
    4.  
    
  4. Are you sure you want to continue connecting (yes/no)? yes 
    5.  
    
  5. Warning: Permanently added 'hadoop01,10.0.10.50' (RSA) to the list of known hosts. 
    6.  
    
  6. hadoop@hadoop01's password:  
    7.  
    
  7. Now try logging into the machine, with "ssh 'hadoop@hadoop01'", and check in: 
    8.  
    
  8.  
    9.  
    
  9.   .ssh/authorized_keys 
    10.  
    
  10.  
    11.  
    
  11. to make sure we haven't added extra keys that you weren't expecting. 
    12.  
   
 
   

     以下修改要在root权限下操作： 
   
 
   

     3、首先，挂载系统光盘，安装lrzsz-0.12.20-27.1.el6.x86_64.rpm 包，此工具是上传下载的软件。 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 ~]# mount /dev/cdrom /mnt 
    2.  
    
  2.  
    3.  
    
  3. [root@hadoop01 ~]# rpm -ivh /mnt/Packages/lrzsz-0.12.20-27.1.el6.x86_64.rpm  
    4.  
   
 
   

       
   
 
   

     4、把所需要的软件上传到/root/tools目录： 
   
 
   
 
   
     
    
  1. [root@hadoop01 tools]# ls 
    2.  
    
  2. hadoop-2.5.2.tar.gz  jdk-7u79-linux-x64.rpm 
    3.  
   
 
   

     5、安装JDK环境 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 tools]# rpm -ivh jdk-7u79-linux-x64.rpm  
    2.  
   
 
   

     安装完成后无法运行jps命令的,可以直接作一个符号链接即可。 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 tools]# ln -s /usr/java/jdk1.7.0_79/bin/jps /usr/bin/jps 
    2.  
   
 
   

     6、安装hadoop-2.5.2,我这里把hadoop-2.5.2安装到/app目录下(其实解压到指定目录即完成安装)，目录自己随意。 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 tools]# mkdir /app 
    2.  
    
  2. [root@hadoop01 tools]# ls 
    3.  
    
  3. hadoop-2.5.2.tar.gz  jdk-7u79-linux-x64.rpm 
    4.  
    
  4. [root@hadoop01 tools]# tar xf hadoop-2.5.2.tar.gz -C /app 
    5.  
    
  5. [root@hadoop01 tools]# cd /app/hadoop-2.5.2/ 
    6.  
    
  6. [root@hadoop01 hadoop-2.5.2]# ls 
    7.  
    
  7. bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share 
    8.  
   
 
   

       
   
 
   

     7、配置hadoop环境，由于我这里是单机实现伪分布式安装，所以所有的都安装在一台服务器。 
   
 
   

     7.1 在hadoop-2.5.2目录下创建子目录,并授权目录： 
   
 
   

       
   
 
   
 
   
     
    
  1. cd /app/hadoop-2.5.2 
    2.  
    
  2. mkdir tmp 
    3.  
    
  3. mkdir hdfs/{name,data} -p 
    4.  
   
 
   

     授权：（如果不授权无法写入日志，临时文件等） 
   
 
   

       
   
 
   
 
   
     
    
  1. chown -R hadoop.hadoop /app/hadoop-2.5.2/ 
    2.  
   
 
   

     进入此目录修改以下配置文件： 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 hadoop]# pwd 
    2.  
    
  2. /app/hadoop-2.5.2/etc/hadoop 
    3.  
   
 
   

     7.2 编译配置文件hadoop-env.sh并确认生效 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 hadoop]# vim hadoop-env.sh  
    2.  
    
  2. 第26行左右：修改JDK路径 
    3.  
    
  3. 26 export JAVA_HOME=/usr/java/jdk1.7.0_79 
    4.  
    
  4. 使之生效： 
    5.  
    
  5. [hadoop@hadoop01 hadoop]$ source hadoop-env.sh  
    6.  
   
 
   

     7.3 配置core-site.xml 
   
 
   

       
   
 
   
 
   
     
    
  1. <configuration> 
    2.  
    
  2.   <property> 
    3.  
    
  3.     <name>fs.default.namename> 
    4.  
    
  4.      
    5.  
    
  5.      <value>hdfs://hadoop01:9000value> 
    6.  
    
  6.   property> 
    7.  
    
  7.   <property> 
    8.  
    
  8.     <name>hadoop.tmp.dirname> 
    9.  
    
  9.      
    10.  
    
  10.      <value>/app/hadoop-2.5.2/tmpvalue> 
    11.  
    
  11.   property> 
    12.  
    
  12. configuration> 
    13.  
   
 
   

       
   
 
   

     7.4 配置hdfs-site.xml 
   
 
   

       
   
 
   
 
   
     
    
  1.  
    2.  
    
  2.      
    3.  
    
  3.         dfs.replication 
    4.  
    
  4.         1 
    5.  
    
  5.      
    6.  
    
  6.      
    7.  
    
  7.         dfs.name.dir 
    8.  
    
  8.         /app/hadoop-2.5.2/hdfs/name 
    9.  
    
  9.      
    10.  
    
  10.      
    11.  
    
  11.         dfs.data.dir 
    12.  
    
  12.         /app/hadoop-2.5.2/hdfs/data 
    13.  
    
  13.      
    14.  
    
  14.  
    15.  
   
 
   

     7.5 配置mapred-site.xml 
   
 
   

     要修改名字： 
   
 
   

       
   
 
   
 
   
     
    
  1. [root@hadoop01 hadoop]# mv mapred-site.xml.template mapred-site.xml 
    2.  
    
  2. [root@hadoop01 hadoop]#vim mapred-site.xml 
    3.  
    
  3.  
    4.  
    
  4.  
    5.  
    
  5.      
    6.  
    
  6.         mapred.job.tracker 
    7.  
    
  7.         hadoop01:9001 
    8.  
    
  8.      
    9.  
    
  9.  
    10.  
   
 
   

       
   
 
   

     7.6 环境变量问题： 
   
 
   

     添加一个符号链接：解决（Error: Cannot find configuration directory: /etc/hadoop）问题 
   
 
   

       
   
 
   
 
   
     
    
  1. ln -s /app/hadoop-2.5.2/etc/hadoop/ /etc/hadoop 
    2.  
   
 
   

     或者添加最后两行在以下配置中： 
   
 
   

       
   
 
   
 
   
     
    
  1. cat >>/etc/profile<<EOF 
    2.  
    
  2. export JAVA_HOME=/usr/java/jdk1.7.0_79 
    3.  
    
  3. export HADOOP_HOME=/app/hadoop-2.5.2 
    4.  
    
  4. export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin 
    5.  
    
  5.  
    6.  
    
  6. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 
    7.  
    
  7. export YANR_CONF_DIR=$HADOOP_HOME/etc/hadoop 
    8.  
    
  8. EOF 
    9.  
   
 
   

       
   
 
   

     执行使之生效： 
   
 
   

       
   
 
   
 
   
     
    
  1. source /etc/profile 
    2.  
   
 
   

     以下在hadoop用户下操作： 
   
 
   

     7.7 格式化namenode  (切换到 hadoop用户执行) 
   
 
   

       
   
 
   
 
   
     
    
  1. hadoop namenode -format 
    2.  
   
 
   

     7.8 启动hadoop (切换到 hadoop用户执行) 
   
 
   

       
   
 
   
 
   
     
    
  1. cd /app/hadoop-2.5.2/sbin 
    2.  
    
  2.  
    3.  
    
  3. [hadoop@hadoop01 sbin]$ ./start-all.sh    
    4.  
    
  4. This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 
    5.  
    
  5. 16/01/09 16:07:23 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
    6.  
    
  6. Starting namenodes on [hadoop01] 
    7.  
    
  7. hadoop01: starting namenode, logging to /app/hadoop-2.5.2/logs/hadoop-hadoop-namenode-hadoop01.out 
    8.  
    
  8. localhost: starting datanode, logging to /app/hadoop-2.5.2/logs/hadoop-hadoop-datanode-hadoop01.out 
    9.  
    
  9. Starting secondary namenodes [0.0.0.0] 
    10.  
    
  10. 0.0.0.0: starting secondarynamenode, logging to /app/hadoop-2.5.2/logs/hadoop-hadoop-secondarynamenode-hadoop01.out 
    11.  
    
  11. 16/01/09 16:07:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
    12.  
    
  12. starting yarn daemons 
    13.  
    
  13. starting resourcemanager, logging to /app/hadoop-2.5.2/logs/yarn-hadoop-resourcemanager-hadoop01.out 
    14.  
    
  14. localhost: starting nodemanager, logging to /app/hadoop-2.5.2/logs/yarn-hadoop-nodemanager-hadoop01.out 
    15.  
   
 
   

       
   
 
   

     7.9 用jps命令查看hadoop相关进程是否启动:(切换到 hadoop用户执行) 
   
 
   

       
   
 
   
 
   
     
    
  1. [hadoop@hadoop01 sbin]$ jps 
    2.  
    
  2. 28238 NameNode 
    3.  
    
  3. 28508 SecondaryNameNode 
    4.  
    
  4. 28741 NodeManager 
    5.  
    
  5. 28328 DataNode 
    6.  
    
  6. 28648 ResourceManager 
    7.  
    
  7. 29036 Jps 
    8.  
   
 
   

       
   
 
   

     如果有上面5个服务在运行说明hadoop成功启动。 
   
 
   

       
   
 
   

     8、打开浏览器检查效果：(看到如下效果说明成功配置) 
   
 
   

       
   
 
   

     http://10.0.10.50:50070/    
     Namenode information 
   
 
   

       
   
 
   
 
    Centos6.5搭建Hadoop2.5.2伪分布模式_第1张图片 
   
 
   

       
   
 
   

     http://10.0.10.50:8088/ 
     hadoop cluster 
   
 
   

       
   
 
   
 
    Centos6.5搭建Hadoop2.5.2伪分布模式_第2张图片 
   
 
   

       
   
 
   

     http://10.0.10.50:50090/        SecondaryNamenode information 
   
 
   
 
 
   
 
    Centos6.5搭建Hadoop2.5.2伪分布模式_第3张图片 
   
 
   
 
 
   
 
 
   
注意：
 
   
 
 
   
启动服务时出现警告：
 
   
16/01/09 16:07:23 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
 
   
原因：系统中的glibc的版本和libhadoop.so需要的版本不一致导致。
 
   
检查是否不一致：(hadoop中使用的glibc版本为GLIBC_2.14)
 
   
 
 
   
 
   
     
    
  1. [hadoop@hadoop01 sbin]$ ldd /app/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0  
    2.  
    
  2.  
    3.  
    
  3. /app/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by /app/hadoop-2.5.2/lib/native/libhadoop.so.1.0.0) 
    4.  
    
  4.  
    5.  
    
  5.         linux-vdso.so.1 =>  (0x00007fff071ff000) 
    6.  
    
  6.  
    7.  
    
  7.         libdl.so.2 => /lib64/libdl.so.2 (0x00007f6550669000) 
    8.  
    
  8.  
    9.  
    
  9.         libc.so.6 => /lib64/libc.so.6 (0x00007f65502d4000) 
    10.  
    
  10.  
    11.  
    
  11.         /lib64/ld-linux-x86-64.so.2 (0x00000036a7000000) 
    12.  
   
 
   
 
 
   
而系统中的版本：（指向为2.12）
 
   
 
   
     
    
  1. [hadoop@hadoop01 sbin]$ ll /lib64/libc.so.6  
    2.  
    
  2.  
    3.  
    
  3. lrwxrwxrwx. 1 root root 12 12月 25 11:30 /lib64/libc.so.6 -> libc-2.12.so 
    4.  
   
 
   
解决方法有两种：
 
   
方法一:自己手工编译hadoop源码包，因此是自己的环境，那肯定是兼容的。
 
   
方法二:源码升级glibc版本。
 
  
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(hadoop)

        

            

                
    
                    
  • 浅谈MapReduce
                        Android路上的人
Hadoop分布式计算mapreduce分布式框架hadoop
                        
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
    
                    
    • 
                    
  • Hadoop
                        傲雪凌霜，松柏长青
后端大数据hadoop大数据分布式
                        
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
    
                    
    • 
                    
  • Hadoop架构
                        henan程序媛
hadoop大数据分布式
                        
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
    
                    
    • 
                    
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT)
                        计算机源码社
Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
                        
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
    
                    
    • 
                    
  • hbase介绍
                        CrazyL-
云计算+大数据hbase
                        
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
    
                    
    • 
                    
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
                        2401_84572577
程序员大数据hadoop人工智能
                        
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
    
                    
    • 
                    
  • Spark集群的三种模式
                        MelodyYN
#Sparksparkhadoopbigdata
                        
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
    
                    
    • 
                    
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线
                        「已注销」
个人总结hadoop
                        
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
    
                    
    • 
                    
  • HBase介绍
                        mingyu1016
数据库
                        
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
    
                    
    • 
                    
  • Java中的大数据处理框架对比分析
                        省赚客app开发者
java开发语言
                        
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
    
                    
    • 
                    
  • Hadoop windows intelij 跑 MR WordCount
                        piziyang12138

                        
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
    
                    
    • 
                    
  • Hadoop学习第三课（HDFS架构--读、写流程）
                        小小程序员呀~
数据库hadoop架构bigdata
                        
    1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
    
                    
    • 
                    
  • hadoop启动HDFS命令
                        m0_67401228
java搜索引擎linux后端
                        
    启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
    
                    
    • 
                    
  • 【计算机毕设-大数据方向】基于Hadoop的电商交易数据分析可视化系统的设计与实现
                        程序员-石头山
大数据实战案例大数据hadoop毕业设计毕设
                        
    博主介绍：✌全平台粉丝5W+,高级大厂开发程序员，博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来，同学门有不懂的毕设选题，项目以及论文编写等相关问题都可以和学长沟通，希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展，电商平台积累了海量的数据资源，这些数据不仅包括用户的基本信息、购物记录，还包括用户的浏览行为、评价反馈等多
    
                    
    • 
                    
  • 分布式离线计算—Spark—基础介绍
                        测试开发abbey
人工智能—大数据
                        
    原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要：Spark是基于内存计算的大数据并行计算框架Spar
    
                    
    • 
                    
  • spark常用命令
                        我是浣熊的微笑
spark
                        
    查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME目录，输入bin/spark-submit--help可以得到该命令的使用帮助。hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
    
                    
    • 
                    
  • spark启动命令
                        学不会又听不懂
spark大数据分布式
                        
    hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动：cd/root/toolss/zookeeperbin/zkServer.shstart，三台都要启动bin/zkServ
    
                    
    • 
                    
  • 编程常用命令总结
                        Yellow0523
LinuxBigData大数据
                        
    编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令kafka命令Hibench命令MySQL命令3.Linux常用命令Git命令conda命令pip命令查看Linux系统的详细信息查看Linux系统架构(X86还是ARM，两种方法都可)端口号命令L
    
                    
    • 
                    
  • Hadoop常见面试题整理及解答
                        叶青舟
Linuxhdfs大数据hadooplinux
                        
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
    
                    
    • 
                    
  • 2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购
                        计算机编程指导师
Java实战集Python实战集大数据实战集课程设计hadoop数据分析springbootjava进货python
                        
    ✍✍计算机编程指导师⭐⭐个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
    
                    
    • 
                    
  • Hadoop Common 之序列化机制小解
                        猫君之上
#ApacheHadoop
                        
    1.JavaSerializable序列化该序列化通过ObjectInputStream的readObject实现序列化，ObjectOutputStream的writeObject实现反序列化。这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。（序列化信息包括这个对象的类，类签名，类的所有静态，费静态成员的值，以及他们父类都要被写入）publ
    
                    
    • 
                    
  • 深入理解hadoop(一)----Common的实现----Configuration
                        maoxiao_jsd
深入理解----hadoop
                        
    属本人个人原创，转载请注明,希望对大家有帮助！！一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml");conf.addResource("core-site.xml");后者会覆盖前者中未final标记的相同配置项b
    
                    
    • 
                    
  • hadoop 0.22.0 部署笔记
                        weixin_33701564
大数据java运维
                        
    为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
    
                    
    • 
                    
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)
                        2401_84160087
大数据面试学习
                        
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！org.apache.hadoophadoop-com
    
                    
    • 
                    
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)
                        2401_84160087
大数据面试学习
                        
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
    
                    
    • 
                    
  • 深入解析HDFS：定义、架构、原理、应用场景及常用命令
                        CloudJourney
hdfs架构hadoop
                        
    引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。本文将从HDFS的定义、架构、工作原理、应用场景以及常用命令等多个方面进行详细探讨，帮助读者全面深入地了解HDFS。1.HDFS的定义1.1什么是HDFSHDFS是Hadoop生态系统中的一个分布式文件系
    
                    
    • 
                    
  • Hadoop的搭建流程
                        lzhlizihang
hadoop大数据分布式
                        
    文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9、修改配置文件hadoop-en
    
                    
    • 
                    
  • hive搭建 -----内嵌模式和本地模式
                        lzhlizihang
hivehadoop
                        
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
    
                    
    • 
                    
  • Hadoop之mapreduce -- WrodCount案例以及各种概念
                        lzhlizihang
hadoopmapreduce大数据
                        
    文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
    
                    
    • 
                    
  • IAAS: IT公司去IOE-Alibaba系统构架解读
                        wishchin
心理学/职业BigDataMiniSparkPaaS
                        
    从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现，阿里一直摸索在技术衍变的前沿。这里，我们将从架构、性能、运维等多个方面深入了解阿里基础设施。【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
    
                    
    • 
                                
  • [星球大战]阿纳金的背叛
                                    comsci

                                    
     
      本来杰迪圣殿的长老是不同意让阿纳金接受训练的......... 
 
    但是由于政治原因,长老会妥协了...这给邪恶的力量带来了机会 
 
    所以......现代的地球联邦接受了这个教训...绝对不让某些年轻人进入学院 
 
   
    
                                
    • 
                                
  • 看懂它，你就可以任性的玩耍了！
                                    aijuans
JavaScript
                                    
              javascript作为前端开发的标配技能，如果不掌握好它的三大特点：1.原型 2.作用域 3. 闭包 ,又怎么可以说你学好了这门语言呢？如果标配的技能都没有撑握好，怎么可以任性的玩耍呢？怎么验证自己学好了以上三个基本点呢，我找到一段不错的代码，稍加改动，如果能够读懂它，那么你就可以任性了。 
function jClass(b
    
                                
    • 
                                
  • Java常用工具包 Jodd
                                    Kai_Ge
javajodd
                                    
    Jodd 是一个开源的 Java 工具集， 包含一些实用的工具类和小型框架。简单，却很强大！  写道   Jodd = Tools + IoC + MVC + DB + AOP + TX + JSON + HTML < 1.5 Mb  
Jodd 被分成众多模块，按需选择，其中 
 
  工具类模块有：  
  
   jodd-core    &nb
    
                                
    • 
                                
  • SpringMvc下载
                                    120153216
springMVC
                                    
    @RequestMapping(value = WebUrlConstant.DOWNLOAD)
	public void download(HttpServletRequest request,HttpServletResponse response,String fileName) {
		OutputStream os = null;
		InputStream is = null;

    
                                
    • 
                                
  • Python 标准异常总结
                                    2002wmj
python
                                    
    Python标准异常总结  
    AssertionError 断言语句（assert）失败   AttributeError 尝试访问未知的对象属性   EOFError 用户输入文件末尾标志EOF（Ctrl+d）   FloatingPointError 浮点计算错误   GeneratorExit generator.close()方法被调用的时候   ImportError 导入模块失
    
                                
    • 
                                
  • SQL函数返回临时表结构的数据用于查询
                                    357029540
SQL Server
                                    
    这两天在做一个查询的SQL，这个SQL的一个条件是通过游标实现另外两张表查询出一个多条数据，这些数据都是INT类型，然后用IN条件进行查询，并且查询这两张表需要通过外部传入参数才能查询出所需数据，于是想到了用SQL函数返回值，并且也这样做了，由于是返回多条数据，所以把查询出来的INT类型值都拼接为了字符串，这时就遇到问题了，在查询SQL中因为条件是INT值，SQL函数的CAST和CONVERST都
    
                                
    • 
                                
  • java 时间格式化 | 比较大小| 时区 个人笔记
                                    7454103
javaeclipsetomcatcMyEclipse
                                    
    个人总结！ 不当之处多多包含！ 
 
  引用   1.0 如何设置 tomcat 的时区： 
         位置：(catalina.bat---JAVA_OPTS  下面加上) 
         set JAVA_OPT
    
                                
    • 
                                
  • 时间获取Clander的用法
                                    adminjun
Clander时间
                                    
    /** 
   * 得到几天前的时间 
   * @param d 
   * @param day 
   * @return 
   */ 
  public static Date getDateBefore(Date d,int day){ 
   Calend
    
                                
    • 
                                
  • JVM初探与设置
                                    aijuans
java
                                    
    JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台
    
                                
    • 
                                
  • SQL中ON和WHERE的区别
                                    avords

                                    
    SQL中ON和WHERE的区别       
数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。   www.2cto.com     在使用left jion时，on和where条件的区别如下：    1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。  
    
                                
    • 
                                
  • 说说自信
                                    houxinyou
工作生活
                                    
    自信的来源分为两种,一种是源于实力,一种源于头脑.实力是一个综合的评定,有自身的能力,能利用的资源等.比如我想去月亮上,要身体素质过硬,还要有飞船等等一系列的东西.这些都属于实力的一部分.而头脑不同,只要你头脑够简单就可以了!同样要上月亮上,你想,我一跳,1米,我多跳几下,跳个几年,应该就到了!什么?你说我会往下掉?你笨呀你!找个东西踩一下不就行了吗? 
  
  
无论工作还
    
                                
    • 
                                
  • WEBLOGIC事务超时设置
                                    bijian1013
weblogicjta事务超时
                                    
            系统中统计数据，由于调用统计过程，执行时间超过了weblogic设置的时间，提示如下错误： 
统计数据出错!
原因：The transaction is no longer active - status: 'Rolling Back. [Reason=weblogic.transaction.internal
    
                                
    • 
                                
  • 两年已过去，再看该如何快速融入新团队
                                    bingyingao
java互联网融入架构新团队
                                    
    偶得的空闲，翻到了两年前的帖子 
该如何快速融入一个新团队，有所感触，就记下来，为下一个两年后的今天做参考。 
 
    时隔两年半之后的今天，再来看当初的这个博客，别有一番滋味。而我已经于今年三月份离开了当初所在的团队，加入另外的一个项目组，2011年的这篇博客之后的时光，我很好的融入了那个团队，而直到现在和同事们关系都特别好。大家在短短一年半的时间离一起经历了一
    
                                
    • 
                                
  • 【Spark七十七】Spark分析Nginx和Apache的access.log
                                    bit1129
apache
                                    
    Spark分析Nginx和Apache的access.log，第一个问题是要对Nginx和Apache的access.log文件进行按行解析，按行解析就的方法是正则表达式： 
  
Nginx的access.log解析正则表达式 
  
val PATTERN = """([^ ]*) ([^ ]*) ([^ ]*) (\\[.*\\]) (\&q
    
                                
    • 
                                
  • Erlang patch
                                    bookjovi
erlang
                                    
    Totally five patchs committed to erlang otp, just small patchs. 
IMO, erlang really is a interesting programming language, I really like its concurrency feature. 
but the functional programming style 
    
                                
    • 
                                
  • log4j日志路径中加入日期
                                    bro_feng
javalog4j
                                    
    要用log4j使用记录日志，日志路径有每日的日期，文件大小5M新增文件。 
实现方式 
log4j: 
<appender name="serviceLog"
		class="org.apache.log4j.RollingFileAppender">
      	<param name="Encoding" v
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-桥接模式
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



/**
 * 个人觉得关于桥接模式的例子，蜡笔和毛笔这个例子是最贴切的：http://www.cnblogs.com/zhenyulu/articles/67016.html
 * 笔和颜色是可分离的，蜡笔把两者耦合在一起了：一支蜡笔只有一种
    
                                
    • 
                                
  • windows7下SVN和Eclipse插件安装
                                    chenyu19891124
eclipse插件
                                    
    今天花了一天时间弄SVN和Eclipse插件的安装，今天弄好了。svn插件和Eclipse整合有两种方式，一种是直接下载插件包，二种是通过Eclipse在线更新。由于之前Eclipse版本和svn插件版本有差别，始终是没装上。最后在网上找到了适合的版本。所用的环境系统：windows7JDK：1.7svn插件包版本：1.8.16Eclipse：3.7.2工具下载地址：Eclipse下在地址：htt
    
                                
    • 
                                
  • [转帖]工作流引擎设计思路
                                    comsci
设计模式工作应用服务器workflow企业应用
                                    
     作为国内的同行，我非常希望在流程设计方面和大家交流，刚发现篇好文(那么好的文章，现在才发现，可惜)，关于流程设计的一些原理，个人觉得本文站得高，看得远，比俺的文章有深度，转载如下 
 
================================================================================= 
 
自开博以来不断有朋友来探讨工作流引擎该如何
    
                                
    • 
                                
  • Linux 查看内存，CPU及硬盘大小的方法
                                    daizj
linuxcpu内存硬盘大小
                                    
    一、查看CPU信息的命令 
 
[root@R4 ~]# cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id" 
model name : Intel(R) Xeon(R) CPU X5450 @ 3.00GHz 
model name : 
    
                                
    • 
                                
  • linux 踢出在线用户
                                    dongwei_6688
linux
                                    
    两个步骤： 
1.用w命令找到要踢出的用户，比如下面： 
  
[root@localhost ~]# w
 18:16:55 up 39 days,  8:27,  3 users,  load average: 0.03, 0.03, 0.00
USER     TTY      FROM              LOGIN@   IDLE   JCPU   PCPU WHAT
    
                                
    • 
                                
  • 放手吧,就像不曾拥有过一样
                                    dcj3sjt126com

                                    
    内容提要：   
静悠悠编著的《放手吧就像不曾拥有过一样》集结“全球华语世界最舒缓心灵”的精华故事，触碰生命最深层次的感动，献给全世界亿万读者。《放手吧就像不曾拥有过一样》的作者衷心地祝愿每一位读者都给自己一个重新出发的理由，将那些令你痛苦的、扛起的、背负的，一并都放下吧！把憔悴的面容换做一种清淡的微笑，把沉重的步伐调节成春天五线谱上的音符，让自己踏着轻快的节奏，在人生的海面上悠然漂荡，享受宁静与
    
                                
    • 
                                
  • php二进制安全的含义
                                    dcj3sjt126com
PHP
                                    
    PHP里，有string的概念。
string里，每个字符的大小为byte（与PHP相比，Java的每个字符为Character，是UTF8字符，C语言的每个字符可以在编译时选择）。
byte里，有ASCII代码的字符，例如ABC，123，abc，也有一些特殊字符，例如回车，退格之类的。
特殊字符很多是不能显示的。或者说，他们的显示方式没有标准，例如编码65到哪儿都是字母A，编码97到哪儿都是字符
    
                                
    • 
                                
  • Linux下禁用T440s，X240的一体化触摸板(touchpad)
                                    gashero
linuxThinkPad触摸板
                                    
    自打1月买了Thinkpad T440s就一直很火大，其中最让人恼火的莫过于触摸板。 
  
Thinkpad的经典就包括用了小红点(TrackPoint)。但是小红点只能定位，还是需要鼠标的左右键的。但是自打T440s等开始启用了一体化触摸板，不再有实体的按键了。问题是要是好用也行。 
  
实际使用中，触摸板一堆问题，比如定位有抖动，以及按键时会有飘逸。这就导致了单击经常就
    
                                
    • 
                                
  • graph_dfs
                                    hcx2013
Graph
                                    
    package edu.xidian.graph;

class MyStack {
	private final int SIZE = 20;
	private int[] st;
	private int top;

	public MyStack() {
		st = new int[SIZE];
		top = -1;
	}

	public void push(i
    
                                
    • 
                                
  • Spring4.1新特性——Spring核心部分及其他
                                    jinnianshilongnian
spring 4.1
                                    
    目录 
Spring4.1新特性——综述 
Spring4.1新特性——Spring核心部分及其他 
Spring4.1新特性——Spring缓存框架增强 
Spring4.1新特性——异步调用和事件机制的异常处理 
Spring4.1新特性——数据库集成测试脚本初始化 
Spring4.1新特性——Spring MVC增强 
Spring4.1新特性——页面自动化测试框架Spring MVC T
    
                                
    • 
                                
  • 配置HiveServer2的安全策略之自定义用户名密码验证
                                    liyonghui160com

                                    
      
  
具体从网上看 
  
http://doc.mapr.com/display/MapR/Using+HiveServer2#UsingHiveServer2-ConfiguringCustomAuthentication 
  
 
  
   
   LDAP Authentication using OpenLDAP 
   Setting 
    
                                
    • 
                                
  • 一位30多的程序员生涯经验总结
                                    pda158
编程工作生活咨询
                                    
    1.客户在接触到产品之后，才会真正明白自己的需求。 
　　这是我在我的第一份工作上面学来的。只有当我们给客户展示产品的时候，他们才会意识到哪些是必须的。给出一个功能性原型设计远远比一张长长的文字表格要好。 2.只要有充足的时间，所有安全防御系统都将失败。 
　　安全防御现如今是全世界都在关注的大课题、大挑战。我们必须时时刻刻积极完善它，因为黑客只要有一次成功，就可以彻底打败你。   3.
    
                                
    • 
                                
  • 分布式web服务架构的演变
                                    自由的奴隶
linuxWeb应用服务器互联网
                                    
    最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易
    
                                
    • 
                                
  • 初探Druid连接池之二——慢SQL日志记录
                                    xingsan_zhang
日志连接池druid慢SQL
                                    
    由于工作原因，这里先不说连接数据库部分的配置，后面会补上，直接进入慢SQL日志记录。 
  
1.applicationContext.xml中增加如下配置： 
<bean abstract="true" id="mysql_database" class="com.alibaba.druid.pool.DruidDataSourc
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他