发光如星_275d
发光如星_275d

Hadoop环境搭建

开始正式搭建Hadoop环境，之所以分开写，也是便于阅读及以后参考。

Hadoop环境的搭建过程中，需要配置几个XML文件，接下来简单介绍下这几个XML文件的作用

core-site.xml

主要配置NameNode的一些信息，主要属性如下：


    
    
        fs.defaultFS
        hdfs://ns
    
    
    
        hadoop.tmp.dir
        /usr/local/hadoop/hdpdata/
        需要手动创建hdpdata目录
    
    
    
        ha.zookeeper.quorum
        node01:2181,node02:2181,node03:2181
        zookeeper地址，多个用逗号隔开

hdfs-site.xml

主要配置hdfs


    
    
        dfs.nameservices
        ns
        指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致
    
    
        dfs.ha.namenodes.ns
        nn1,nn2
        ns命名空间下有两个NameNode，逻辑代号，随便起名字，分别是nn1，nn2
    
    
        dfs.namenode.rpc-address.ns.nn1
        node01:9000
        nn1的RPC通信地址
    
    
        dfs.namenode.http-address.ns.nn1
        node01:50070
        nn1的http通信地址
    
    
        dfs.namenode.rpc-address.ns.nn2
        node02:9000
        nn2的RPC通信地址
    
    
        dfs.namenode.http-address.ns.nn2
        node02:50070
        nn2的http通信地址
    
    
    
        dfs.namenode.shared.edits.dir
        qjournal://node03:8485;node04:8485;node05:8485/ns
        指定NameNode的edits元数据在JournalNode上的存放位置
    
    
        dfs.journalnode.edits.dir
        /usr/local/hadoop/journaldata
        指定JournalNode在本地磁盘存放数据的位置
    
    
    
        dfs.ha.automatic-failover.enabled
        true
        开启NameNode失败自动切换
    
    
        dfs.client.failover.proxy.provider.ns
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        配置失败自动切换实现方式,使用内置的zkfc
    
    
        dfs.ha.fencing.methods
        
            sshfence
            shell(/bin/true)
        
        配置隔离机制，多个机制用换行分割，先执行sshfence，执行失败后执行shell(/bin/true)，/bin/true会直接返回0表示成功
    
    
        dfs.ha.fencing.ssh.private-key-files
        /home/hadoop/.ssh/id_rsa
        使用sshfence隔离机制时需要ssh免登陆
    
    
        dfs.ha.fencing.ssh.connect-timeout
        30000
        配置sshfence隔离机制超时时间
    
    
    
        dfs.replication
        3
        设置block副本数为3
    

    
        dfs.block.size
        134217728
        设置block大小是128M

yarn-site.xml

yarn的一些配置信息
由于我们是在虚拟机中配置，hadoop默认集群内存大小为8192MB，一般来说是不够的，需要加参数限制，见下方对内存的设置，当然土豪随意


    
    
        yarn.resourcemanager.ha.enabled
        true
    
    
    
        yarn.resourcemanager.cluster-id
        yarn-ha
    
    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    
    
    
        yarn.resourcemanager.hostname.rm1
        node01
    
    
        yarn.resourcemanager.webapp.address.rm1
        ${yarn.resourcemanager.hostname.rm1}:8088
        HTTP访问的端口号
    
    
        yarn.resourcemanager.hostname.rm2
        node02
    
    
        yarn.resourcemanager.webapp.address.rm2
        ${yarn.resourcemanager.hostname.rm2}:8088
    
    
    
        yarn.resourcemanager.zk-address
        node01:2181,node02:2181,node03:2181
    
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
    
        yarn.log-aggregation-enable
        true
    
    
    
        yarn.nodemanager.remote-app-log-dir
        /data/hadoop/yarn-logs
    
    
    
        yarn.log-aggregation.retain-seconds
        259200
    
        
        yarn.scheduler.minimum-allocation-mb
        2048
        单个任务可申请最少内存，默认1024MB
     
    
        yarn.nodemanager.resource.memory-mb
        2048
        nodemanager默认内存大小，默认为8192MB（value单位为MB）
        
    
        yarn.nodemanager.resource.cpu-vcores
        1
                 nodemanager cpu内核数

环境搭建

主机名 IP 安装软件 运行的进程
node01 192.168.47.10 JDK、Hadoop、Zookeeper NameNode(Active)、DFSZKFailoverController(zkfc)、ResourceManager(Standby)、QuorumPeerMain(Zookeeper)
node02 192.168.47.11 JDK、Hadoop、Zookeeper NameNode(Standby)、DFSZKFailoverController(zkfc)、ResourceManager(Active)、QuorumPeerMain(Zookeeper)、Jobhistory
node03 192.168.47.12 JDK、Hadoop、Zookeeper DataNode、NodeManager、QuorumPeerMain(Zookeeper)、JournalNode
node04 192.168.47.13 JDK、Hadoop DataNode、NodeManager、JournalNode
node05 192.168.47.14 JDK、Hadoop DataNode、NodeManager、JournalNode

本次环境搭建规划如下：

主机名 IP 安装软件 运行的进程
node01 192.168.47.10 JDK、Hadoop、Zookeeper NameNode(Active)、DFSZKFailoverController(zkfc)、ResourceManager(Standby)、QuorumPeerMain(Zookeeper)
node02 192.168.47.11 JDK、Hadoop、Zookeeper NameNode(Standby)、DFSZKFailoverController(zkfc)、ResourceManager(Active)、QuorumPeerMain(Zookeeper)、Jobhistory
node03 192.168.47.12 JDK、Hadoop、Zookeeper DataNode、NodeManager、QuorumPeerMain(Zookeeper)、JournalNode
node04 192.168.47.13 JDK、Hadoop DataNode、NodeManager、JournalNode
node05 192.168.47.14 JDK、Hadoop DataNode、NodeManager、JournalNode

搭建过程中，无特殊说明，均为使用hadoop用户

  • 上传hadoop安装包，本次采用hadoop2.7.4版本
  • 解压tar -xzvf hadoop-2.7.4.tar.gz目录放在hadoop用户家目录apps下
  • 切换root用户，创建软链接ln -s /home/hadoop/apps/hadoop-2.7.4 /usr/local/hadoop
  • 修改属主chown -R hadoop:hadoop /usr/local/hadoop
  • 修改环境变量：vim /etc/profile，添加如下变量，其中，PATH为追加变量
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 编译环境变量source /etc/profile
  • 切换回hadoop用户，进入hadoop配置文件路径cd /usr/local/hadoop/etc/hadoop
  • 修改hadoop-env.sh中JAVA_HOME为jdk安装路径/快捷路径
  • 配置core-site.xml为之前xml内容
  • 配置hdfs-site.xml为之前内容
  • 配置yarn-site.xml为之前内容
  • 配置mapred-site.xml为如下内容(Hadoop安装文件中此文件给的为mapred-site.xml.template，需修改为mapred-site.xml)







    
        mapreduce.framework.name
        yarn
        指定mr框架为yarn方式 
    
    
    
        mapreduce.jobhistory.address
        node02:10020
        历史服务器端口号
    
    
        mapreduce.jobhistory.webapp.address
        node02:19888
        历史服务器的WEB UI端口号
    
    
        mapreduce.jobhistory.joblist.cache.size
        2000
        内存中缓存的historyfile文件信息(主要是job对应的文件目录)
  • 手动创建指定的临时目录：mkdir /usr/local/hadoop/hdpdata
  • 修改slaves文件，设置datanode和nodemanager启动节点主机名称
    在slaves文件中添加节点的主机名称
    node03
    node04
    node05

配置hadoop用户免密码登录

需要配置集群之间的免密码登录

  • 在所有节点产生秘钥及公钥ssh-keygen -t rsa
  • 在每个节点上，将公钥copy到node01ssh-copy-id -i node01
  • 将node01节点上的authorized_keys copy到其他节点scp authorized_keys hadoop@node02:/home/hadoop/.ssh
  • 每个节点分别尝试与其他节点的ssh登录，包括自己ssh node01，如果需要输入密码，则是第一次登录，输入就好

在其他节点配置hadoop

  • 将配置好的hadoop安装目录copy到其他节点（切换到hadoop安装目录）scp -r hadoop-2.7.4 hadoop@node02:/home/hadoop/apps
  • 创建软链接，修改软链接属主
  • 添加环境变量
    至此，集群环境准备工作基本就绪，检查一下防火墙是否关闭（iptables -L），及SELinux的状态(getenforce)，防止启动时出错
    Hadoop环境搭建_第1张图片
    防火墙关闭但selinux不正常.jpg

    上图中，防火墙状态正常，但SELinux不对，设置SELinuxsetenforce 0，再看状态变为Permissive

启动集群

  • 切换回hadoop用户
  • 启动journalnode(分别在node03、node04、node05上启动)/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode启动成功后，jps会看到多了如下进程JournalNode
  • 格式化HDFS 在node01上执行命令hdfs namenode -format，格式化成功后会在core-site.xml中的hadoop.tmp.dir指定的路径下生成dfs文件夹，将该文件夹拷贝到node02的相同路径下
    scp -r hdpdata hadoop@node02:/usr/local/hadoop
  • 在node01上执行格式化ZKFC的操作hdfs zkfc -formatZK执行成功，日志输出如下信息
    INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns in ZK
    Hadoop环境搭建_第2张图片
    格式化zkfc成功.jpg
  • 在node01上启动HDFSsbin/start-dfs.sh
    启动成功后，在node03、node04、node05会出现datanode进程，在node01、node02会出现NameNode进程及DFSZKFailoverController进程
  • 在node02上启动YARNsbin/start-yarn.sh
  • 在node01单独启动一个ResourceManger作为备份节点sbin/yarn-daemon.sh start resourcemanager
  • 在node02上启动JobHistoryServersbin/mr-jobhistory-daemon.sh start historyserver
  • 至此，hadoop启动完成
HDFS HTTP访问地址
NameNode (active)：http://192.168.47.10:50070
NameNode (standby)：http://192.168.47.11:50070
ResourceManager HTTP访问地址
ResourceManager ：http://192.168.47.11:8088
历史日志HTTP访问地址
JobHistoryServer：http://192.168.47.11:19888

集群验证

  • 验证HDFS 是否正常工作及HA高可用
  1. 向hdfs上传一个文件 hadoop fs -put /usr/local/hadoop/README.txt /
  2. 在active节点手动关闭active的namenodesbin/hadoop-daemon.sh stop namenode
  3. 通过HTTP 50070端口查看standby namenode的状态是否转换为active，再手动启动上一步关闭的namenodesbin/hadoop-daemon.sh start namenode
  • 验证YARN是否正常工作及ResourceManager HA高可用
  1. 运行测试hadoop提供的demo中的WordCount程序：
hadoop fs -mkdir /wordcount
hadoop fs -mkdir /wordcount/input 
hadoop fs -mv /README.txt /wordcount/input 
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input  /wordcount/output

注意：HDFS 上/wordcount/output 为输出路径不能存在，否则任务不能执行

  • 验证ResourceManager HA
  1. 手动关闭node02的ResourceManagersbin/yarn-daemon.sh stop resourcemanager
  2. 通过HTTP 8088端口访问node01的ResourceManager查看状态
  3. 手动启动node02 的ResourceManagersbin/yarn-daemon.sh start resourcemanager

附录：

  • 关闭Journalnode: hadoop目录下：sbin/hadoop-daemon.sh stop journalnode
  • 在刚开始搭建时，没有配置nodemanager内存大小，导致nodemanager启动不起来，查看日志，通过网络搜索，发现是内存不够，需要配置nodemanager的内存参数，见上文，内存参数为后来补充

你可能感兴趣的:(Hadoop环境搭建)

  • Hadoop的部分用法 覃炳文20230322027 hadoophive大数据分布式
    前言Hadoop是一个由Apache基金会开发的开源框架，它允许跨多个机器使用分布式处理大数据集。Hadoop的核心是HDFS（HadoopDistributedFileSystem）和MapReduce编程模型。1.Hadoop环境搭建在开始使用Hadoop之前，你需要搭建Hadoop环境。这通常包括安装Java、配置Hadoop环境变量、配置Hadoop的配置文件等步骤。1.1环境准备在开始安
  • 手把手教Hadoop环境搭建，学不会你咬我～ 程序IT圈 hadoopjdklinuxcentoshdfs
    之前后台小伙伴私信我想了解hadoop的单机环境安装，以方便用于hadoop学习，今天给大家安排上了，废话不多说，直接上干货。目录前置条件配置SSH免密登录Hadoop(HDFS)环境搭建Hadoop(YARN)环境搭建1、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见：1.1下载并解压在官网下载所需版本的JDK，这里我下载的版本为JDK1.8,下载后进行解压：[root@ jav
  • Hadoop环境搭建 业里村牛欢喜 hadoop大数据hdfs
    目录一、简介1.1、概念1.2、优势1.3、Hadoop组成部分二、Hadoop运行环境搭建2.1安装VM（虚拟机管理环境）2.2VM网络设置2.3安装CentOS7系统2.4master主机进行网络配置2.5同步时间2.6Xshell6的安装与使用2.7关闭防火墙2.8设置主机名2.9hosts设置2.10安装JDK2.11Hadoop安装与环境配置启动关闭Hadoop一、简介1.1、概念Had
  • 从 Linux 安装到 Hadoop 环境搭建全过程 奇妙的代码 Linuxhadooplinux大数据
    Hadoop环境搭建从Linux的最小化安装到Hadoop环境的搭建，尽可能详尽介绍每个步骤。文章目录Hadoop环境搭建环境准备安装CentOS7配置yum源安装JDK安装Hadoop（伪分布模式）免密登录开放防火墙的端口安装Hadoop（完全分布模式）环境准备首先需要将如下四个必要的文件下载到计算机（已经附上了下载地址，点击即可下载）。VmwareWorkstation16.x【官方的下载地址
  • hadoop环境搭建 熊_看不见
    一、平台环境CentOS6.5二、软件版本hadoop-2.8.1下载地址jdk-8u45-linux-x64下载地址apache-maven-3.3.9软件下载三、内容目录前置内容1.1jdk安装和配置1.2maven安装和配置1.3hadoop编译相关知识2.1hadoop部署方式介绍2.2hadoop主要组件介绍2.3hadoop主要进程介绍2.4jps命令介绍环境搭建3.1Hadoop本地
  • Hadoop集群搭建详细教程 百万攻程狮 Hadoophadoop大数据分布式
    Hadoop环境搭建1.环境准备1.首先创建一台模板机所谓的模板机是进行了一些最基础的配置，比如说进行主机名修改、网络配置、下载一些插件等准备工作。不会创建虚拟机的可以通过Centos7.5安装配置及虚拟机搭建详细教程进行虚拟机创建。1.1网络测试[root@hadoop101~]#pingwww.baiu.com如果ping不通百度，可能是网络配置没有配置好，可以通过配置文件等修改。1.2修改I
  • Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决 杀死一只知更鸟debug Linuxhadoop大数据hdfs
    Hadoop集群搭建，基于3.3.4hadoop和centos8【小白图文教程-从零开始搭建Hadoop集群】，常见问题解决Hadoop集群搭建，基于3.3.4hadoop1.虚拟机的创建1.1第一台虚拟机的创建1.2第一台虚拟机的安装1.3第一台虚拟机的网络配置1.3.1主机名和IP映射配置1.3.2网络参数配置1.4第一台虚拟机的Java,Hadoop环境搭建1.4.1Java环境搭建1.4.
  • Hadoop环境搭建 Super乐 Hadoophadoop分布式大数据
    前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
  • 史上最详细的hadoop环境搭建 xk_一步一步来 Hadoop
    转自：https://blog.csdn.net/hliq5399/article/details/78193113前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为
  • 史上最详细的Hadoop环境搭建 p312011150 大型网站架构数据库
    2017年10月10日15:23:59阅读数：37070GitChat作者：鸣宇淳原文：史上最详细的Hadoop环境搭建关注公众号：GitChat技术杂谈，一本正经的讲技术【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也
  • Hadoop环境搭建及Demo 星航夜空的帆舟 疑难杂症hadoop大数据分布式
    参考博客Windows10安装Hadoop3.3.0教程(kontext.tech)Hadoop入门篇——伪分布模式安装&WordCount词频统计|LiuBaoshuai’sBlogHadoop安装教程Linux版_linux和hadoop的安装_lnlnldczxy的博客-CSDN博客hadoop启动出错Thevalueofpropertybind.addressmustnotbenullHa
  • Hadoop环境搭建 星星失眠️ hadoop大数据分布式
    1Hadoop集群环境搭建概述所谓集群，就是一组通过网络互联的计算机，集群中的每一台计算机称作一个节点，Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件，然后对外提供大数据存储和分析等相关服务。一个前提：Hadoop是为了在Linux平台上使用而开发的一个现实：我们的电脑不是Linux系统如何解决？？？搭建虚拟机，在虚拟机上安装Linux操作系统虚拟机是什么？虚拟的计算机，
  • 搭建伪分布式hadoop系统 arnoldmp hadoophdfs大数据vmwarelinux
    搭建伪分布式hadoop系统一、搭建思路1、软件准备2、基础平台环境搭建（1）VMwareWorkstationPro虚拟机安装（2）CentOS-7-x86_64操作系统安装（3）MobaXterm_Installer_v11.1远程登陆工具安装3、Hadoop环境搭建4、Hadoop环境测试5、问题解决二、软件准备选择在虚拟机中搭建伪分布式hadoop集群系统，首先确定要使用哪些环境软件，使用
  • spark集成hadoop 0x12A2A7F sparkhadoopbigdata
    hadoop环境搭建请参考hadoop3.2.2集群搭建环境centos7、jdk1.8.0_311、scala-2.12.15、zookeeper-3.6.3、hadoop3.2.2、spark-3.2.1-bin-hadoop3.2spark配置配置${SPARK_HOME}/conf/spark-defaults.conf，添加如下内容：spark.serializerorg.apache.
  • hadoop环境搭建———Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0【转载搬运】 JYeontu hadoop伪分布大数据hadoop环境配置hdfs
    最近开始学习大数据，想自己在虚拟机上搭建个伪分布，在网上也找了很多教程，踩了很多坑，最后发现了厦门大学大数据实验室林子雨老师的这个教程，按着步骤终于成功搭建，所以想分享一下，大家可以少踩一些坑，还有就是林子雨老师在慕课上的课程也都很有趣，在这里我也推荐有兴趣的可以去看看，以下均为转载内容，如有侵权，可以联系我删除。本Hadoop教程由厦门大学数据库实验室出品，转载请注明。本教程适合于在CentOS
  • 大数据实战 Linux Ubuntu 20.04.1 hadoop 2.8.5 在MapReduce平台 编写单词计数程序 十旬叶大叔 Linux大数据hadoopmapreducejava
    1.前期工作hadoop环境搭建成功。详细如何搭建hadoop环境可以点击这里2.在server最小化系统进行单词计数2.1切换用户，查看进程目的：保证hadoop集群开启su-angel主节点进程从节点进程2.3建立测试文档测试文档的路径是/home/angelvim.tinysw1.txtvim.tinysw2.txt2.4建立测试文件夹并上传到集群在集群中查看文件hdfsdfs-ls/在集群
  • Hadoop环境搭建---环境准备篇 祁连% Hadoophadooplinux大数据
    目录1、安装JDK2、Hadoop安装3、本地运行模式（官方WordCount）4、完全分布式运行模式4.1scp4.1.1把zabbix1上的JDK拷贝到zabbix2上面4.1.2在zabbix2上拉取zabbix1上的Hadoop-3.1.34.1.3在zabbix2上将zabbix1上的文件拷贝到zabbix3上4.2rsync远程同步工具4.2.1删掉zabbix2中的wcinput和w
  • 大数据----2.基础环境搭建 学无止境的大象 #大数据大数据hadoopsparkjavahive
    大数据hadoop环境搭建一、linux环境搭建1.linux环境1.hadoop是运行在linux系统之上；但是也有windows版本的hadoop；学习的时候使用linux来进行学习；使用虚拟机虚拟一个linux操作系统出来：（先做好单台服务器的相关配置，然后直接克隆其他节点服务器即可）1.设置虚拟机的的ip地址；（一般都是设置为静态地址）第一种操作：安装桌面版的centos系统（自动来获取地
  • 大数据组件测试环境 程序猿张同学 大数据学习linux学习大数据linuxcentos
    一、大数据组件环境搭建1.Hadoop环境搭建1.1模板虚拟机环境准备0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@hadoop100~
  • Hadoop环境搭建 后端小知识 专业课笔记（持续更新）hadooplinux大数据java
    作者：后端小知识CSDN个人主页：后端小知识GZH：后端小知识欢迎关注点赞收藏⭐️留言文章目录Hadoop环境搭建前言虚拟机环境准备克隆虚拟机在hadoop102安装JDK在hadoop102安装HadoopHadoop目录结构Hadoop环境搭建前言最近在网上学习了下Hadoop，顺便记录了下笔记，笔记内容来源于某谷，能够方便大家直接粘贴使用提效，另外在线学习本节会涉及到较多的虚拟机知识和Lin
  • 二. hadoop环境搭建 yanghx
    image.png配置hadoopTODO格式化HDFS这一步操作，只是在第一次时执行，每次如果都格式化的话，那么HDFS上的数据就会被清空。在hadoop-bin目录下hdfsnamenode-format启动HDFSsbin/start-dfs.sh验证是否启动成功jpsjpsDataNodeSecondaryNameNodeNameNode浏览器http://localhost:50070停
  • (小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建 VaceMan 大数据技术篇hadoopubuntulinux
    目录0.准备1.Hadoop伪分布式环境搭建2.安装ssh，配置ssh无密码登录3.通过拖拽的方式将文件从windows传到linux桌面5.安装hadoop6.修改hadoop环境变量7.修改配置文件core-site.xml8.修改配置文件hdfs-site.xml文件9.执行NameNode的格式化10.开启NameNode和DataNode守护进程11.访问web页面12.关闭Hadoop
  • hadoop环境搭建步骤 小赖同学啊 BigDatehadoop环境步骤
    搭建Hadoop的环境准备实验的环境：1、安装Linux、JDK2、配置主机名、免密码登录3、约定：安装目录：/root/training安装：1、解压:tar-zxvfhadoop-2.4.1.tar.gz-C/root/training/2、设置环境变量：vi~/.bash_profileHADOOP_HOME=/root/training/hadoop-2.4.1exportHADOOP_H
  • Eclipse安装Hadoop插件 zerokissingthefire
    本人需要用到Eclipse安装Hadoop插件，但是对于一个从没用过的Eclipse的我来说也是找了很多东西，下面我就介绍一下怎么安装。JDK安装配置如果还没有安装Eclipse的朋友们需要先安装并配置好JDK，再下载安装Eclipse，这些我相信大家走到这一步的时候肯定都会了，就不赘述了。接下来，进入Hadoop环境搭建。2.Hadoop插件安装和配置在Eclipse配置Hadoop环境之前应该
  • Windows下本地hadoop环境搭建 YuuuuuYt hadoop
    首先声明，由于课程需要搭建hadoop环境而本人又不太懂这些，在多个教程的结合下才搭建完成，以下内容用来总结如何搭建（可能存在一些不太确定的小问题）。我使用的版本为hadoop-3.1.3版本，安装路径为E:\QQ\文件\2020\hadoop-3.1.3前提：先配置jdk环境变量以及hadoop的安装1、首先配置环境变量：hadoop-3.1.3的bin和sbin需要在path和hadoop_h
  • 【hadoop】centos7.6+hadoop3.1.1搭建分布式hadoop环境——包含各类问题解决方案 暗夜无风 数据库分布式hadoop大数据
    本文针对centos7.4即以上版本的hadoop环境搭建，因为这部分搭建是个很复杂且很容易出错的内容，所以在结合了多种搭建方案后给出最适宜当前版本的搭建。目录一、准备阶段环境要求软件版本要求配置部署环境二、部署阶段部署ZooKeeper安装ZooKeeper并配置环境变量修改ZooKeeper配置文件同步配置到其它节点运行验证问题出现：Errorcontactingservice.Itispro
  • Hadoop环境搭建常见错误 YOLO数据集工作室 学习笔记hadoop大数据分布式
    三、常见错误及解决方案1）防火墙没关闭、或者没有启动YARNINFOclient.RMProxy:ConnectingtoResourceManagerathadoop108/192.168.10.108:80322）主机名称配置错误3）IP地址配置错误4）ssh没有配置好5）root用户和ovo两个用户启动集群不统一6）配置文件修改不细心7）不识别主机名称java.net.UnknownHost
  • hadoop解决文件上传问题（DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException） 生夏夏夏 大数据hdfsbigdata
    完成Hadoop环境搭建后，使用Hadoopshell命令时---上传本地文件到HDFS的目录下，出现如下报错：通过查资料，应该是我多次执行NameNode格式化导致的（因为多次格式化namenode会造成namenode和datanode的clusterID不一致！每次格式化时，namenode会更新clusterID，但是datanode只会在首次格式化时确定）解决方案：1、首先使用以下命令查
  • Hadoop环境搭建（保姆级教学） Nuyoahㅤㅤ 大数据hadoop大数据分布式
    Hadoop大数据Hadoop环境搭建一、基本配置二、任务部署三、Hadoop搭建的安装包四、知识讲解简单说明：VMware版本：linux版本：1、linux系统的安装：1、安装VMware2、linux虚拟机配置ios3、linux虚拟机设置网络配置4、克隆虚拟机5、克隆机更改ip地址2、安装大数据集群环境基本配置1、三台虚拟机关闭防火墙2、三台虚拟机更改主机名3、三台虚拟机更改主机名与ip映
  • 【大数据基石】Hadoop环境搭建 第七人格 大数据基石hadoop大数据hdfs
    文章目录前言配置hosts关闭防火墙配置SSH免密下载Hadoop解压Hadoop到指定目录添加环境变量修改Hadoop配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkershadoop-env.sh其他2台服务器也这样配置初始化NameNode启动hdfs启动Yarn启动历史记录服务器✨这里是第七人格的博客。小七，欢迎您
  • ztree设置禁用节点 3213213333332132 JavaScriptztreejsonsetDisabledNodeAjax
    ztree设置禁用节点的时候注意，当使用ajax后台请求数据,必须要设置为同步获取数据，否者会获取不到节点对象，导致设置禁用没有效果。 $(function(){ showTree(); setDisabledNode(); });
  • JVM patch by Taobao bookjovi javaHotSpot
    在网上无意中看到淘宝提交的hotspot patch，共四个，有意思，记录一下。   7050685：jsdbproc64.sh has a typo in the package name 7058036：FieldsAllocationStyle=2 does not work in 32-bit VM 7060619：C1 should respect inline and
  • 将session存储到数据库中 dcj3sjt126com sqlPHPsession
    CREATE TABLE sessions ( id CHAR(32) NOT NULL, data TEXT, last_accessed TIMESTAMP NOT NULL, PRIMARY KEY (id) );   <?php /** * Created by PhpStorm. * User: michaeldu * Date
  • Vector 171815164 vector
    public Vector<CartProduct> delCart(Vector<CartProduct> cart, String id) { for (int i = 0; i < cart.size(); i++) { if (cart.get(i).getId().equals(id)) { cart.remove(i);
  • 各连接池配置参数比较 g21121 连接池
            排版真心费劲，大家凑合看下吧，见谅~     Druid DBCP C3P0 Proxool 数据库用户名称 Username Username User   数据库密码 Password Password Password   驱动名
  • [简单]mybatis insert语句添加动态字段 53873039oycg mybatis
          mysql数据库,id自增,配置如下：       <insert id="saveTestTb" useGeneratedKeys="true" keyProperty="id" parameterType=&
  • struts2拦截器配置 云端月影 struts2拦截器
    struts2拦截器interceptor的三种配置方法 方法1. 普通配置法 <struts>     <package name="struts2" extends="struts-default">         &
  • IE中页面不居中，火狐谷歌等正常 aijuans IE中页面不居中
    问题是首页在火狐、谷歌、所有IE中正常显示，列表页的页面在火狐谷歌中正常，在IE6、7、8中都不中，觉得可能那个地方设置的让IE系列都不认识，仔细查看后发现，列表页中没写HTML模板部分没有添加DTD定义，就是<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3
  • String,int,Integer,char 几个类型常见转换 antonyup_2006 htmlsql.net
    如何将字串 String 转换成整数 int? int i = Integer.valueOf(my_str).intValue(); int i=Integer.parseInt(str); 如何将字串 String 转换成Integer ? Integer integer=Integer.valueOf(str); 如何将整数 int 转换成字串 String ? 1.
  • PL/SQL的游标类型 百合不是茶 显示游标(静态游标)隐式游标游标的更新和删除%rowtyperef游标(动态游标)
    游标是oracle中的一个结果集,用于存放查询的结果;   PL/SQL中游标的声明; 1,声明游标 2,打开游标(默认是关闭的); 3,提取数据 4,关闭游标     注意的要点:游标必须声明在declare中,使用open打开游标,fetch取游标中的数据,close关闭游标   隐式游标:主要是对DML数据的操作隐
  • JUnit4中@AfterClass @BeforeClass @after @before的区别对比 bijian1013 JUnit4单元测试
    一.基础知识 JUnit4使用Java5中的注解（annotation），以下是JUnit4常用的几个annotation： @Before：初始化方法   对于每一个测试方法都要执行一次（注意与BeforeClass区别，后者是对于所有方法执行一次）@After：释放资源  对于每一个测试方法都要执行一次（注意与AfterClass区别，后者是对于所有方法执行一次
  • 精通Oracle10编程SQL(12)开发包 bijian1013 oracle数据库plsql
    /* *开发包 *包用于逻辑组合相关的PL/SQL类型（例如TABLE类型和RECORD类型）、PL/SQL项（例如游标和游标变量）和PL/SQL子程序（例如过程和函数） */ --包用于逻辑组合相关的PL/SQL类型、项和子程序，它由包规范和包体两部分组成 --建立包规范：包规范实际是包与应用程序之间的接口，它用于定义包的公用组件，包括常量、变量、游标、过程和函数等 --在包规
  • 【EhCache二】ehcache.xml配置详解 bit1129 ehcache.xml
    在ehcache官网上找了多次，终于找到ehcache.xml配置元素和属性的含义说明文档了，这个文档包含在ehcache.xml的注释中！ ehcache.xml ： http://ehcache.org/ehcache.xml ehcache.xsd ： http://ehcache.org/ehcache.xsd ehcache配置文件的根元素是ehcahe   ehcac
  • java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderL 白糖_ javaeclipsespringtomcatWeb
    今天学习spring+cxf的时候遇到一个问题：在web.xml中配置了spring的上下文监听器： <listener> <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class> </listener>  随后启动
  • angular.element boyitech AngularJSAngularJS APIangular.element
    angular.element 描述:     包裹着一部分DOM element或者是HTML字符串，把它作为一个jQuery元素来处理。（类似于jQuery的选择器啦）     如果jQuery被引入了，则angular.element就可以看作是jQuery选择器，选择的对象可以使用jQuery的函数；如果jQuery不可用，angular.e
  • java-给定两个已排序序列，找出共同的元素。 bylijinnan java
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class CommonItemInTwoSortedArray { /** * 题目：给定两个已排序序列，找出共同的元素。 * 1.定义两个指针分别指向序列的开始。 * 如果指向的两个元素
  • sftp 异常，有遇到的吗？求解 Chen.H javajcraftauthjschjschexception
    com.jcraft.jsch.JSchException: Auth cancel at com.jcraft.jsch.Session.connect(Session.java:460) at com.jcraft.jsch.Session.connect(Session.java:154) at cn.vivame.util.ftp.SftpServerAccess.connec
  • [生物智能与人工智能]神经元中的电化学结构代表什么? comsci 人工智能
         我这里做一个大胆的猜想,生物神经网络中的神经元中包含着一些化学和类似电路的结构,这些结构通常用来扮演类似我们在拓扑分析系统中的节点嵌入方程一样,使得我们的神经网络产生智能判断的能力,而这些嵌入到节点中的方程同时也扮演着"经验"的角色....      我们可以尝试一下...在某些神经
  • 通过LAC和CID获取经纬度信息 dai_lm laccid
    方法1： 用浏览器打开http://www.minigps.net/cellsearch.html，然后输入lac和cid信息(mcc和mnc可以填0)，如果数据正确就可以获得相应的经纬度 方法2： 发送HTTP请求到http://www.open-electronics.org/celltrack/cell.php?hex=0&lac=<lac>&cid=&
  • JAVA的困难分析 datamachine java
    前段时间转了一篇SQL的文章（http://datamachine.iteye.com/blog/1971896），文章不复杂，但思想深刻，就顺便思考了一下java的不足，当砖头丢出来，希望引点和田玉。   -----------------------------------------------------------------------------------------
  • 小学5年级英语单词背诵第二课 dcj3sjt126com englishword
    money 钱 paper 纸 speak 讲，说 tell 告诉   remember 记得，想起 knock 敲，击，打 question 问题 number 数字，号码   learn 学会，学习 street 街道 carry 搬运，携带 send 发送，邮寄，发射   must 必须 light 灯，光线，轻的 front
  • linux下面没有tree命令 dcj3sjt126com linux
    centos p安装 yum -y install tree   mac os安装 brew install tree   首先来看tree的用法 tree 中文解释：tree 功能说明：以树状图列出目录的内容。 语　　法：tree [-aACdDfFgilnNpqstux][-I <范本样式>][-P <范本样式
  • Map迭代方式，Map迭代，Map循环 蕃薯耀 Map循环Map迭代Map迭代方式
    Map迭代方式，Map迭代，Map循环   >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年
  • Spring Cache注解+Redis hanqunfeng spring
    Spring3.1 Cache注解  依赖jar包： <!-- redis --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redis</artifactId>
  • Guava中针对集合的 filter和过滤功能 jackyrong filter
    在guava库中，自带了过滤器(filter)的功能，可以用来对collection 进行过滤，先看例子：    @Test public void whenFilterWithIterables_thenFiltered() { List<String> names = Lists.newArrayList("John"
  • 学习编程那点事 lampcy 编程androidPHPhtml5
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • 架构师之流处理---------bytebuffer的mark,limit和flip nannan408 ByteBuffer
    1.前言。   如题，limit其实就是可以读取的字节长度的意思，flip是清空的意思，mark是标记的意思 。 2.例子. 例子代码: String str = "helloWorld"; ByteBuffer buff = ByteBuffer.wrap(str.getBytes()); Sy
  • org.apache.el.parser.ParseException: Encountered " ":" ": "" at line 1, column 1 Everyday都不同 $转义el表达式
    最近在做Highcharts的过程中，在写js时，出现了以下异常：   严重: Servlet.service() for servlet jsp threw exception org.apache.el.parser.ParseException: Encountered " ":" ": "" at line 1,
  • 用Java实现发送邮件到163 tntxia java实现
    /* 在java版经常看到有人问如何用javamail发送邮件？如何接收邮件？如何访问多个文件夹等。问题零散，而历史的回复早已经淹没在问题的海洋之中。 本人之前所做过一个java项目，其中包含有WebMail功能，当初为用java实现而对javamail摸索了一段时间，总算有点收获。看到论坛中的经常有此方面的问题，因此把我的一些经验帖出来，希望对大家有些帮助。 此篇仅介绍用
  • 探索实体类存在的真正意义 java小叶檀 POJO
    一. 实体类简述    实体类其实就是俗称的POJO,这种类一般不实现特殊框架下的接口，在程序中仅作为数据容器用来持久化存储数据用的 POJO（Plain Old Java Objects）简单的Java对象   它的一般格式就是 public class A{ private String id; public Str
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他