zhangbeizhen18
zhangbeizhen18

CentOS-7安装Hadoop伪分布式模式(hadoop-2.9.2)

备忘录：为查询和总结记录。
记录：NO.225
本例环境：
        操作系统：CentOS-7-x86_64-DVD-1908
        JDK版本：jdk-8u251-linux-x64
        Hadoop版本：hadoop-2.9.2
        远程连接工具：SecureCRT 8.0
        官网地址：https://hadoop.apache.org/
        官网文档地址：https://hadoop.apache.org/docs
        官网下载地址：https://archive.apache.org/dist/hadoop/common/
        Linux环境准备：https://blog.csdn.net/zhangbeizhen18/article/details/107437516
1.Hadoop运行模式
        本地模式，Standalone Operation。
        伪分布式模式，Pseudo-Distributed Operation。
        完全分布式模式，Fully-Distributed Operation。
2.创建目录
        本例在/home/apps目录下创建module和software，安装包放在software备用，
        module目录存安装软件。
        命令如下：
        sudo mkdir module
        sudo mkdir software
        sudo chown learn:learn /home/apps/module/ /home/apps/software/
        注意：在部署操作使用一个普通用户learn进行操作。
        其中learn用户具备root操作权限，即在
        /etc/sudoers文件中新增
        learn    ALL=(ALL)       ALL
        在遇到需要root权限时，就在操作命令前添加sudo即可。
3.本例jdk安装
        tar -zxvf jdk-8u251-linux-x64.rpm
        如上安装就在默认路径下，即/usr/java/jdk1.8.0_251-amd64中
        指定目录安装：
        tar -zxvf jdk-8u251-linux-x64.rpm -C /home/apps/module/    
        在 /etc/profile新增环境变量：
        vim /etc/profile
        ##JAVA_HOME
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
        export PATH=$PATH:$JAVA_HOME/bin
        生效：
        source /etc/profile
        验证java命令生效：
        java -version
4.安装Hadoop
        在/home/apps/software/操作
        tar -zxvf hadoop-2.9.2.tar.gz -C /home/apps/module/
        安装后hadoop落盘在/home/apps/module/hadoop-2.9.2
5.配置Hadoop环境变量
        在 /etc/profile新增环境变量：
        vim /etc/profile
        sudo vim /etc/profile
        ###HADOOP_HOME 2020-7-19
        export HADOOP_HOME=/home/apps/module/hadoop-2.9.2
        export PATH=$PATH:$HADOOP_HOME/bin
        export PATH=$PATH:$HADOOP_HOME/sbin
        生效：
        source /etc/profile
        验证hadoop命令生效：
        hadoop
6.本例环境说明
        用户：learn
        主机名：hadoop150
        hosts域名映射：192.168.110.150 hadoop150
7.配置HDFS
        在/home/apps/module/hadoop-2.9.2目录
        配置文件在目录：
        /home/apps/module/hadoop-2.9.2/etc/hadoop
7.1修改hadoop-env.sh
        遇到.sh考虑修改jdk路径
        vim hadoop-env.sh 
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
7.2修改core-site.xml
        vim core-site.xml
       
       
        fs.defaultFS
            hdfs://hadoop150:9000
       
       
       
            hadoop.tmp.dir
            /home/apps/module/hadoop-2.9.2/data/tmp
       
7.3修改hdfs-site.xml
        vim hdfs-site.xml 
       
       
                dfs.replication
                1
            
8.启动HDFS验证
        HDFS启动验证，即HDFS可独立运行。
8.1启动命令
        在/home/apps/module/hadoop-2.9.2
        首先格式化格式化NameNode（第一次启动格式化）
        bin/hdfs namenode -format
        先启动NameNode，再启动DataNode，命令依次
        sbin/hadoop-daemon.sh start namenode
        sbin/hadoop-daemon.sh start datanode
        关闭，则先关闭DataNode，再NameNode。
        sbin/hadoop-daemon.sh stop datanode
        sbin/hadoop-daemon.sh stop namenode
        使用jps查看进程，本例有如下进程
        24049 Jps
        23878 NameNode
        23993 DataNode
8.2启动过程报错
        在/home/apps/module/hadoop-2.9.2/logs查看
8.3在浏览器中验证HDFS    
        访问方式：    
        http://hadoop150:50070/
        或者
        192.168.110.150:50070
        使用域名访问，则访问机器需配置hosts文件
        比如本例在window中配置
        C:\Windows\System32\drivers\etc\hosts
        新增：
        192.168.110.150 hadoop150
        访问到页面如下：
        注意在页面中Utilities中查看 browse the file system，这是HDFS文件系统路径。
9.操作HDFS文件系统
9.1在HDFS文件系统上创建一个input文件夹
        在/home/apps/module/hadoop-2.9.2中执行命令
        bin/hdfs dfs -mkdir -p /user/learn/input
        解析：
        bin/hdfs dfs  操作HDFS文件系统
        -mkdir -p /user/learn/input 创建目录，和操作Linux本地文件类似，加一个-
        在浏览器Utilities菜单的browse the file system查看
        如下：
        xx
9.2从Linux本地上传文件到HDFS文件系统
        在/home/apps/module/hadoop-2.9.2中创建文件并复制点内容
        本例是：
        /home/apps/module/hadoop-2.9.2/input/info.txt
        上传命令：
        bin/hdfs dfs -put input/info.txt  /user/learn/input
        可以在页面查看
        命令查看如下
        bin/hdfs dfs -ls /user/learn/input
        bin/hdfs dfs -cat /user/learn/input/info.txt
9.3在HDFS文件系统运行WordCount案例
        命令：
        bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/learn/input /user/learn/output
        这条指令没有特殊标识运行的是hdfs文件系统，
        注意：配置了HDFS后，执行的就是hdfs文件系统文件了。
9.4在HDFS文件系统查看结果
        bin/hdfs dfs -ls /user/learn/output
        bin/hdfs dfs -cat /user/learn/output/part-r-00000
9.5小结
        HDFS文件系统配置完成后可独立运行，且hadoop命令读取的文件不再是本地，而是HDFS文件系统。
        MapReduce运行在HDFS上。
10.配置YARN
        在/home/apps/module/hadoop-2.9.2目录
        配置文件在目录：
        /home/apps/module/hadoop-2.9.2/etc/hadoop
10.1修改yarn-env.sh
        vim yarn-env.sh
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
10.2修改yarn-site.xml
       
       
             yarn.nodemanager.aux-services
             mapreduce_shuffle
       
       
       
            yarn.resourcemanager.hostname
            hadoop150
       
10.3修改mapred-env.sh
        vim mapred-env.sh
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
10.4修改mapred-site.xml
        cp mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
       
       
            mapreduce.framework.name
            yarn
       
11.启动HDFS验证
11.1启动验证
        在/home/apps/module/hadoop-2.9.2目录
        启动ResourceManager
        sbin/yarn-daemon.sh start resourcemanager
        启动nodemanager
        sbin/yarn-daemon.sh start nodemanager
        使用jps验证有如下进程：
        40325 ResourceManager
        23878 NameNode
        40630 Jps
        23993 DataNode
        40590 NodeManager
11.2在浏览器验证
        查看HDFS
        http://hadoop150:50070/
        或者
        192.168.110.150:50070
        查看MapReduce
        http://hadoop150:8088
11.3运行WordCount案例
        删除上一次运行的输出文件
        bin/hdfs dfs -rm -r /user/learn/output
        运行
        bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/learn/input /user/learn/output
        查看结果：
        bin/hdfs dfs -ls /user/learn/output
        bin/hdfs dfs -cat /user/learn/output/part-r-00000
12.配置历史日志服务器
        配置文件在目录：
        /home/apps/module/hadoop-2.9.2/etc/hadoop
12.1修改mapred-site.xml
        vim mapred-site.xml
       
       
            mapreduce.jobhistory.address
            hadoop150:10020
       
       
       
            mapreduce.jobhistory.webapp.address
            hadoop150:19888
       
12.2启动历史服务器
        sbin/mr-jobhistory-daemon.sh start historyserver
        使用jps查看新增进程
        JobHistoryServer
12.3在浏览器查看
        hadoop150:19888
13.关闭已经启动进程
        sbin/mr-jobhistory-daemon.sh stop historyserver
        sbin/yarn-daemon.sh stop nodemanager
        sbin/yarn-daemon.sh stop resourcemanager
        sbin/hadoop-daemon.sh stop datanode
        sbin/hadoop-daemon.sh stop namenode
14.配置日志聚合
14.1关闭historyserver、nodemanager、resourcemanager
        sbin/mr-jobhistory-daemon.sh stop historyserver
        sbin/yarn-daemon.sh stop nodemanager
        sbin/yarn-daemon.sh stop resourcemanager
14.2修改mapred-site.xml
       
       
            yarn.log-aggregation-enable
            true
       
       
       
            yarn.log-aggregation.retain-seconds
            259200
       
15.启动进程验证
15.1启动
        sbin/yarn-daemon.sh start resourcemanager
        sbin/yarn-daemon.sh start nodemanager
        sbin/mr-jobhistory-daemon.sh start historyserver
15.2验证
        运行WordCount案例
        删除输出文件
        bin/hdfs dfs -rm -r /user/learn/output
        运行案例：
        bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/learn/input /user/learn/output
16.页面查看
        http://hadoop150:50070
        http://hadoop150:8088
        http://hadoop150:19888
17.数量全量配置
        配置HDFS
        hadoop-env.sh
        core-site.xml
        hdfs-site.xml
        配置YARN，历史日志服务器，日志聚合
        yarn-env.sh
        yarn-site.xml
        mapred-env.sh
        mapred-site.xml
17.1配置HDFS
        配置hadoop-env.sh
        ##JAVA_HOME
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
        配置core-site.xml
        
       
            fs.defaultFS
            hdfs://hadoop150:9000
       
       
       
            hadoop.tmp.dir
            /home/apps/module/hadoop-2.9.2/data/tmp
       
        配置hdfs-site.xml
        
       
            dfs.replication
            1
       
17.2配置YARN
        配置yarn-env.sh
        ##JAVA_HOME
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
        配置yarn-site.xml
        
       
            yarn.nodemanager.aux-services
            mapreduce_shuffle
       
       
       
            yarn.resourcemanager.hostname
            hadoop150
       
        配置mapred-env.sh
        ##JAVA_HOME
        export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
        配置mapred-site.xml
        
       
            mapreduce.jobhistory.address
            hadoop150:10020
       
       
       
            mapreduce.jobhistory.webapp.address
            hadoop150:19888
       
       
       
            yarn.log-aggregation-enable
            true
       
       
       
            yarn.log-aggregation.retain-seconds
            259200
       
18.启动命令
18.1启动进程
        sbin/hadoop-daemon.sh start namenode
        sbin/hadoop-daemon.sh start datanode
        sbin/yarn-daemon.sh start resourcemanager
        sbin/yarn-daemon.sh start nodemanager
        sbin/mr-jobhistory-daemon.sh start historyserver
18.2关闭进程
        sbin/mr-jobhistory-daemon.sh stop historyserver
        sbin/yarn-daemon.sh stop nodemanager
        sbin/yarn-daemon.sh stop resourcemanager
        sbin/hadoop-daemon.sh stop datanode
        sbin/hadoop-daemon.sh stop namenode
19.跑WordCount案例
        bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/learn/input /user/learn/output
20.浏览器查看
        http://hadoop150:50070
        http://hadoop150:8088
        http://hadoop150:19888
        页面：
        http://hadoop150:50070
        CentOS-7安装Hadoop伪分布式模式(hadoop-2.9.2)_第1张图片
        http://hadoop150:8088CentOS-7安装Hadoop伪分布式模式(hadoop-2.9.2)_第2张图片
        http://hadoop150:19888CentOS-7安装Hadoop伪分布式模式(hadoop-2.9.2)_第3张图片
        
以上，感谢。

你可能感兴趣的:(Hadoop)

  • Hadoop Common 之序列化机制小解 猫君之上 #ApacheHadoop
    1.JavaSerializable序列化该序列化通过ObjectInputStream的readObject实现序列化，ObjectOutputStream的writeObject实现反序列化。这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。（序列化信息包括这个对象的类，类签名，类的所有静态，费静态成员的值，以及他们父类都要被写入）publ
  • 深入理解hadoop(一)----Common的实现----Configuration maoxiao_jsd 深入理解----hadoop
    属本人个人原创，转载请注明,希望对大家有帮助！！一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml");conf.addResource("core-site.xml");后者会覆盖前者中未final标记的相同配置项b
  • hadoop 0.22.0 部署笔记 weixin_33701564 大数据java运维
    为什么80%的码农都做不了架构师？>>>因为需要使用hbase，所以开始对hbase进行学习。hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。环境：redhat5、hadoop-0.22.0.tar.gz、jdk-6u13-linux-i586.zipip192.168.1.128hostname：localhost.localdomain（
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！org.apache.hadoophadoop-com
  • 解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3) 2401_84160087 大数据面试学习
    网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
  • 深入解析HDFS：定义、架构、原理、应用场景及常用命令 CloudJourney hdfs架构hadoop
    引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。本文将从HDFS的定义、架构、工作原理、应用场景以及常用命令等多个方面进行详细探讨，帮助读者全面深入地了解HDFS。1.HDFS的定义1.1什么是HDFSHDFS是Hadoop生态系统中的一个分布式文件系
  • Hadoop的搭建流程 lzhlizihang hadoop大数据分布式
    文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件hdfs-site.xml9、修改配置文件hadoop-en
  • hive搭建 -----内嵌模式和本地模式 lzhlizihang hivehadoop
    文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹7、修改hive-site.xml中的非法字符8、初始化元数据9、测试是否成功10、内嵌模式的缺点二、本地模式（最常用）1、检查mysql是否正常2、上传、解压、重命名3、配置环境变量4、修改c
  • Hadoop之mapreduce -- WrodCount案例以及各种概念 lzhlizihang hadoopmapreduce大数据
    文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
  • IAAS: IT公司去IOE-Alibaba系统构架解读 wishchin 心理学/职业BigDataMiniSparkPaaS
    从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现，阿里一直摸索在技术衍变的前沿。这里，我们将从架构、性能、运维等多个方面深入了解阿里基础设施。【导读】互联网的普及，智能终端的增加，大数据时代悄然而至。在这个数据为王的时代，数十倍、数百倍的数据给各
  • Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode BigDataMLApplication 大数据hadoophadoophdfs大数据
    HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件：NameNode、SecondaryNameNode和DataNode。NameNodeNameNode是HDFS的主要组件之一，负责管理文件系统的命名空间、存储文件的元数据信息以及处理客
  • 【Hadoop|HDFS篇】NameNode和SecondaryNameNode Vez'nan的幸福生活 hadoophdfs大数据
    1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
  • Yarn介绍 - 大数据框架 why do not 大数据hadoop
    YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X版本中重新设计的这个YARN集群
  • 浅析大数据Hadoop之YARN架构 haotian1685 python数据清洗人工智能大数据大数据学习深度学习大数据大数据学习YARNhadoop
    1.YARN本质上是资源管理系统。YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介。使用和学习过老Hadoop框架（0.20.0及之前版本）的同仁应该很熟悉如下的原MapReduce框架图：1.2H
  • Hadoop YARN【一】 冷雨夜下的星空 Hadoop生态圈hadoopyarn
    YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。ResourceManager:全局的资源管理器,整个集群只有一个,负责集群资源的统一管理和调度分配。ApplicationMaster:在yarn上运行的应用程序实例对象,负责管理此应用程序的执行。功能：数
  • 大数据知识总结（三）：Hadoop之Yarn重点架构原理 Lansonli 大数据大数据hadoop架构Yarn
    文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn(YetAnotherReasourceNegotiator，另一种资源协调者)是Hadoop2.x版本后使用的资源管理器，可以为上层应用提供统一的资源管理平台。二、Yarn架构Y
  • starrocks和clickhouse数据库比较 CodeMaster_37714848 clickhouse数据库
    Starrocks和ClickHouse都是用于数据分析的数据库，但它们的设计理念和用途有所不同。下面是这两者的一些主要比较点：1.基础架构与设计目标Starrocks:Starrocks是一个专注于实时数据分析的平台，常用于大数据处理和商业智能应用。它设计用于高效处理大规模数据集，并且支持复杂查询和数据处理。支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
  • 大数据（Hbase简单示例） BL小二 hbase大数据hadoop
    importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.*;importorg.apache.hadoop.hbase
  • Hbase的简单使用示例 傲雪凌霜，松柏长青 后端大数据hbase数据库大数据
    HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。HBase通常用于实时数据存取场景，与Hadoop生态紧密集成。使用HBase的Java示例前置条件HBase集群：确保HBase集群已经安装并启动。如果没有，你可以通过本地伪分布模式或Docker来运行HBase。Hadoop配置：HBas
  • Hbase、hive以及ClickHouse的介绍和区别？ damokelisijian866 hbasehiveclickhouse
    一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。HBase的设计灵感来源于Google的Bigtable论文，它通过提供类似于Bigtable的能力，在Hadoop之上构建了一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase主要用于存储大量结构化数据，并支持随机读写访问，
  • Flink - CEP kikiki1
    Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.example.com具体命
  • chapter01 Java语言概述 知识点Note 月下绯烟 Javajava开发语言
    JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker数据库redisspringbootspringcloudsshstruts+spring+hibernate过时技术栈很少用JAVA虚拟机jvm分布式微服务高并发常见dos
  • Hive和Hbase的区别 傲雪凌霜，松柏长青 大数据后端hivehbasehadoop
    Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。以下是两者的主要区别：1.数据模型Hive：Hive类似于传统的关系型数据库(RDBMS)，以表格形式存储数据。它使用SQL-like语言HiveQL来查询和处理数据，数据通常是结构化或半结构化的。HBase：HBase是一个NoSQL数据库，基于Google的BigTable模型。
  • HBase 傲雪凌霜，松柏长青 大数据后端hbase数据库大数据
    ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。HBase的设计灵感来自Google的Bigtable，能够在海量数据中提供快速的随机读写操作，适合需要低延迟和高吞吐量的应用场景。HBase核心概念表（Table）：HBase的数据存储在表中，与传统的关系型数据库不同，HBase的表是面向列族（Co
  • Hive的优势与使用场景 傲雪凌霜，松柏长青 后端大数据hivehadoop数据仓库
    Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。它利用Hadoop的MapReduce或Spark来执行查询，具备高度扩展性，适合大数据处理。2.支持SQL-like查询语言(Hi
  • 大数据技术之Hadoop（一） pauls
    Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop生态1.2Hadoop发展历史（了解）Hadoop发展历史1）Hadoop创始人DougCutting，为了实现与Google类似
  • 大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？ 蓦然_ 大数据面试题hive大数据开发面试题大数据面试
    1、为什么要使用Hive？Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS、Amazon的S3和像HBase（Hadoop数据仓库）和Cassandra这样的数据库中的数据。大多数数据仓库应用程序都是使用关系数据库进行实现的，并使用SQL作为
  • ERROR:master启动报错： Attempting to operate on hdfs namenode as root CourageLee Dockerhadooplinux
    [root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR:butthereisnoHDFS_NAMENODE_USERdefined.Abortingoperation.StartingdatanodesERROR:Attemp
  • Python大数据：深入探索Hadoop库的使用 t0_54coder Python基础入门教程大数据pythonhadoop
    在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。1.简介Hadoop是一个用于分布式处理大量数据的开源框架。尽管Hadoop主要用Java编写，但通过HadoopStreaming，Python程序员也可以利用其强大的数据处理能力。Python在数据科学中的流行，加上Hadoo
  • Python 操作大数据使用 Hadoop 静听山水 Hadoophadoop
    参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
  • 二分查找排序算法 周凡杨 java二分查找排序算法折半
    一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
  • java中的BigDecimal bijian1013 javaBigDecimal
            在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
  • Shell echo命令详解 daizj echoshell
    Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
  • Oracle DBA 简单操作 周凡杨 oracle dba sql
    --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
  • 画图重绘 朱辉辉33 游戏
      我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
  • 线程之初体验 西蜀石兰 线程
    一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
  • linux集群互相免登陆配置 林鹤霄 linux
    配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
  • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
    原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
  • Socket编程 基本的聊天实现。 alleni123 socket
    public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
  • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
        多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
  • spring InitializingBean接口 bijian1013 javaspring
    spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
  • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
            Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
  • 【Struts2五】Struts2 参数传值 bit1129 struts2
    Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
  • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
    I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
  • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
    nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
  • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
    two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
  • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
    JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
  • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
         看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
  • js 获取浏览器型号 cuityang js浏览器
    根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
  • C# socks5详解 转 dalan_123 socketC#
    http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
  • 运维 Centos问题汇总 dcj3sjt126com 云主机
    一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
  • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
    网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
  • MongoDB简介[一] eksliang mongodbMongoDB简介
    MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
  • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
    一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
  • Spring之使用事务缘由(2-注解实现) ihuning spring
      Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
  • iOS App Launch Option 啸笑天 option
    iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
  • jdk与jre的区别（_） macroli javajvmjdk
    简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
  • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
    $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
  • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
    关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
  • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
      Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他