hadoop2 第14页

hadoop、ZooKeeper、hbase集群安装史上最全流程（亲测有效）

配置集群：主机master、从机s1、s2```一、安装hadoop需要的文件VMwareXshelljdk1.8.0_171CentOS-7-x86_64-DVD-2003.isohadoop2.7.7zookeeper3.6.3hbase1.3.1

词一丶·2022-12-20 15:09

【大数据处理技术】「#0」实验环境准备

下载安装设置共享文件夹安装Hadoop创建hadoop用户（可忽略，本实验不使用hadoop用户）更新apt（安装Ubuntu桌面版时更新了）安装ssh、配置ssh无密码登录安装java环境（java1.8/java8）安装Hadoop2Hadoop

小手の冰凉·2022-12-20 08:03

Java版Spark离线统计分析实战

版本说明Hadoop2.10.1Spark3.1.1MongoDB3.4.3JDK1.8功能

与李·2022-12-19 10:22

大数据面试题（四）：Yarn核心高频面试题

文章目录Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同二、为什么会产生yarn，它解决了什么问题，有什么优势？三、HDFS的数据压缩算法？及每种算法的应用场景？

Lansonli·2022-12-18 22:40

WARN io.ReadaheadPool: Failed readahead on ifile EBADF: Bad file descriptor 失败案例vs成功案例

终于正确配置好Hadoop了，我用的是centos7伪分布式安装，做个记录，留个纪念，也为和我遇到同样问题的道友“排忧解难”一下[hadoop@hadoop2hadoop-3.1.3]$.

瑞雪美景·2022-12-18 22:06

hadoop3.x学习（一）--安装与环境配置

一、hadoop的组成hadoop1.x：Commons、HDFS（数据存储）、MapReduce（资源调度+计算）hadoop2.x:Commons、HDFS（数据存储）、MapReduce（计算）、

letg·2022-12-17 19:55

pySpark数据分析（一）

pySpark数据分析（一）我安装的版本是spark2.4.3和hadoop2.7.7（或只安装winutils），配置好环境变量。

风凭借力·2022-12-17 12:19

一只小老虎

q,1=在Hadoop2.0中，集群会启动哪些进程，他们的作用分别是什么：1.NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。

csytheshy·2022-12-16 16:34

c罗在桐梓

q,1=在Hadoop2.0中，集群会启动哪些进程，他们的作用分别是什么：1.NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。

csytheshy·2022-12-16 16:28

基于Hadoop2.5.0的集群搭建

本文档以word附件保存在CSDN中，格式更方便查看：http://download.csdn.net/download/yameing/8011891一、规划1.准备安装包JDK:http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gzHadoop:http://mirrors.cnnic.cn/

yameing·2022-12-16 13:03

Hadoop大数据综合案例4-Hive数据分析

Hadoop大数据招聘网数据分析综合案例Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建Hadoop大数据综合案例2-HttpClient与Python招聘网数据采集Hadoop大数据综合案例

CDHong.it·2022-12-15 22:30

Hive常用参数

选项有:mr(MapReduce，默认)，tez(tez执行，仅适用于Hadoop2)，或spark(

坤岭·2022-12-15 20:02

Hadoop伪分布式环境搭建

Hadoop伪分布式环境搭建0.实验准备1.下载linux版本的jdk,hadoop2.下载MobaXterm远程连接Linux的工具3.linux远程连接服务器4.在根目录/下创建tools和training

甜味橘阳·2022-12-15 15:52

windows下安装spark + hadoop + pyspark

选择版本spark依赖的是hadoop和Javaspark、hadoop和python的适配hadoop2.x都是基于java7开发的hadoop3.x是基于java8开发的https://spark.apache.org

青碧凝霜·2022-12-15 11:08

spark的Windows本地安装

配置环境变量1）设置SPARK_HOME变量变量名：SPARK_HOME变量值：E:\spark\spark-2.4.3-bin-hadoop2.7，也就是Spark的安装目录，根据个人情况有所不同，应和解压后的路径一致

小跳蚤的绿茵传奇·2022-12-15 11:55

CDH6.3.2集成spark-sql完整版本

下载spark-2.4.0-bin-hadoop2.7.tgz并上传至gateway节点地址:https://archive.apache.org/dist/spark/spark-2.4.0/spark

奇科.zhang·2022-12-15 11:50

关于spark作业提交：spark运行example为例

executor-memory2G--executor-cores2--queueroot.helowin--classorg.apache.spark.examples.SparkPispark-examples-1.6.3-hadoop2.6.0

赣江·2022-12-15 11:17

spark下载安装，运行examples(spark一)

1.官方网址http://spark.apache.org/image.png2.点击下载下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2

dingxiaohuang4790·2022-12-15 11:39

spark-submit 文件名、目录名或卷标语法不正确。好像是 py 不能有空格，加了下划线可以了

(py374)D:\proj\python\my_util_py_pub>D:\env\spark-2.1.1-bin-hadoop2.4\bin\spark-submit--packagesorg.apache.spark

Jonathan Star·2022-12-14 14:11

大数据技术之Hadoop

Volume(大量)2、Velocity（高速）3、Variety（多样）4、Value（低价值密度）1.3大数据部门组织结构第二章Hadoop框架2.1Hadoop是什么2.2Hadoop的优势2.3Hadoop2.0

Chen Mon·2022-12-13 18:55

CentOS-7中Hive的安装教程

安装环境：CentOS-7、JDK1.8、Hadoop2.6Hive版本：hive-1.1.0-cdh5.14.2资源路径：百度网盘请输入提取码提取码：zzzz1、将软件安装包移动至/opt目录下，这里我用的是

笑面天下·2022-12-13 13:35

Hadoop 分布式计算系统（map-reduce）介绍

Hadoop分布式计算系统（map-reduce）介绍hadoop组成什么是分布式计算hadoop1.x分布式计算总体架构hadoop2.x分布式计算总体架构分布式计算原理JAVA代码实现hadoop组成

ithinking110·2022-12-12 11:37

分布式计算

分布式计算一、分布式计算二、分布式系统特性三、通用分布式计算系统1ApacheHadoop2ApacheSpark3ApacheStorm一、分布式计算定义分布式计算就是将计算任务分摊到大量的计算节点上

lxwthinker·2022-12-12 11:07

Spark：spark2.4.0安装

软件准备：Indexof/dist/spark，选择跟hadoop集成的版本1，解压：tar-zxvfspark-2.4.0-bin-hadoop2.6.tgzmvspark-2.4.0-bin-hadoop2.6sparkvim

Joseph25·2022-12-11 13:27

Canal1.1.4获取数据后直接发送到kafka的Topic

已经启动运行成功的情况下，停掉服务，找到这个配置文件中对应项进行修改：第一个配置文件vim/opt/canal/conf/canal.properties#配置zkcanal.zkServers=hadoop1:2181,hadoop2

star-hash·2022-12-07 17:23

spark的安装详细步骤

downloads.html2.把下载好的压缩包拖拽到虚拟机的software（自己建的）目录下3.进入到software目录里面把压缩包解压到/opt目录下cd/softwaretar-zxvfspark-2.4.5-bin-hadoop2.6

喵Ja·2022-12-06 23:59

hadoop+hive+spark安装

hive3.1.2环境安装5.spark2.4.5编译安装大数据环境安装和配置版本详情：hadoop3.2.3+hive3.1.2+spark2.4.5+mysql5.7.29机器配置：节点hadoop1hadoop2hadoop3hdfsNameNo

代码&诗·2022-12-06 23:51

hadoop2.6.0（单节点）下Sqoop-1.4.6安装与配置（数据读取涉及hadoop、hbase和hive）

下载Sqoophttp://sqoop.apache.org/或http://archive-primary.cloudera.com/cdh5/cdh/5/（这个就是版本已经对应好了，不需去弄版本兼容问题了）或通过CM、Ambari很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache和Cloudera和Ambari。后两者我不多说，是公司必备和大多数高校科研环境所必须的！分别

weixin_33921089·2022-12-05 17:03

hadoop-2.5.0,hbase,hive,pig,sqoop,zookeeper 集群安装

2.5.0.tar.gz2)Jdk:jdk-7u71-linux-x64.tar.gz3)Hive:apache-hive-0.13.1-bin.tar.gz4)Hbase:hbase-0.98.8-hadoop2

帅气小马哥·2022-12-05 17:45

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程

Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程linux环境：OracleLinuxServerrelease6.3

daytimemoon·2022-12-05 17:05

使用Spark操作Hudi

开发环境:hadoop2.7.6hive2.3.7spark2.4.51、pom文件maven-alihttp://maven.aliyun.com/nexus/content/groups/public

雾岛与鲸·2022-12-04 18:42

本机使用python操作hdfs搭建及常见问题

伪分布式搭建全流程完整教程三.本机使用python操作hdfs搭建及常见问题四.mapreduce搭建五.mapper-reducer编程搭建本机使用python操作hdfs搭建及常见问题一、环境搭建1.打开虚拟机系统，打开hadoop2

灞気水笵er·2022-12-04 16:58

Hadoop学习笔记——入门教程（虚拟机安装Linux&Hadoop环境搭建配置）

文章目录一、Hadoop安装配置文档及注意事项二、Hadoop概述2.1、Hadoop是什么2.2、Hadoop的发展历史2.3、Hadoop三大发行版本2.3.1ApacheHadoop2.3.2ClouderaHadoop2.3.3HortonworksHadoop2.4

姓余的·2022-12-03 12:47

Flink1.11.0读取kafka数据动态写入hive中(更新-解决hive查询不到数据问题)

一、主要流程flink1.11.0hive2.3.4kafka2.11hadoop2.7.2scala2.1.11流批混合，读取kafka数据量写入到hive中主要参考官网：https://ci.apache.org

天涯到处跑·2022-11-30 09:14

【精】HDFS的HA系列（一）--- 背景、架构

在Hadoop2.0.0之前，NameNode是HDFS集群中的单点故障(SPO

叹了口丶气·2022-11-29 17:04

ubuntu-hadoop伪分布

ubuntu-hadoop伪分布-环境配置1.1创建新用户（确保环境最干净）1.2jdk1.3hadoop配置ssh无密码（分布式的结点以ssh控制，有密码不行）hadoop环境变量伪分布模式检查停止/启用hadoop2

NoB⁢ug·2022-11-29 15:26

day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例

0、hadoop1.x和hadoop2.x区别Hadoop1.x的核心组件与Hadoop2.x核心组件不一样Hadoop1.x：hdfs、common、mapreduce（mapreduce同时处理业务逻辑运算和资源调度

普通网友·2022-11-29 15:48

阿里云（轻量级Ubuntu 16.04 ）服务器搭建Hadoop伪分布式集群及实现pi值的计算

环境：在ubuntu16.04jdk1.8.0_171hadoop2.8.4一.租用服务器https://www.aliyun.com/?

MuuuuYi·2022-11-29 15:40

【云计算学习教程】什么是中间件？常见中间件有哪些？

文章目录中间件是什么为什么使用中间件主要中间件的分类1.Hadoop2.LVS3.Linux-HA4.静态网站服务器5.动态应用服务器DNS、DHCP、Kerberos和Radius：云计算基础服务组件

小熊coder·2022-11-27 09:07

大数据学习——Hive实战（常用操作命令）

/start-all.sh使用终端连接Hive进入到/export/server/spark-2.3.0-bin-hadoop2.7/bin目录中执行以下命令：./beeline输入：!

princezf·2022-11-26 09:00

膜拜！华为内部都在强推的783页大数据处理系统：Hadoop源代码pdf

前言大数据处理系统:Hadoop源代码情景分析，采用的是Hadoop2.6。

普通网友·2022-11-25 19:22

大数据_YARN的工作原理

目录一、YARN产生的背景二、YARN的设计思想三、YARN的基本架构四、YARN的工作流程一、YARN产生的背景YARN是从MRv1（hadoop1.0时代）进化到MRv2（hadoop2.0时代）过程中

Happy编程·2022-11-24 23:47

Spark大数据分布式处理实战笔记（五）：Spark MLlib

：1.大数据处理框架Hadoop、Spark介绍2.linux下Hadoop安装与环境配置3.linux下Spark安装与环境配置本文的参考配置为：Deepin15.11、Java1.8.0_241、Hadoop2.10

大数据之眸·2022-11-24 06:18

大数据学习目录

硅谷工具人·2022-11-20 19:27

大数据、云计算系统高级架构师课程学习路线图

大数据、云计算系统高级架构师课程学习路线图大数据之Linux+大数据开发篇JavaLinux基础Shell编程Hadoop2.xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume

tao_wei162·2022-11-20 13:55

PySpark 单机版(含spark-submit)

://spark.apache.org/downloads.htmlhttps://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7

yoshubom·2022-11-20 10:17

HDFS中block的大小

block的大小与修改Hadoop2.x/3.x版本中Block的默认大小为128M，早前版本中默认为64M，开发人员可以在hdfs-site.xml中添加如下标标签进行修改。

普通网友·2022-11-10 08:29

hadoop2.8配置_Hadoop 2.8集群安装及配置记录

第一部分：环境配置(含操作系统、防火墙、SSH、JAVA安装等)Hadoop2.8集群安装模拟环境为：主机：Hostname:Hadoop-host,IP:10.10.11.225节点1：Hostname

超人越山峰·2022-10-31 15:31

Hadoop2.7.2分布式部署1(网络配置篇)

本人最近在centos7下部署了Hadoop2.7.2的分布式环境，以下是节点的信息：主节点IP地址：192.168.0.100master节点1IP地址：192.168.0.101node1节点2IP

fxsdbt520·2022-10-31 15:59

基于Docker快速搭建Hadoop集群和Flink运行环境

前言搭建集群环境升级配置Hadoop配置Flink打包镜像启动集群前言本文主要讲，基于Docker在本地快速搭建一个Hadoop2.7.2集群和Flink1.11.2运行环境，用于日常Flink任务运行测试

白夜鸦羽·2022-10-24 18:20

推荐频道

hadoop2