Hadoop2

如何使用HDFS高可用性设置Hadoop集群

介绍：Hadoop2中引入了高可用性集群的概念。x
踩到最基点·2020-06-25 18:09

超简单的centos7配置hadoop2.7.7+flume1.8.0（包含例子）

超简单的centos7配置hadoop2.7.7+flume1.8.0flume配套介绍：https://blog.csdn.net/qq_40343117/article/details/1001195741
LXH0305·2020-06-25 17:12

大数据入门一（HDFS部署）

软件为主的生态圈狭义:hadoop软件hadoop.apache.orghive.apache.orgspark.apache.orgflink.apache.orghadoop软件:1.x2.x生产2.63.xhadoop2
倾白首·2020-06-25 16:57

Hadoop第一个程序wordcount命令运行jar包报错Usage: wordcount

环境IDEAcentos7hadoop2.7.7jdk1.8.0报错代码那些我就不贴了，网上很多。
Life_Will_Last·2020-06-25 15:13

在Windows系统上对hfds中的文件进行操作

其实hdfs也是可以部署在Windows系统上的，但是考虑到稳定性一般通常是部署在linux系统上，同时由于hadoop2和hadoop3的版本不同，导致其自身的功能上有些不同，其中hadoop2无法直接在页面上进行对文件的创建和删除等操作
一个人_·2020-06-25 15:05

YARN JVM重用功能——uber

目录Hadoop1.x中的JVM重用功能简单回顾一下Hadoop1.x中的JVM重用功能配置的方法Hadoop2.x中的JVM重用功能简述uber的原理Hadoop1.x中的JVM重用功能简单回顾一下Hadoop1
好笨的菜鸟·2020-06-25 15:11

Centos7配置java+hadoop+mysql+hive+zookeeper+kafka+hbase+kylin+scala+spark+superset+sqoop及报错解决

Centos7（可自行搜索下载）https://www.centos.org/download/java1.8.0hadoop2.7.6mysql5.7.26hive2.3.2hbase1.4.9kylin2.6.3scala2.12.2spark2.1.1superset
叶柖·2020-06-25 15:52

Hadoop2.7+Mysql8.0下Hive2.3的安装

搭建准备：Hadoop2.7,hdfs全分布式搭建https://blog.51cto.com/12924846/2351478Mysql8.0搭建https://blog.csdn.net/qq_38924171
萌萌哒的理工男·2020-06-25 15:19

mysql8.x下hue的安装 及 解决 my_config.h 不存在的问题

https://docs.gethue.com/latest/有各版本的下载QuickStart：https://docs.gethue.com/latest/quickstart/环境准备CentOS7.6hadoop2.7.2mysql8.0.17python2.7.5
萌萌哒的理工男·2020-06-25 15:19

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境

Spark+Hadoop集群搭建：（一）单一节点上搭建Hadoop环境1安装JDK2下载安装Hadoop2.1下载Hadoop2.2解压2.3配置Hadoop环境变量2.3.1设置JDK与Hadoop安装路径
闻曦·2020-06-25 14:38

flink集群的搭建与部署

运行环境linux-CentOS6.8hadoop-2.7.5Scala-2.11.6jdk-1.8flink-1.7.1-bin-hadoop27-scala_2.11.tgzflink搭建1.下载下载地址
CSDN_小路·2020-06-25 14:34

hadoop

io.native.lib.availabletrue本地库文件生效hadoop.tmp.dir/home/hadoop/tmp数据存放位置ha.zookeeper.quorumhadoop1:2181,hadoop2
发条香蕉·2020-06-25 14:18

【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程

第1章数据转换工具Sqoop101大数据Hadoop2.x协作.框架的功能.mp402Sqoop功能概述和版本、架构讲解.mp403Sqoop使用要点(核心)及企业版本讲解.mp404使用CDH5.3.6
qq_38472057·2020-06-25 14:55

MapReduce编程实践

编程环境准备：要在Eclipse上编译和运行MapReduce程序，需要安装hadoop-eclipse-plugin，可下载Github上的hadoop2x-eclipse-plugin。
曹世宏的博客·2020-06-25 14:27

Hadoop的JVM重用机制和小文件解决

Hadoop的JVM重用机制和小文件解决一、hadoop2.0uber功能1)uber的原理：Yarn的默认配置会禁用uber组件，即不允许JVM重用。
运动人生·2020-06-25 13:24

Yarn架构原理

在Hadoop2.x中，为了解决Hadoop1.x的JobTracker存在的问题（可参考https://blog.csdn.net/qq_37865420/article/details/106441382
双椒叔叔·2020-06-25 13:42

Hadoop3.1.2 使用java连接 HDFS踩得坑

Hadoop3.1.2使用java连接HDFS踩得坑hadoop3中DistributedFileSystem类找不到错误按照hadoop2的示例，运行错误如下：org.apache.hadoop.fs.UnsupportedFileSystemException
TomcatLikeYou·2020-06-25 12:39

Hadoop/hbase单机安装

/p/9969276.html1.Hadoop环境配置编辑/etc/profile文件输入:vim/etc/profile整体的配置文件:exportHADOOP_HOME=/home/hadoop/hadoop2.7exportHADOOP_COMMON_LIB_NATIVE_DIR
小蜗牛的路·2020-06-25 12:06

CDH集成Kerberos

一、安装Kerberos1.整体说明软件版本操作系统：CentOs6.8CDH版本：Hadoop2.6.0-cdh5.9.0JDK版本：jdk1.7.0_67-cloudera运行用户：root集群主机角色划分
小米棍·2020-06-25 12:55

解决Hadoop 在 windows java客户端运行异常 java.io.FileNotFoundException: HADOOP_HOME and...

.tar，其他的应该差不多，以下步骤亲测通过）1.将已下载的hadoop-2.9.0.tar这个linux压缩文件解压，放到你想要的位置（任意位置）；2.下载windows环境下所需的其他文件（必须）hadoop2.9.0
我叫周利东·2020-06-25 12:39

Spark大数据分布式处理实战笔记（一）：快速开始

：1.大数据处理框架Hadoop、Spark介绍2.linux下Hadoop安装与环境配置3.linux下Spark安装与环境配置本文的参考配置为：Deepin15.11、Java1.8.0_241、Hadoop2.10
大数据之眸·2020-06-25 12:56

Spark大数据分布式处理实战笔记（二）：RDD、共享变量

：1.大数据处理框架Hadoop、Spark介绍2.linux下Hadoop安装与环境配置3.linux下Spark安装与环境配置本文的参考配置为：Deepin15.11、Java1.8.0_241、Hadoop2.10
大数据之眸·2020-06-25 12:56

Spark大数据分布式处理实战笔记（四）：Spark Streaming

：1.大数据处理框架Hadoop、Spark介绍2.linux下Hadoop安装与环境配置3.linux下Spark安装与环境配置本文的参考配置为：Deepin15.11、Java1.8.0_241、Hadoop2.10
大数据之眸·2020-06-25 12:56

Spark大数据分布式处理实战笔记（三）：Spark SQL

：1.大数据处理框架Hadoop、Spark介绍2.linux下Hadoop安装与环境配置3.linux下Spark安装与环境配置本文的参考配置为：Deepin15.11、Java1.8.0_241、Hadoop2.10
大数据之眸·2020-06-25 12:56

hadoop Flume 操作实例（监控端口数据、实时读取本地文件到 HDFS、实时读取目录文件到 HDFS）

环境配置：LinuxUbuntu16.04系统hadoop2.7.2（一主master二从slave1、slave2）javajdk1.8.0_181Flume1.7.0flume环境配置教程：hadoopFlume
科大人·2020-06-25 12:25

Docker- kylin + ambari 快速搭建

1.拉取docker镜像(注意：这个kylin是0.7.2版本的，集成了ambari1.7和hdpHadoop2.2，镜像大约6G)dockerpullsequenceiq/kylin:0.7.2拉取完成镜像
风一样的男人_·2020-06-25 09:00

maven安装hbase的依赖包

在xml直接贴入：若要使用org.apache.hadoop.hbase.mapreduce的API，需要加上：org.apache.hbasehbase-server0.96.1-hadoop2若要使用
回忆19930207·2020-06-25 09:56

CDH 6成功启动spark-thrift服务（CDH 6.2.0）

百度出来的都是没用的，还是找到解决方案的1.下载spark安装包，并解压wgethttps://www-eu.apache.org/dist/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7
me凡·2020-06-25 08:53

Shell操作HDFS的文件系统命令详解

一、HDFS有以下Shell命令[root@hadoop2~]#hdfsdfsUsage:hadoopfs[genericoptions][-appendToFile...]
Mekeater·2020-06-25 08:18

hadoop2.7.2学习笔记06-CLI MiniCluster

CLIcluster功能可以使用一个命令直接启动一个包含yarn/mapreduce和hdfs的hadoop集群，避免了配置环境变量和配置文件。首先需要指定一个环境变量，否则会抛出异常说找不到某个类$exportHADOOP_CLASSPATH=./share/hadoop/yarn/test/hadoop-yarn-server-tests-2.7.2-tests.jar 接着使用下面的命令行可
流浪小肥羊·2020-06-25 08:03

大数据项目之电商数仓（用户行为数据采集）

第1章数据仓库概念第2章项目需求2.1项目需求分析2.2项目框架2.2.1技术选型2.2.2系统架构图设计2.2.3系统数据流程设计2.2.4框架版本选型产品版本Hadoop2.7.2Flume1.7.0Kafka0.11.0.2KafkaManager1.3.3.22Hive1.2.1Sqoop1.4.6Mysql5.6.24Azkaban2.5.0Java1.8Zookeeper3.4.10
魔法 • 革·2020-06-25 05:42

Time的hadoop学习笔记之--搭建有三台主机的Hadoop集群

搭建有三台主机的Hadoop集群：原材料：笔记本、vm虚拟机、centOS镜像、CDH安装包1准备工作，主机及网络配置：安装好linux系统后，为演示方便，我们将三台主机分别命名为hadoop0、hadoop1、hadoop2
Time_Now·2020-06-25 05:17

hadoop 运行 jar出错：java.lang.ClassNotFoundException: Class Mapper not found

环境：win10x64、centos7.2、hadoop2.4.1、jdk1.8报错：执行hadoopjarwc.jarWCRunner[yx@bigdata00~]$hadoopjarwc.jarWCRunnerJavaHotSpot
Young Panda·2020-06-25 04:40

黑猴子的家：sample 随机抽样

1、Codevalsamplerdd=sc.makeRDD(Array("spark1","spark2","spark3","spark4","spark5","hadoop1","hadoop2",
黑猴子的家·2020-06-25 04:23

Mac 环境下eclipse 搭建hadoop和hbase环境

1、搭建hadoop环境1）首先需要生成hadoop的插件1.1生成方式：从这里下载zip包https://github.com/winghc/hadoop2x-eclipse-plugin然后按照那里面的帮助说明进行编译可以参考我的命令
lhzyyang·2020-06-25 03:17

Windows+Docker+Hadoop的部署完整教程（二）hadoop分布式系统部署

说明本文搭建的时hadoop2.7.5分布式系统，一个master，二个slave搭配jdk版本为jdk1.8所有安装包都在博主的网盘上，自行保存链接：https://pan.baidu.com/s/1TcKCEEcxpgtVWu26iwhaRw
会飞的神行太保·2020-06-25 03:40

hadoop2.6.5安装报错：Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.Name

centos6.5安装Hadoop2.6.5，在执行hdfsnamenode-format时报错如下：Error:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.namenode.NameNode
qcg_qcg·2020-06-25 03:21

浅谈YARN中Container容器（内存、CPU分配）

前言：hadoop2.x版本和hadoop1.x版本的一个区别就是：hadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce只专注于计算，资源和作业的调度由
青青青的菜地·2020-06-25 02:21

Spark 1.6.1分布式集群环境搭建

软件准备scala-2.11.8.tgzspark-1.6.1-bin-hadoop2.6.tgzScala安装master机器(1)下载scala-2.11.8.tgz，解压到/opt目录下，即：/opt
珍爱矢豆·2020-06-25 02:54

让我来告诉你，学习大数据都是要安装哪些软件

文章目录一、软件总览二、安装过程提纲2.1、安装ssh2.2、hadoop2.2.1、core-site.xml2.2.2、hdfs-site.xml2.3、hbase2.3.1、hbase-env.sh2.3.2
我不是高材生·2020-06-25 01:40

Spark2.X 集群安装（原生版详细）

1.下载spark安装包下载地址spark官网：http://spark.apache.org/downloads.htmlspark-2.0.2-bin-hadoop2.7版本.2.规划安装目录/opt
少年阿峣_从零单排·2020-06-25 00:36

shell脚本 启动关闭 hadoop2.6.5集群

启动集群的脚本#/bin/bashfornodeinnode002node003node004dossh$node"source/etc/profile;zkServer.shstart;"donestart-dfs.shsshnode003"source/etc/profile;start-yarn.sh;"sshnode004"source/etc/profile;yarn-daemon.sh
coder.yang·2020-06-25 00:53

00 Hadoop2.6.4分布式计算环境的搭建 LINUX环境

工具VMware-workstation-10.0.1注册机CentOS-6.5-x86_64-bin-DVD1jdk-7u79-linux-x64hadoop-2.6.4.tar所需知识linux命令基础了解新建虚拟机解压VMware-workstation-10.0.1注册机,打开VMwareWorkstation主页,点击新建虚拟机,选择典型,如下:点击下一步,选择安装程序光盘映像文件,浏览
qingyu66·2020-06-24 22:22

hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和CDH5.8离线安装

CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也是我们接下来需要学习的hadoop生态圈中的组件。环境ClouderaManager是为
张小凡vip·2020-06-24 21:36

python+sparkStreaming+kafka之大数据实时流

首先需要的是环境，我安装的是spark2…1,kafka0-10,hadoop2.7,scala2.11,因为spark是Scala语言写的，所以这个必须的安装，大数据传输存储需要用到Hadoop，HDFS
pyswt·2020-06-24 20:24

Spark2.X集群运行模式

2.sparkStandalone模式配置并测试1）jdk1.8已经安装2）scala2.11.8已经安装3）Hadoop2.6.0已经安装4）SparkStandalone模式配置与测试a）配置sl
努力的凹凸曼·2020-06-24 20:39

phoenix操作hbase报异常java.lang.ClassNotFoundException: org.iq80.snappy.CorruptionException

locationNum=7&fps=1环境：hadoop2.7.3hbase1.3.1在phoenix中使用join（sql：selects.id,c.idfromshopsi
濮阳梦雪·2020-06-24 20:56

Linux搭建Hive On Spark环境(spark-1.6.3-without-hive+hadoop2.8.0+hive2.1.1)

概述1各个机器安装概况2下载和解压缩各种包3配置环境变量4修改hostname文件4.1在3台机器上执行hostname命令4.2编辑hosts文件5Hadoop的安装和启动5.1设置ssh免密码登录5.2创建一堆目录5.3对conf目录下的文件做配置5.3.1修改core-site.xml5.3.2修改hadoop-env.sh5.3.3修改hdfs-site.xml5.3.4新建并且修改map
陈南志·2020-06-24 20:38

spark-submit 碰到 Spark-submit:System memory 466092032 must be at least 471859200

在利用spark进行分布式计算时，/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spark-submit--master=yarnALS.py以上代码是在
飘的心·2020-06-24 20:25

spark java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

可以通过设置–driver-class-path/path/mysql-connector-java-5.1.46.jar来完美解决/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7
飘的心·2020-06-24 20:54
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他