Hadoop2

hbase centOS生产环境配置笔记 (1 NameNode, 1 ResourceManager, 3 DataNode)

hadoop版本：hadoop-2.4.1HBase版本：hbase-0.98.6.1-hadoop2Zookeeper版本：ZooKeeper3.4.6JDK：1.6操作系统：centOS6.364bit1
weixin_30888413·2023-03-29 13:31

HBase安装与配置问题

简单介绍一下我的环境1.CentOS6.52.Hadoop2.23.jdk1.74.HBase0.985.Zookeeper3.4在官网下载HBase安装包Hba
蜗牛海胆·2023-03-29 12:36

Hadoop伪分布模式搭建（基于Linux-centos7）

工具：finalshell、Vmware-Linux-centos虚拟机伪分布模式环境必备：jdk1.8.0-8u311、hadoop2.6.5进行伪分布搭建之前需要配置jdk环境和下载Hadoop相关文件
稻草人想看远方·2023-03-28 20:54

在虚拟机CentOs7中配置hadoop2.7.5伪分布式

因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程.搭建伪分布式集群准备条件第一部分安装前部署1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改/etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装
LAllenKing·2023-03-28 20:18

CentOS7下安装Hadoop伪分布式

前提条件拥有CentOS7服务器版环境软件版本说明jdk1.8hadoop2.7.3虚拟机环境准备通网络能ping通外网，例如：pingbaidu.com如果ping不通，可以修改如下文件：vi/etc
Hadoop_Liang·2023-03-28 20:18

Hadoop框架简述

Hadoop2.0的核心包括分布式文件管理系统（HDFS）、资源管理和调度框架YARN和分布式计算框架MapReduce.HDFS是一个具有高容错性的文件系统，适合部署在廉价的机器上，并且能够提供高吞吐量的数据访问
DontCareOthers·2023-03-28 20:16

1.CentOS7 搭建 Hadoop 单节点模式

目录1.前期准备1.1.硬件要求1.2.jdk8环境1.3.ssh命令1.4.关闭防火墙1.5.下载Hadoop2.安装Hadoop2.1.上传安装包并解压2.2.配置JAVA_HOME2.3.伪分布模式启动
墨家先生·2023-03-28 19:24

虚拟机centos7配置Hadoop单节点伪分布配置教程

配置静态网络常见问题归纳_张小鱼༒的博客-CSDN博客centos7克隆虚拟机完成后的的一些配置介绍_张小鱼༒的博客-CSDN博客文章目录目录系列文章目录文章目录前言一、前期准备二、Hadoop介绍2.1、ApacheHadoop2.2
张小鱼༒·2023-03-28 19:06

大数据之CDH5.16.1集成Tez0.9.2

tez官网地址为：http://tez.apache.org/tez是在hadoop2才引入的，如图所示：tez.png图片来源：https://z
LearnBigData·2023-03-28 12:50

Hadoop中datanode启动失败

重新安装了hadoop2.8.5，装完之后重新启动发现namenode可以启动成功，但是datanode启动失败。
刺雒·2023-03-27 10:07

大数据存储与处理——配置HADOOP伪分布式

通常用于开发调试，或者感受hadoop2、伪分布模式：在学习当中一般都是使用这种模式，伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程，但是却还是运行在同一个系统里
取个程序猿的名字·2023-03-26 18:44

Presto技术源码解析总结-一个SQL的奇幻之旅 上

Presto技术总结因为内容过长分为了上下两集1.环境准备Hadoop环境，Hive环境，mysql环境，ssh环境，presto本机debug环境推荐hadoop2.2.0、hive1.2.1、mysql5.7
小武大讲堂·2023-03-25 14:57

HDFS是如何设计架构的？

前言Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0三个版本。
大数据老哥·2023-03-25 06:57

Hadoop中Block和Split的区别

系统也提供默认大小，其中Hadoop1.x中的默认大小为64M，而Hadoop2.x中的默认大小为128M。
星星之火在心中·2023-03-24 20:07

基于 Docker 搭建 Hadoop 平台

基于Docker搭建完全分布式Hadoop平台前言环境遇到的坑折腾实录一、构建镜像1.准备JDK和Hadoop2.构建centos-hadoop镜像二、启动容器三、集群搭建1.进入容器2.配置主机名与IP
不思故亡·2023-03-24 18:10

Spark-2.3安装配置

下载安装官网下载解压即可环境变量配置SPARK_HOMEPATH启动spark-shell匹配的环境hadoop2.7匹配scala-2.11.*
playman·2023-03-24 16:14

162.Hadoop（一）：Hadoop基本概念，基本环境安装，单机运行，各虚拟机数据同步

目录一、Hadoop基本概念1.什么是Hadoop2.Hadoop的优势3.Hadoop组成4.HDFS概述5.YARN概述6.MapReduce概述7大数据整体的技术栈学历路径二、基本环境搭建1.配置虚拟机
鹏哥哥啊Aaaa·2023-03-23 21:57

在Windows操作系统上编译Hadoop源码

一、操作系统和Hadoop版本Windows10专业版（64位），Hadoop2.7.2。
winfield821·2023-03-23 00:20

******题目

0、hadoop1.x和hadoop2.x区别1、概念理解HDFS组成：1)NameNode(Master):主管,管理者1.管理HDFS的命名空间;2.副本配置策略;3.管理数据块(block)的映射信息
shone_shawn·2023-03-21 16:26

解决集群部署Hadoop 启动后没有ResourceManager问题

jps命令没有看到ResourceManager2.查看ResourceManager日志出现java.lang.reflect.InaccessibleObjectException异常解决方法1.停止hadoop2
_DiMinisH·2023-03-20 08:42

【DataSphereStudio - 1.1.0 安装介绍】

1.DataSphereStudio介绍2.DataSphereStudio安装2.1基础软件安装2.1.1注意事项2.1.2软件版本2.1.3需要的命令工具2.1.4创建用户配置权限及免密2.1.5Hadoop2.7.2
yuhh_·2023-03-19 11:45

Flink部署之Yarn

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.8
Joker_Jiang3·2023-03-19 11:39

3.Spark环境搭建-Spark完全分布式集群搭建

用户搭建集群(生产环境中root用户不是可以任意使用的)spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7
__元昊__·2023-03-18 08:26

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN
大数据老司机·2023-03-17 20:38

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
weare_b646·2023-03-17 08:55

Linux常用的九个高级命令

它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序；而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.命令与显示结果[itshare@hadoop201
满山李子·2023-03-15 17:43

pycharm常用配置

software/anaconda3/envs/pyspark_env/lib/python3.8/site-packages/pyspark/jars3.yarn使用hdfs:///tmp/zzdb/hadoop27
kangwq2017·2023-03-15 12:34

pyspark--报错java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST解决

环境Python3.5.2Pyspark2.4.2hadoop-2.6.0spark-2.2.0-bin-hadoop2.6.tgz运行spark本地报错：解决安装对应版本pysparkpipintsallpyspark
我心依依旧·2023-03-15 12:33

PySpark完美安装

一、hadoop版本号确认1.hadoop==>2.7.2[root@dm46TDH-Client]#hadoopversionHadoop2.7.2-transwarp-6.2.0Subversionhttp
kangwq2017·2023-03-15 12:31

03_HADOOP_01_介绍

学习视频是基于hadoop2.6.5版本，看官网截止20190818已到3.2.0版本，但该版本官网说明尚未普遍GA或生产可用。
超级小小张·2023-03-15 11:26

cassandra本地连接失败,Spark-Cassandra Connector：无法打开到Cassandra的本地连接

IamnewtoSparkandCassandra.Ontryingtosubmitasparkjob,IamgettinganerrorwhileconnectingtoCassandra.Details:Versions:Spark:1.3.1(buildforhadoop2.6orlater
林桂鑫·2023-03-15 08:55

hadoop2.9.1+spark2.3字数统计java实例集群运行（idea）

一搭环境Hadoop2.9.2+spark2.3参考https://blog.csdn.net/qazwsxpcm/article/details/78937820二实例运行1打开idea,file-new-project
葡萄超好吃·2023-03-15 07:50

win10下配置hadoop2.9（使用python单机运行任务）

先期准备：java环境已安装着手开始：1、下载hadoop稳定版：http://hadoop.apache.org/->左边点Releases->点mirrorsite->http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->stable/->hadoop-2.9.0.tar.gz点击即可下载。2、解压并配置hadoop环境，新建HAD
Gospel元嘉·2023-03-15 00:12

Pinpoint部署实践（二）搭设Hbase集群

Hbase集群搭建安装Hbase下载http://hbase.apache.org/downloads.html这里我选择的1.4.9版本，和上篇文章的Hadoop2.9.2版本能够兼容。
哲人王·2023-03-14 12:27

Flink实战之Flink必须依赖Hadoop2.7+？

背景最近在用filesystemconnector来写hdfs，底层是通过StreamFileSink实现的。在看官方文档时，有几条注意事项，其中第一条如下：WhenusingHadoopsrc=env.addSource(newFlinkKafkaConsumer("UTF-8")).withRollingPolicy(DefaultRollingPolicy.builder().build()
〇白衣卿相〇·2023-03-14 03:58

hadoop学习之hadoop简易安装配置

学习环境清单ubuntu16.04windows7hadoop2.9.0jdk8一下载安装hadoop首先创建好目录，用于后续文件的归类存放，执行下述命令sudomkdir-p/data/software
你看见皮卡丘了吗·2023-03-12 18:18

《十小时入门大数据》学习笔记之Hadoop分布式集群环境搭建

hadoop000:192.168.111.185hadoop001:192.168.111.186hadoop002:192.168.111.1871、机器准备1）安装虚拟机:使用的是CentOS7，用户名为hadoop2
腊月的梅花·2023-03-12 07:44

从Windows-VM15-Ubuntu-Spark搭建全流程-（四）搭建Hadoop

（四）搭建Hadoop硬件条件：JDK1.8（本系列文章一有分享如何下载）Ubuntu18.04LTS目的是要搭建Hadoop（单机版）第一步：下载Hadoop2.7.7从以下地址下载后解压到dev文件夹
fifi说·2023-03-10 21:56

8-点击流数据分析项目-Hive分析

文章目录8-点击流数据分析项目-Hive分析一、环境准备与数据导入1.开启hadoop2.导入数据二、创建hive表创建原始数据表（clickstreamdata-pre）：创建点击流pageview表
IT从业者张某某·2023-03-10 09:21

idea 使用maven的archetype模板来创建Spark 项目

目录[toc]版本Scala版本：2.11.8spark版本：spark-2.4.4-bin-hadoop2.7.tgz一、创建Scala工程1.创建maven项目打开Intellij,File->newproject
袭明·2023-03-10 08:34

Linux初学

1.常见的端口：443：https21:ftp80:http22:ssh-1:默认端口3306:mysql8888:宝塔6379：redis9000：hadoop2.常用命令：ipa：查看当前主机ip号
Tomtutu·2023-03-10 04:44

Yarn知识

slot的概念，最直接的方法就是是让任务直接向调度器申请自己需要的资源（比如某个任务可申请1GB内存和1个CPU），而调度器则按照任务实际需求为其精细地分配对应的资源量，不再简单的将一个Slot分配给它，Hadoop2.0
Shawn999·2023-03-09 12:47

Carbondata1.3.1+Spark2.1.0+Hadoop2.7.3集成问题记录（持续更新）

一、版本问题目前官方虽说支持了spark2.2.1，下载git代码后编译完全是可以通过的，但是在使用过程会出现问题。按照目前所验证的结果是，spark2.1.0版本和carbondata1.3.1版本是可以正常使用的。二、java.lang.NoClassDefFoundError:com/sun/jersey/api/client/config/ClientConfigjava.lang.NoC
Jonathan丶Wei·2023-03-09 11:09

hadoop所需要的各个版本的jar包下载站点

https://nowjava.com/jar/search/hadoop-hdfs-2.7.7.jar**对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2
翟梁举·2023-03-09 10:38

Hadoop高可用(HA)集群搭建

通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即ac
five小点心·2023-03-09 07:03

马士兵spark学习

文档地址http://mashibing.com/wiki/Spark上传文件解压#cdtraining#tar-xvfspark-2.1.0-bin-hadoop2.7.tgz#rm-rfspark-
lehuai·2023-02-19 00:58

windows本地开发Spark[不开虚拟机]

1.windows本地安装hadoophadoop官网下载hadoop2.9.1版本1.1解压缩至C:\XX\XX\hadoop-2.9.11.2下载动态链接库和工具库1.3将文件winutils.exe
CMCST·2023-02-18 21:49

Hadoop2.x分布式集群部署12

一、Hadoop2.x分布式集群部署-HDFS1.hadoop2.x版本下载及安装https://archive.apache.org/disthttp://archive.cloudera.com/cdh5
麻帅·2023-02-17 22:29

hadoop（一）CentOS7安装单机版Hadoop2.7.3

CentOS7安装单机版Hadoop2.7.3前期准备安装java，拷贝oracle官网下载的jdk-8u111-linux-x64.rpm到虚拟机内。
文子轩·2023-02-17 09:48

Spark单机环境搭建

1.版本system:centos6.5jdk:1.8.0_141spark:spark-2.0.2-bin-hadoop2.62.下载安装Sparkjdk基础环境省略下载地址:http://spark.apache.org
陪你一起debug·2023-02-07 12:26
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他