Hadoop2 第54页

Eclipse 开发Hadoop2.7.1可能会遇到的问题

安装Eclipse插件之类的问题我就不说了，网络上一大堆，基本上可以搞定，现在就说一下经常会遇到的问题。1.org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=Administrator，在eclipse中测

wypjack·2020-06-29 22:50

Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV

上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2.实现安装Python模块pyhdfs版本:Python3.6,hadoop2.9

翱翔的江鸟·2020-06-29 22:50

一篇讲懂为什么HDFS文件块（block）大小设定为128M

CSDN搜了半天也没有确切答案，查询资料思考后总结如下：我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2

攻城狮Kevin·2020-06-29 22:52

hadoop2.3.7新加结点相关问题汇总

现有Hadoop集群新加结点流程及问题汇总一、引言说明：本文是在hadoop集群基本部署完成后，后续新加结点过程中的总结。此时，集群所含机器已配置完成一定文件（即master1,master2,slave等多个结点中已部署好一定配置信息，如jdk，hadoop，ssh等信息），具体配置流程可参见hadoop集群配置方法。tips：master1上配置好的hadoop所在文件夹/home/hadoo

scot_·2020-06-29 22:42

Kafka学习笔记-Flume整合Kafka整合SparkStreaming

FlumeKafkaSparkStreaming环境信息：apache-flume-1.6.0-bin.tar.gzkafka_2.11-0.10.0.0.tgzspark-1.6.1-bin-hadoop2.6

人生偌只如初见·2020-06-29 21:40

Centos7 安装配置hadoop2.7.2超详细过程

这是我自己部署的一套hadoop集群，里面参考夹杂了一些其它人的资料，先发表以作备份集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式

工程狮一枚·2020-06-29 21:10

ClickHouse高可用集群

秒天秒地的性能，加上数据量不大，数据恢复成本不高，才出此策略；入正题：今天尝试搭建了一个2*2的clickhouse集群，两个分片，每个分片有两个副本，共四个节点，逻辑拓扑图如下hostshardreplicahadoop20101hadoop50102hadoop6

woloqun·2020-06-29 20:54

1-2 集群Kerberos安全配置

在集群hadoop2.2.0(无HA)+zookeeper-3.3.5+hbase-0.96.0-hadoop2正常运行的情况下，添加kerberos认证。

sealhunter·2020-06-29 19:36

0-1 伪分布hadoop和hbase搭建

Hadoop-2.2.0伪分布式和hbase-0.96.0-hadoop2伪分布式搭建1.部署（1）主机名gedit/etc/hostnamemaster1sudogedit/etc/hosts127.0.0.1master1

sealhunter·2020-06-29 19:05

hadoop集群配置

配置环境本文以centos764位虚拟机1台主节点2G2核心，3台slave1G1核其中一台充当主备secondaryNamenodejdk1.8hadoop2.8集群环境搭建hadoop的环境搭建其实就是

阿太哥·2020-06-29 19:24

pycharm配置pyspark环境

ringsuling/article/details/84448369用到的配置环境变量：还没配置成功#spark的安装位置C:\file\spark_package\spark-2.4.4-bin-hadoop2.7

御剑归一·2020-06-29 19:50

hadoop2.7.3 HA YARN 环境搭建

hadoop2.7.3HAYARN环境搭建本文主要参考：http://www.cnblogs.com/captainlucky/p/4654923.html本文实现前提：1、已经能够搭建hadoopHA

0day__·2020-06-29 18:22

spark 运行自带python示例的方式

命令行直接执行：[[email protected]hadoop2.7]#bin/spark-submitexamples/src/main/python/ml/kmeans_example.py

汀桦坞·2020-06-29 18:08

通过mongo-hadoop(pymongo_spark)从PySpark保存数据到MongoDB

一、背景PySparktoconnecttoMongoDBviamongo-hadoop二、配置步骤（注意版本作相应调整，spark-2.4.3，hadoop2.7，Scala2.11）1.

wengyupeng·2020-06-29 17:00

Sqoop安装和使用

Sqoop的安装和使用所用环境的版本：CentOS7.9Hadoop2.9.2（已搭建集群）Hive2.3.6Mysql5.7.28一：概述Sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据

嘀嘀Lemon·2020-06-29 16:54

安装hadoop2.9.2单机版本 jdk1.8 centos7

安装JDK1.8查看JDK1.8的安装https://www.cnblogs.com/TJ21/p/13208514.html安装hadoop上传hadoop下载hadoop地址http://mirrors.hust.edu.cn/apache/hadoop/common/放到mkdir/usr/local/src/hadoop目录下解压 tar-zxvfhadoop-2.9.2.tar.gz

雨听风说·2020-06-29 16:00

Hadoop大数据学习---Hadoop3.1.3(完全分布式实战)---使用脚本一键搭建Hadoop--精华篇(五)

但是我做一篇文章要很久，因为我对文章要求比较高，绝对不做烂帖，看到这篇文章，我建议你收藏，如网友们所愿，详细讲解搭建步骤，喂奶式教学，手刃新手搭建Bug，深扒新手Bug底层原理，解密免密登录原理，以及脚本核心原理，Hadoop2

三里屯VIP·2020-06-29 15:44

安装Hadoop单机版

目录：1、安装Centos72、安装JDK1.73、安装Hadoop2.9.2该配置过程摘抄于本人讲师，并非原创1、安装Centos7Centos7安装过程略，配置静态IP，关闭防火墙。

自在仙·2020-06-29 15:00

spark sql with hive

sparkstandalonespark-1.5.0-bin-hadoop2.6spark-env.sh配置exportSPARK_MASTER_IP=172.16.31.11exportSPARK_MASTER_PORT

GK_Coder·2020-06-29 14:41

Windows下Hadoop配置和namenode搭建

1.压缩包下载这里我是从Apache官网下载的hadoop压缩包：hadoop2.7.5（下载地址：https://hadoop.apache.org/releases.html）直接下载压缩包解压放到你的硬盘中即可

_BKing·2020-06-29 14:00

Hadoop2.7.5完全分布式集群搭建和测试

Hadoop2.7.5完全分布式集群搭建和测试[TOC]1准备1.2版本信息介绍环境软件：Vmwareworkstation12系统：CentOS-7-x86_64-DVD-1708.iso1GB内存20GB

小小少年Boy·2020-06-29 14:34

Hadoop高可用集群搭建（HA）

Hadoop前期工作2.2搭建zookeeper2.2.1解压zookeeper2.2.2修改配置2.2.3拷贝zookeeper到其他节点2.3安装配置Hadoop集群（在mini01上操作）2.3.1解压Hadoop2.3.2

韩利鹏·2020-06-29 13:37

大数据框架重要知识点梳理

如果对大数据有兴趣，并且自学不知道如何学习的，可以关注一下，哪里有问题也可以评论提出，我哪里理解错了，也希望大神指出1、java相关的知识点1、多线程2、io流3、反射4、JVM-----需要重点关注2、hadoop2.1HDFS1

এ゛孙先生_。·2020-06-29 12:34

FLINK1.9.1源码编译支持hadoop2.6.0-cdh1.15.1

官网编译指导:https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html#pre-bundled-versions下载源码地址:https://flink.apache.org/downloads.html#apache-flink-191编译环境的准备:InadditionyouneedMa

xiaolin_xinji·2020-06-29 12:11

基于cdh5的spark测试

1.cdh集群环境cdh版本5.13.2jdk1.8scala2.10.6zookeeper3.4.5hadoop2.6.0yarn2.6.0spark1.6.0、2.1.0kafka2.1.0备注:基于

忆往昔、流年梦·2020-06-29 09:09

spark-1.6.0安装

已安装Hadoop2.7.2的三节点集群安装Scala下载scala-2.11.7.tgz解压Scala$tar-zxvfscala-2.11.7.tgz-C~/cloud/配置环境变量exportSCALA_HOME

Skye_kh·2020-06-29 09:57

1、ubantu16.04 + hadoop2.7.3 + eclipse单机伪分布环境配置

1.搭建hadoop环境这步网上的文章一大堆，下面是简化版的操作步骤（此处省略一个免密钥登陆的过程，百度上有很多）第一步：下载java_jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，下好之后解压到/usr/local/java/路径下，这时你的/usr/loca

Old_Artist·2020-06-29 09:24

HBase启动regionserver报错;Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

HBase启动不了regionserver，查看hbase-0.98.24-hadoop2/logs/hbase-root-regionserver-hadoop1.out日志，发现：ERROR[main

Aangelor·2020-06-29 08:07

Hadoop学习笔记-Hadoop入门和HDFS的原理（8月5号）

文章目录作者信息一.前言二.什么是Hadoop2.1Hadoop的由来2.2什么是分布式系统(distributedsystem)2.3Hadoop的组成2.4Hadoop的优点2.5Hadoop的缺点

Yuchao Huang·2020-06-29 07:23

大数据技术学习笔记

大数据学习笔记一、hadoop2.0项目结构1hdfs分布式文件系统2yarn资源调度系统3mapReduce离线数据分析4Tez组成有向无环图DAG计算5Spark分布式内存计算6Hive数据仓库，用

xinxin之火·2020-06-29 06:15

Hadoop-YARN的资源调度

yarn概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性

爱吃龙虾的饼·2020-06-29 06:25

安装配置Hbase 2.0.2 数据库（CentOS7下的Hbase 2.0.2 数据库的安装部署）

工具/原料：1.jdk1.8，若未安装，可参考：https://mp.csdn.net/postedit/844005582.hadoop2.7.7（或其他可兼容版本）若未安装，可参考：https://

月落乀最红尘·2020-06-29 06:14

安装配置Hive 1.2.2数据仓库（CentOS7下的Hive 1.2.2 数据仓库的安装部署）

工具/原料：1.jdk1.8，若未安装，可参考：https://mp.csdn.net/postedit/844005582.hadoop2.7.7（或其他可兼容版本）若未安装，可参考：https://

月落乀最红尘·2020-06-29 06:14

安装配置Hadoop伪分布式集群（CentOS7下的Hadoop伪分布式集群的安装部署）

工具/原料：1.hadoop2.7.72.jdk1.8下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop

月落乀最红尘·2020-06-29 06:44

启动hive，提示ls: 无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: 没有那个文件或目录

[root@hadoop03bin]#hivels:无法访问/home/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar:没有那个文件或目录原因是

我是A_lin呀·2020-06-29 05:23

使用Eclipse编写MapReduce程序

写在前面：测试环境：Deepin15.10.1、Hadoop-2.8.5、EclipsePhotonRelease(4.8.0)Step0:使用Eclipse操作HDFS安装hadoop2x-eclipse-plugin

DivingKitten·2020-06-29 04:06

Hadoop二：Hadoop伪分布式模式

Hadoop伪分布式模式Hadoop2.x：官网：hadoop.apache.org三个组件：HDFS：分布式文件系统，存储MapReduce：分布式计算Yarn：资源（cpu+memory）和JOB调度监控文档地址

苏木logwood·2020-06-29 04:35

docker-compose安装Hadoop

新建hadoop目录vidocker-compose.ymlversion:"3.1"services:namenode:image:bde2020/hadoop-namenode:1.1.0-hadoop2.7.1

于英亮·2020-06-29 04:57

PredictionIo 0.12.1 安装详解

Ubuntu14.04软件版本：以下为安装测试过程中，使用的软件版本：必须安装：Java：64-Bit“1.8.0_171”Hadoop:2.7.6Scala:2.12.6Spark:2.1.1(支持hadoop2.7

weixin_42082627·2020-06-29 03:12

Hadoop之Yarn面试知识复习

Hadoop之Yarn面试知识复习目录简述hadoop1与hadoop2的架构异同为什么会产生yarn,它解决了什么问题，有什么优势？Hadoop之Yarn工作机制详解HDFS的数据压缩算法?

娃哈哈、·2020-06-29 02:17

搭建centos7的开发环境3-Spark安装配置

这是Centos7开发环境系列的第三篇，本篇的安装会基于之前的配置进行，有需要的请回复搭建centos7的开发环境1-系统安装及Python配置、搭建centos7的开发环境2-单机版Hadoop2.7.3

何柯君·2020-06-29 02:07

Hadoop集群环境搭建

一、主要内容Hadoop集群搭建主要分为以下几个步骤：1.安装虚拟软件VMwareWorksation2.配置虚拟机3.集群虚拟机4.搭建Hadoop2.10.0分布式集群*注链接包含所需环境搭建所有文件下载安装包密码

一角灯辉·2020-06-29 01:27

windows搭建大数据Hadoop2.9.0平台

一、需要工具如下1.VMware2.jdk-8u161-linux-x64.tar.gz3.securecrt(相当于xshell)4.filezilla(给虚拟机传输文件)5.Centos7.iso6.hadoop-2.9.0.tar.gz二、搭建步骤（可参考https://www.bilibili.com/video/av15390641/?p=6和https://www.cnblogs.co

小景-SJZU·2020-06-28 23:46

用户行为数据采集第6节数仓采集Kafka Manager安装脚本测试

用户行为数据采集第5节日志采集分析、ETL拦截器、分类型拦截器及脚本编写1、Kafka安装架构图Kafka集群安装详见：参照自己上次写的博客：Kafka集群部署集群规划：服务器hadoop1.x服务器hadoop2

江湖侠客·2020-06-28 22:08

CentOS7搭建Flume1.6环境

写在最前，后面测试会用到HDFS2，所以本次环境搭建是在Hadoop2.6.1，三节点的基础上完成的。

ChanKamShing·2020-06-28 22:19

Hive -【group by】深刻理解，以及数据倾斜、与distinct区别（去重统计）

目录1、数据准备2、实例解读扩展知识：groupby带来的数据倾斜处理、与distinct的区别环境CentOS7.5Hadoop2.6.5MariaDB5.5.60Hive1.2.21、【数据准备】hive

神是念着倒·2020-06-28 20:43

windows本地开发flink的maven文件以及简单示例代码

4.0.0com.test.flinktestflink1.01.81.81.8org.scala-langscala-library2.11.8compileorg.slf4jslf4j-log4j121.7.7compilelog4jlog4j1.2.17compileorg.apache.flinkflink-shaded-hadoop21.7.2compileorg.apache

统木木·2020-06-28 20:01

大数据环境搭建--03 Centos7安装hadoop2.8集群

M醉逍遥·2020-06-28 19:45

spark-2.2.0安装和部署——Spark集群学习日记

下载为了方便，我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0wgethttps://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7

kwongtailau·2020-06-28 19:59

零基础Ubuntu16.04+Hadoop2.7.3+Spark2.3.4+Zookeeper3.4.14+HBase2.1.6+Kafka2.11大数据集群配置教程

半年后重新整理了大数据集群搭建方案，优化了部分步骤与目录设计目录1、环境搭建虚拟机：系统：节点：2、相关软件版本3、主要参考文章4、搭建步骤4.1安装虚拟机4.2修改hostname与hosts文件4.3创建hadoop用户与hadoop用户4.4配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通4.5配置Java4.6配置ssh4.6.1安装ssh4.6.2验证ssh是

景雨泽·2020-06-28 19:37

推荐频道

Hadoop2