E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop相关
大数据面试题总结（附答案）
hadoop相关
试题MapTask并行机度是由什么决定的？由切片数量决定的。MR是干什么的？MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群
Easoncwy
·
2018-11-04 22:51
面试
Apache Hive在CentOS6上的安装与配置
最近在上
Hadoop相关
的课程，有一个实验要用到Hive这一组件，然而参考网络上的各种安装配置教程却老是出现问题，经过在网上找各种解决方案，终于配置成功能运行了，于是写下这篇文章记录一下，防止以后再踩坑
DeciWine
·
2018-10-26 14:54
开发环境
storm（07）——storm与hdfs的整合
导入依赖主要引入
hadoop相关
依赖，以及storm-hdfs整合的依赖，org.apache.hadoophadoop-client2.7.5org.apache.stormstorm-core1.1.1providedorg.apache.kafkakafka-clients0.10.0.0org.apache.stormstorm-kafka-client1.1.1com.alibabafa
Fenggms
·
2018-10-10 19:42
storm
hadoop相关
试题总结
1.MapTask并行机度是由什么决定的？由切片数量决定的。3.combiner和partition的作用：combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量partition的默认实现是hashpartition，是map端将数据按照reduce个数取余，进行分区，不同的reduce来copy自己的数据。partition的作用是将数据分到不同的reduce进行
脚丫先生
·
2018-09-26 12:50
大数据面试题总结
大数据面试题
spark算子https://blog.csdn.net/dream0352/article/details/62229977
hadoop相关
hadoop平台hadoop平台现在普遍认为整个ApacheHadoop
什锦甜
·
2018-09-20 08:18
Java本地模式开发Spark程序开发遇到的问题
1.spark应用打成Jar包提交到sparkonyarn执行时依赖冲突解决：使用maven项目开发时，可以把spark、scala、
hadoop相关
依赖添加以下标签provided例如：org.scala-langscala-library
csdnmrliu
·
2018-09-06 17:45
Spark开发问题
spark
Centos7下安装Cloudera Manager5.7.0
ClouderaManager：5.7.0安装前准备：JDK：jdk-8u144-linux-x64.tar.gzClouderaManager安装包：cloudera-manager-5.7.5CDH-
Hadoop
Hiwes
·
2018-08-15 15:28
大数据相关
大数据学习教程
Hadoop生态
Hadoop相关
内容SparkSpark系列教程HiveHive快速入门ElasticSearchElasticSearch专栏ScalaScala语言进阶
采风JS
·
2018-08-14 16:20
2 相关技术及原理
[返回主目录]2相关技术及原理2.1
Hadoop相关
技术和原理2.1.1HDFS分布式存储系统2.1.2MapReduce并行计算框架与Yarn资源调度器2.2全基因组测序相关技术和处理流程2.2.1原始数据质控
gamedevv
·
2018-07-28 00:27
【我的项目】➣
[4]
Hadoop基因测序
2 相关技术及原理
[返回主目录]2相关技术及原理2.1
Hadoop相关
技术和原理2.1.1HDFS分布式存储系统2.1.2MapReduce并行计算框架与Yarn资源调度器2.2全基因组测序相关技术和处理流程2.2.1原始数据质控
gamedevv
·
2018-07-28 00:27
【我的项目】➣
[4]
Hadoop基因测序
SpringBoot和hadoop组件Hive的集成（填坑）
1.上maven依赖，如下：4.0.0com.yarmSpring-Boot-Demo1.0.0-SNAPSHOTSpring-Boot-Hadoop
Hadoop相关
组件com.yarmSpring-Boot-Base
King哥2
·
2018-07-26 17:30
Hadoop
Hive
Hadoop2中MR在上Yarn运行的流程
最近一直在补充
Hadoop相关
知识，发现网上相关知识很多，但是也比较杂，因此希望把自己的理解记录下来，方便日后查阅。
dapanbest
·
2018-07-18 12:56
Hadoop学习笔记
Windows 环境下编译Hadoop源码
Windows环境下编译Hadoop源码为了便于在Windows系统平台开发和调试
Hadoop相关
程序，我们需要重新编译Hadoop源码，使其能够在Windows环境下运行。
Impler
·
2018-06-23 23:40
利其器
Hadoop
大数据
Hadoop 快速了解基本知识点
内容概括：Hadoop官方网站有全面系统的文档，包括一些
Hadoop相关
的资料，有基础的同学，建议自己从官网学习Hadoop知识。
ae97a8abebdc
·
2018-06-08 09:13
Ambari大数据平台搭建利器-杨帅-专题视频课程
Ambari大数据平台搭建利器—119人已学习课程介绍Ambari是由HortonWorks开发的一个
Hadoop相关
的项目，这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内
djt_20180507
·
2018-06-07 16:31
视频教程
深入学习Hive应用场景及架构原理
hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习
hadoop
努力的凹凸曼
·
2018-05-12 16:08
Hadoop
Hive
以慕课网日志分析为例，进入大数据Spark SQL大世界 - 环境配置
hadoop相关
配置和修改hadoop-env.shcore-site.xmlhdfs-site.xml解压压缩包命令tar-zxvfxxx.tar.gz-C~/app/home/hadoop/app/
LiHuashen
·
2018-05-05 10:13
hadoop
Kerberos学习（三）
之前已经装了kdc和kadmin，所以接下来就需要创建
hadoop相关
的账号了。首先需要用kadmin进入kerberos管理prompt，这里需要输入之前创建的admin账号的密码。
Slaytanic
·
2018-05-02 19:52
kerberos
安全
集群
集群
flume介绍与原理(一)
1.背景flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为
hadoop相关
组件之一。
devcy
·
2018-04-02 15:54
大数据
Flume
关于crontab 不能调用
Hadoop相关
的命令的问题
先说结果：环境变量导致。处理方式：source/etc/profilesource~/.bash_profile在脚本的开头引入环境变量。事件：crontab调用shell脚本，脚本中包含，hive-e,hive-f等命令，本地执行shell脚本测试无问题，但是crontab调度任务不执行。
Samaritan_H
·
2018-04-02 09:39
hive
Hadoop map reduce执行过程概述
看了不少
hadoop相关
的学习教程以及教学视频，这几天无意中看了下https://wiki.apache.org/hadoop/中的英文资料，感觉还是英文讲解得最是清楚，母语为英语的人学软件技术实在太有优势了
cw_wei
·
2018-03-29 17:20
大数据
Hadoop map reduce执行过程概述
看了不少
hadoop相关
的学习教程以及教学视频，这几天无意中看了下https://wiki.apache.org/hadoop/中的英文资料，感觉还是英文讲解得最是清楚，母语为英语的人学软件技术实在太有优势了
cw_wei
·
2018-03-29 17:20
大数据
Flume概念与原理、与Kafka优势对比
1.背景flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为
hadoop相关
组件之一。
garagong
·
2018-03-27 11:15
Big
Data
Linux系统CentOS 7下载安装Hadoop以及初步配置
基于当前大数据火爆的就业前景，开始琢磨
Hadoop相关
的知识，本文用于记录学习Hadoop开发环境配置中的步骤，帮助自己以及有需要的其他人。
雨打芭蕉
·
2018-03-26 11:35
Hadoop
Linux
flume介绍与测试
背景flume最开始由cloudera软件公司产出的可分布式日志收集系统，后于2009年被捐赠了apache软件基金会，为
hadoop相关
组件之一。
浮生物语QAQ
·
2018-02-02 14:43
flume
flume
source
sink
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
前言在搭建大数据
Hadoop相关
的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。
虚无境
·
2018-01-07 19:24
hadoop
大数据
hive
hbase
spark
zookeeper
大数据(Hadoop
Spark)学习
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
前言在搭建大数据
Hadoop相关
的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。
虚无境
·
2018-01-07 19:00
大数据面试题总结（附答案）
文章目录前言
hadoop相关
试题Hive相关试题Hbase相关试题Storm相关试题Spark相关试题Java基础试题其他前言最近由于要准备面试就开始提早看些面试、笔试题。
春雨里de太阳
·
2018-01-02 15:27
Big
Data
自学大数据之路
【大数据】开发环境搭建（三）：hadoop伪分布式集群环境搭建（下）
（一）
hadoop相关
文件基本配置首先进入master的/usr/local/src/,pwdls查看当前目录下的文件，找到hadoop-1.2.1-bin.tar，该文件和java.bin一起放在共享文件夹中的
贫僧洗头爱飘柔
·
2017-10-22 17:59
Hadoop环境搭建
Hadoop基础教程-第9章 HA高可用（9.2 HDFS 高可用配置）（草稿）
第9章HA高可用9.2HDFS高可用配置9.2.1准备工作因为前面我们已经配置启动了普通的
Hadoop相关
服务，需要先停止相关服务并清除数据。
程裕强
·
2017-07-08 21:30
Hadoop基础教程
Hadoop基础教程
Hadoop集群部署实战(cdh发行版)
一、概要由于工作需要，最近一段时间开始接触学习
hadoop相关
的东西，目前公司的实时任务和离线任务都跑在一个hadoop集群，离线任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一个集群用于跑离线任务
Gavin
·
2017-05-12 10:00
运维干货
Hadoop
集群部署
Hadoop集群部署实战(cdh发行版)
一、概要由于工作需要，最近一段时间开始接触学习
hadoop相关
的东西，目前公司的实时任务和离线任务都跑在一个hadoop集群，离线任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一个集群用于跑离线任务
navyaijm2012
·
2017-05-11 18:06
yum
hadoop
大数据
Sqoop2安装配置
.tar.gz下载地址http://mirrors.hust.edu.cn/apache/sqoop/1.解压安装包tar-xvfsqoop-1.99.7-bin-hadoop200.tar.gz2.
Hadoop
lishiming0308
·
2017-03-28 15:24
大数据
Flume运行原理
1、介绍flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为
hadoop相关
组件之一。
Evankaka
·
2017-03-24 20:36
Flume
Hadoop2.7.3完全分布式集群搭建和测试
这几天在学习
Hadoop相关
的东西，前些时候，搭建了单机和伪分布式的集群。
舒运
·
2017-03-09 15:20
blog
虚拟机
文章
Hadoop相关
文章索引（2）——Hadoop运维主题
hadoop运维笔记1Hadoop集群日常运维Hadoop运维经验杂谈Hadoop运维笔记之调整hdfs与yarn用户的进程nice优先级Hadoop运维笔记之Balancer难以在快速增长的集群上平衡大量的数据Hadoop运维笔记之Namenode异常停止后无法正常启动Hadoop运维笔记之Snappy创建libhadoop.so导致datanode报错Hadoop运维记录系列(十三)Hadoo
BlackEnn
·
2017-01-31 11:00
hadoop
大数据
运维
Hadoop相关
文章索引（2）——Hadoop运维主题
hadoop运维笔记1Hadoop集群日常运维Hadoop运维经验杂谈Hadoop运维笔记之调整hdfs与yarn用户的进程nice优先级Hadoop运维笔记之Balancer难以在快速增长的集群上平衡大量的数据Hadoop运维笔记之Namenode异常停止后无法正常启动Hadoop运维笔记之Snappy创建libhadoop.so导致datanode报错Hadoop运维记录系列(十三)Hadoo
司小幽
·
2017-01-31 11:32
Hive 环境配置 详解
1、由于hive依赖于Hadoop框架，所以首先启动
Hadoop相关
守护进程注:需要先安装Hadoop->namenode$sbin/hadoop-daemon.shstartnamenode->datanode
SmallPuddingHappy
·
2017-01-29 07:00
Hive
Hadoop相关
文章索引（1）
基本常识Hadoop默认端口应用一览hadoop-3.0新特性Mapreduce中Combiner的使用及误区MapReduce:详解Shuffle过程算法架构DAG算法在hadoop中的应用环境部署为你的Hadoop集群选择合适的硬件Debug【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96，并自动生成组合行键可靠保证HadoopYAR
BlackEnn
·
2017-01-27 17:00
hadoop
大数据
部署开启了Kerberos身份验证的大数据平台集群外客户端
具体部署步骤如下所示：1、拷贝集群内
hadoop相关
组件包到客户端本地创建目录/opt/cloud
XIAO的博客
·
2017-01-12 17:00
Linux 安装以及基本使用Hadoop 详解
，hadoop运行需要安装JDK1> 解压软件到目录$tar-zxf hadoop-2.5.0.tar.gz-C/opt/modules 2>删除hadoop中的share/doc目录，该目录中存放着
Hadoop
SmallPuddingHappy
·
2016-12-27 00:00
hadoop
oozie+sqoop+hive 奇葩问题汇总
奇葩问题汇总错误1：JA009:UnknownrpckindinrpcheaderRPC_WRITABLE解决：如果采用hadoop2xx，oozie的war包打入了mr1系列的jar，去掉即可（就是拷贝
hadoop
fantasy-java
·
2016-12-06 17:00
Spark Streaming Kafka CreateDirectDStreaming 遇见的问题
问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了
hadoop相关
参数。
javartisan
·
2016-12-01 19:55
Spark Streaming Kafka CreateDirectDStreaming 遇见的问题
问题1：spark-submit提交任务报错如下：分析：起初我的spark集群是部署在yarn上，所以在spark-env和spark-default下配置了
hadoop相关
参数。
javartisan
·
2016-12-01 19:55
Sqoop
uid=173321&do=blog&id=121081Sqoop--用于Hadoop与关系数据库间数据导入导出工作的工具Sqoop是一款开源的工具，主要用于在
Hadoop相关
存储（HDFS、Hive、
勤奋的华仔
·
2016-11-07 16:53
hadoop
MapReduce工作原理图文详解
阅读更多前言：前段时间我们云计算团队一起学习了
hadoop相关
的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。
沙特小王子
·
2016-11-07 11:00
mapreduce
hadoop
云计算
java使用hadoop实现关联商品统计
最近几天一直在看
Hadoop相关
的书籍，目前稍微有点感觉，自己就仿照着WordCount程序自己编写了一个统计关联商品。
xiaojimanman
·
2016-10-26 14:53
Cloudera官方课程CDH管理员（CCAH）、开发者（CCA175）、数据分析
Hadoop相关
知识不作要求。SparkandHadoop开发者培训培训时长：4天/28课时认证考试：CCA175了解ApacheSp
ClouderaHadoop
·
2016-10-11 17:00
数据库
Hadoop2.7.3完全分布式集群搭建和测试
这几天在学习
Hadoop相关
的东西，前些时候，搭建了单机和伪分布式的集群。
如果一切再重来
·
2016-10-08 15:06
Hadoop
Hadoop的RPC机制
下面在Centos7上写一个RPC通信的例子：1、导入
Hadoop相关
的
FutureFlyme
·
2016-09-28 10:38
Hadoop
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他