E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop错误总结
【大数据架构】日志采集方案对比
整体架构日志采集端FlumeFlume的设计宗旨是向
Hadoop
集群批量导入基于事件的海量数据。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。
话数Science
·
2024-01-11 04:03
大数据
面试
大数据
面试
架构
大数据独角兽 Cloudera 股价腰斩,
Hadoop
将何去何从?
围绕
Hadoop
进行商业化有著名的三巨头,分别是Cloudera、Hortonworks和MapR,如今都不约而同地陨落了。
烽火程序猿
·
2024-01-11 04:15
记一次Maxwell出现Communications link failure
原报错信息:connectingtojdbc:mysql://
hadoop
01:3306/maxwell?
玖玖1704
·
2024-01-11 03:34
maxwell
hadoop
大数据
etl
数据库
10、采集通道启动、停止脚本
1)在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@
hadoop
102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞
·
2024-01-11 02:16
数仓架构搭建
linux
运维
服务器
从零到一:
Hadoop
开发者的成长之路
从零到一:
Hadoop
开发者的成长之路随着大数据时代的来临,
Hadoop
作为处理大规模数据的开源框架,已成为企业和开发者关注的焦点。那么,如何从零开始,逐步成长为一名优秀的
Hadoop
开发者呢?
乌龙饼干
·
2024-01-11 01:45
hadoop
大数据
分布式
Hadoop
的未来发展趋势与挑战分析
Hadoop
的未来发展趋势与挑战分析
Hadoop
,作为大数据领域的老牌开源框架,已经历了十多年的风风雨雨。
乌龙饼干
·
2024-01-11 01:45
hadoop
大数据
分布式
Hadoop
中的数据治理策略与实践
Hadoop
中的数据治理策略与实践随着大数据技术的快速发展,
Hadoop
已成为企业存储和处理大规模数据集的首选平台。然而,随着数据量的不断增长,数据治理问题也日益凸显。
乌龙饼干
·
2024-01-11 01:15
hadoop
大数据
分布式
Hadoop
与Spark:大数据处理框架的比较与选择
Hadoop
与Spark:大数据处理框架的比较与选择在大数据的时代背景下,数据处理和分析的需求日益增长。
乌龙饼干
·
2024-01-11 01:14
hadoop
spark
大数据
利用
Hadoop
进行数据湖构建与管理
利用
Hadoop
进行数据湖构建与管理一、引言在大数据的时代,数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题,数据湖的概念应运而生。
乌龙饼干
·
2024-01-11 01:14
hadoop
大数据
分布式
Hadoop
简介:开启大数据处理之门
在此背景下,
Hadoop
作为一种分布式系统基础架构,应运而生,为大数据处理打开了新的大门。
乌龙饼干
·
2024-01-11 01:44
hadoop
大数据
分布式
Hadoop
在大数据分析中的应用与挑战
Hadoop
在大数据分析中的应用与挑战随着数字化时代的来临,数据呈现爆炸性增长,大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干
·
2024-01-11 01:44
hadoop
hdfs
mapreduce
如何搭建一个高效的
Hadoop
集群环境?
如何搭建一个高效的
Hadoop
集群环境在大数据处理和分析的领域中,
Hadoop
已经成为了一个非常流行的工具。
乌龙饼干
·
2024-01-11 01:44
hadoop
大数据
分布式
深入了解
Hadoop
:架构、组件与工作流程
深入了解
Hadoop
:架构、组件与工作流程随着大数据时代的来临,
Hadoop
已经成为了一个不可或缺的开源工具。
乌龙饼干
·
2024-01-11 01:42
hadoop
架构
大数据
CDH5x离线安装+解决报错教程
前言CDH集成了Apache
Hadoop
中各种相关组件,提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、
·
2024-01-11 01:09
大数据
Linux
CDH安装
CDH基于http搭建
cdh5.12.1
linux
cloudera
黑猴子的家:Hive 数据倾斜优化之 小文件合并
HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.
hadoop
.hive.ql.io.CombineHiveInputFormat
黑猴子的家
·
2024-01-10 20:26
阿里云服务器得免费使用领取
系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取
Hadoop
3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾
·
2024-01-10 20:22
阿里云
服务器
云计算
Scala操作HDFS
_importorg.apache.commons.lang3.StringUtilsimportorg.apache.
hadoop
.conf.Configurationimportorg.
SunnyMore
·
2024-01-10 18:13
大数据学习记录
hadoop
(2)
四、
hadoop
之HDFS4.1HDFS的定义HDFS定义:分布式文件系统HDFS使用场景:一次写入,多次读写4.2HDFS的优缺点优点:1)高容错性(1)数据自动保存多个副本(2)某个副本丢失后,可以自动恢复
不吃海带吃海苔
·
2024-01-10 16:15
Jbd4:Hbase
Jbd4:Hbase教程地址0.背景0.1
Hadoop
的局限性0.2HBaseVS传统数据库0.2.1数据类型0.2.2数据库类型0.2.3数据库区别1.概述1.1HBase简介1.2HBase访问接口
JxWang05
·
2024-01-10 14:05
Juicy_Big_Data
hbase
Linux入门学习笔记
系统2.Linux配置和Linux的目录结构Linux组成结构:硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)
Hadoop
RoundOff
·
2024-01-10 14:02
linux学习笔记
linux学习
《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2024-01-10 14:58
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
Flink集群安装部署(Standalone,Yarn模式)
目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK,
Hadoop
二.Flink集群安装步骤1.下载安装包下载地址:Indexof/dist/flink
MJK祺
·
2024-01-10 12:03
大数据
hadoop
flink
4.MapReduce 序列化
目录概述序列化序列化反序例化java自带的两种Serializable非Serializable
hadoop
序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up
·
2024-01-10 12:46
大数据
mapreduce
大数据
序列化
实践
【Linux】linux踢出远程登录用户命令
linux踢出远程登录用户命令:查看当前自己的终端:[root@
hadoop
3~]#whoamirootpts/12013-01-2210:45(192.168.250.110)输入w命令查看已登录用户信息
奔向理想的星辰大海
·
2024-01-10 11:04
Linux
技术研发
项目管理
linux
Zookeeper安装入门并配置为Windows服务开机自动启动
Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper,它是一个分布式服务框架,是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三
·
2024-01-10 09:29
zookeeper
zookeeper
windows
10
Hive之set参数大全-4
以下是一个示例:--设置hive.fetch.output.serde为org.apache.
hadoop
.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas
·
2024-01-10 09:28
Hive
hive
hadoop
大数据
深入理解
Hadoop
(五)YARN核心工作机制浅析
概述YARN的核心设计理念是服务化(Service)和事件驱动(Event+EventHandler)。服务化和事件驱动软件设计思想的引入,使得YARN具有低耦合、高内聚的特点,各个模块只需完成各自功能,而模块之间则采用事件联系起来,系统设计简单且维护方便。这种编程方式具有异步、并发等特点,更加高效,更适合大型分布式系统。YARNService服务对于生命周期较长的对象,YARN采用了基于服务的对
我很ruo
·
2024-01-10 08:20
大数据
hadoop
大数据
分布式
深入理解
Hadoop
(七)YARN资源管理和调度详解
资源调度解决方案探讨
Hadoop
最初是为批处理设计而生,对于资源管理和调度,仅仅支持FIFO的调度机制。
我很ruo
·
2024-01-10 08:20
大数据
hadoop
java
分布式
yarn
深入理解 Flink(三)Flink 内核基础设施源码级原理详解
Hadoop
生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件,Actor是负责进行通信的组件。
我很ruo
·
2024-01-10 08:20
大数据
flink
大数据
hadoop
分布式
深入理解
Hadoop
(三)HDFS文件系统设计实现
HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件:edits_0000000000000041912-0000000000000041913:该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914:正在使用的编辑日志文件
我很ruo
·
2024-01-10 08:50
大数据
hadoop
hdfs
大数据
深入理解
Hadoop
(一)网络通信架构与源码浅析
Hadoop
RPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候,会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo
·
2024-01-10 08:49
大数据
hadoop
架构
大数据
深入理解
Hadoop
(二)HDFS架构演进
HDFS分布式集群架构设计实现核心设计思路:分而治之的思路,实现分散存储+冗余存储元数据管理核心问题:文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件:NameNodeRpcServer:RPC服务端,接收所有客户端的RPC请求来执行处理FSNamesystem:负责管理元数据内存中有一份完整的:FSDirectory磁盘中也有一份完整的
我很ruo
·
2024-01-10 08:49
大数据
hadoop
hdfs
架构
hadoop
主要文件及目录简介
1.
hadoop
目录概述
hadoop
的解压目录下的主要文件如下图所示:其中:/bin目录存放对
Hadoop
相关服务(HDFS,YARN)进行操作的脚本;/etc目录存放
Hadoop
的配置文件/lib目录存放
我很ruo
·
2024-01-10 08:19
hadoop
YARN 配置文件 capacity-scheduler.xml 参数解读
capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数,位于
hadoop
安装目录/
hadoop
-2.7.2/etc/
hadoop
目录下。打开后可以看到默认配置。
我很ruo
·
2024-01-10 08:49
hadoop
大数据
hadoop
之HDFS文件系统命令操作
Apache
Hadoop
3.3.4–Overview01.appendToFile
hadoop
fs-appendToFilelocalfile/user/
hadoop
/
hadoop
file
hadoop
fs-appendToFilelocalfile1localfile2
OnePandas
·
2024-01-10 08:46
Hadoop
hadoop
hdfs
大数据
深入理解
Hadoop
(四)HDFS源码剖析
HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事:创建JournalNode的本
我很ruo
·
2024-01-10 08:10
大数据
hadoop
hdfs
大数据
CDH集成LDAP配置
JavaChenBlog,作者:JavaChen原文链接地址:http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-
hadoop
.html
101之歌
·
2024-01-10 07:48
Hbase安装步骤
话不多说,下面就是安装的详细步骤:一、下载安装包首先,我们需要下载图中红色标记的三个压缩包:apache-zookeeper-3.6.3.tar、
hadoop
-3.3.1.tar、hbase-2.2.7
Daner13921
·
2024-01-10 06:46
hbase
hadoop
apache
【spark】基于Spark的电影推荐系统+[详细代码及配置]
基于Spark的电影推荐系统项目架构组件版本及配置名称版本
Hadoop
2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS
·
2024-01-10 06:25
Spark
spark
大数据本地环境搭建-Zookeeper/
Hadoop
/Hive搭建
1.Zookeeper环境安装链接:https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码:wgal1.1上传tar包zookeeper-3.4.6.tar注意:上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas
·
2024-01-10 06:01
集群环境搭建
大数据
hadoop
zookeeper
hive
Hadoop
之mapreduce参数大全-4
76.指定在MapReduce作业中,哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是
Hadoop
MapReduce框架中的一个配置属性
OnePandas
·
2024-01-10 06:01
Hadoop
hadoop
mapreduce
Hadoop
之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数,用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小(以字节为单位)。如果一个任务使用的虚拟内存超过了此参数指定的值,则任务会被认为是失败的,并且MapReduce集群会尝试重新分配任务。默认情况下,此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas
·
2024-01-10 06:00
Hadoop
hadoop
Hadoop
之mapreduce参数大全-2
25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是Apache
Hadoop
MapReduce
OnePandas
·
2024-01-10 06:00
Hadoop
hadoop
大数据
Hadoop
之mapreduce参数大全-3
51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是
Hadoop
MapReduce中的一个配置参数,用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas
·
2024-01-10 05:57
Hadoop
hadoop
mapreduce
java
Hadoop
体系结构之 HDFS
HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的
Hadoop
2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar
·
2024-01-10 05:05
Java大数据学习~
Hadoop
初识三Yarn模式
我们都知道在如今的
Hadoop
中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路
·
2024-01-10 05:55
Hive的复杂数据类型
复杂数据类型:array、map、struct1.数组array,里边不能装不同类型的数据[
hadoop
@
hadoop
001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92
·
2024-01-10 00:35
1.2.2.5MapReduce实例
总目录:https://www.jianshu.com/p/e406a9bc93a9
Hadoop
-子目录:https://www.jianshu.com/p/9428e443b7fd天气案例经典案例myclient.java
寒暄_HX
·
2024-01-10 00:53
Hadoop
集群搭建:4.修改
Hadoop
的配置文件、节点启动
配置文件的路径:/module/
hadoop
-2.7.2/etc/
hadoop
1.核心配置文件配置core-site.xml,命令:vicore-site.xml在该文件的中config范围内编写如下配置
丶珍视当下
·
2024-01-09 23:38
【学习笔记】尚硅谷
Hadoop
大数据教程笔记
本文是尚硅谷
Hadoop
教程的学习笔记,由于个人的需要,只致力于搞清楚
Hadoop
是什么,它可以解决什么问题,以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。
棉花糖灬
·
2024-01-09 23:17
大数据
大数据
hadoop
MapReduce
yarn
hdfs
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他