E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop学习积累
(十八)大数据学习之HA
HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.
Hadoop
HA1.HDFSHA/usr/local/
hadoop
-2.8.4/etc/
hadoop
Movle
·
2024-01-11 08:43
搭建时间服务器并配置集群自动时钟同步
搭建时间服务器并配置集群自动时钟同步一、搭建时间服务器(一)为什么要搭建时间服务器因为
Hadoop
对集群中各个机器的时间同步要求比较高,要求各个机器的系统时间不能相差太多,不然会造成很多问题。
Y先生的领地
·
2024-01-11 08:58
spark基础--学习笔记
1spark介绍1.1spark概念ApacheSpark是专为大规模数据处理而设计的快速通用的分布式计算引擎,是开源的类
Hadoop
MapReduce的通用分布式计算框架。
祈愿lucky
·
2024-01-11 07:58
大数据
spark
学习
笔记
Hadoop
安装遇到的一些问题
image.pngimage.png解决选择CentOs.vmx无反应问题:image.png打开之后,选择Poweron之后,选择Imovedit:第一次点mved,以后点copiedroot登陆,密码:
hadoop
博弈史密斯
·
2024-01-11 07:30
Hadoop
之mapreduce参数大全-5
101.指定任务启动过程中允许的最大跳过尝试次数mapreduce.task.skip.start.attempts是
Hadoop
MapReduce框架中的一个配置属性,用于指定任务启动过程中允许的最大跳过尝试次数
OnePandas
·
2024-01-11 07:45
Hadoop
hadoop
mapreduce
hive sql 和 spark sql的区别
HiveSQL和SparkSQL都是用于在大数据环境中处理结构化数据的工具,但它们有一些关键的区别:底层计算引擎:HiveSQL:Hive是建立在
Hadoop
生态系统之上的,使用MapReduce作为底层计算引擎
深度学习研究员
·
2024-01-11 07:08
hive
sql
spark
数据库
HDFS相关API操作
文章目录API文档环境配置API操作准备工作创建文件夹文件上传文件下载文件删除文件的更名和移动获取文件详细信息API文档HDFSAPI官方文档:https://
hadoop
.apache.org/docs
欲无缘
·
2024-01-11 06:56
大数据
hdfs
hadoop
大数据
Flink复习3-2-4-6-1(v1.17.0): 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述
SerializationSupportedDataTypes(支持的数据类型)TuplesandCaseClassesPOJOsPrimitiveTypes(基本数据类型)GeneralClassTypes(一般类型)Values
Hadoop
WritablesSpecialTypes
ε(´ο`*)))
·
2024-01-11 05:30
flink复习
flink
大数据
【大数据架构】日志采集方案对比
整体架构日志采集端FlumeFlume的设计宗旨是向
Hadoop
集群批量导入基于事件的海量数据。系统中最核心的角色是agent,Flume采集系统就是由一个个agent所连接起来形成。
话数Science
·
2024-01-11 04:03
大数据
面试
大数据
面试
架构
大数据独角兽 Cloudera 股价腰斩,
Hadoop
将何去何从?
围绕
Hadoop
进行商业化有著名的三巨头,分别是Cloudera、Hortonworks和MapR,如今都不约而同地陨落了。
烽火程序猿
·
2024-01-11 04:15
记一次Maxwell出现Communications link failure
原报错信息:connectingtojdbc:mysql://
hadoop
01:3306/maxwell?
玖玖1704
·
2024-01-11 03:34
maxwell
hadoop
大数据
etl
数据库
10、采集通道启动、停止脚本
1)在/home/shuidi/bin目录下创建脚本cluster.sh[shuidi@
hadoop
102bin]$vimcluster.sh在脚本中填写如下内容#!
施小赞
·
2024-01-11 02:16
数仓架构搭建
linux
运维
服务器
从零到一:
Hadoop
开发者的成长之路
从零到一:
Hadoop
开发者的成长之路随着大数据时代的来临,
Hadoop
作为处理大规模数据的开源框架,已成为企业和开发者关注的焦点。那么,如何从零开始,逐步成长为一名优秀的
Hadoop
开发者呢?
乌龙饼干
·
2024-01-11 01:45
hadoop
大数据
分布式
Hadoop
的未来发展趋势与挑战分析
Hadoop
的未来发展趋势与挑战分析
Hadoop
,作为大数据领域的老牌开源框架,已经历了十多年的风风雨雨。
乌龙饼干
·
2024-01-11 01:45
hadoop
大数据
分布式
Hadoop
中的数据治理策略与实践
Hadoop
中的数据治理策略与实践随着大数据技术的快速发展,
Hadoop
已成为企业存储和处理大规模数据集的首选平台。然而,随着数据量的不断增长,数据治理问题也日益凸显。
乌龙饼干
·
2024-01-11 01:15
hadoop
大数据
分布式
Hadoop
与Spark:大数据处理框架的比较与选择
Hadoop
与Spark:大数据处理框架的比较与选择在大数据的时代背景下,数据处理和分析的需求日益增长。
乌龙饼干
·
2024-01-11 01:14
hadoop
spark
大数据
利用
Hadoop
进行数据湖构建与管理
利用
Hadoop
进行数据湖构建与管理一、引言在大数据的时代,数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题,数据湖的概念应运而生。
乌龙饼干
·
2024-01-11 01:14
hadoop
大数据
分布式
Hadoop
简介:开启大数据处理之门
在此背景下,
Hadoop
作为一种分布式系统基础架构,应运而生,为大数据处理打开了新的大门。
乌龙饼干
·
2024-01-11 01:44
hadoop
大数据
分布式
Hadoop
在大数据分析中的应用与挑战
Hadoop
在大数据分析中的应用与挑战随着数字化时代的来临,数据呈现爆炸性增长,大数据处理和分析成为了企业和研究机构不可或缺的一部分。
乌龙饼干
·
2024-01-11 01:44
hadoop
hdfs
mapreduce
如何搭建一个高效的
Hadoop
集群环境?
如何搭建一个高效的
Hadoop
集群环境在大数据处理和分析的领域中,
Hadoop
已经成为了一个非常流行的工具。
乌龙饼干
·
2024-01-11 01:44
hadoop
大数据
分布式
深入了解
Hadoop
:架构、组件与工作流程
深入了解
Hadoop
:架构、组件与工作流程随着大数据时代的来临,
Hadoop
已经成为了一个不可或缺的开源工具。
乌龙饼干
·
2024-01-11 01:42
hadoop
架构
大数据
CDH5x离线安装+解决报错教程
前言CDH集成了Apache
Hadoop
中各种相关组件,提供的CM服务提高了我们对于集群管理与安装的便捷性。
李指导、
·
2024-01-11 01:09
大数据
Linux
CDH安装
CDH基于http搭建
cdh5.12.1
linux
cloudera
黑猴子的家:Hive 数据倾斜优化之 小文件合并
HiveInputFormat没有对小文件合并功能hive>sethive.input.format=org.apache.
hadoop
.hive.ql.io.CombineHiveInputFormat
黑猴子的家
·
2024-01-10 20:26
阿里云服务器得免费使用领取
系列文章目录华为云耀云服务器试用领取领取的试用云耀云服务器在哪阿里云服务器得免费使用领取
Hadoop
3.3.5云耀云服务器安装教程-单机/伪分布式配置文章目录系列文章目录领取免费的云服务器页面对云服务器操作通过程序进行远程连接控制通过
柔雾
·
2024-01-10 20:22
阿里云
服务器
云计算
Scala操作HDFS
_importorg.apache.commons.lang3.StringUtilsimportorg.apache.
hadoop
.conf.Configurationimportorg.
SunnyMore
·
2024-01-10 18:13
大数据学习记录
hadoop
(2)
四、
hadoop
之HDFS4.1HDFS的定义HDFS定义:分布式文件系统HDFS使用场景:一次写入,多次读写4.2HDFS的优缺点优点:1)高容错性(1)数据自动保存多个副本(2)某个副本丢失后,可以自动恢复
不吃海带吃海苔
·
2024-01-10 16:15
Jbd4:Hbase
Jbd4:Hbase教程地址0.背景0.1
Hadoop
的局限性0.2HBaseVS传统数据库0.2.1数据类型0.2.2数据库类型0.2.3数据库区别1.概述1.1HBase简介1.2HBase访问接口
JxWang05
·
2024-01-10 14:05
Juicy_Big_Data
hbase
Linux入门学习笔记
系统2.Linux配置和Linux的目录结构Linux组成结构:硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)
Hadoop
RoundOff
·
2024-01-10 14:02
linux学习笔记
linux学习
《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2024-01-10 14:58
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
Flink集群安装部署(Standalone,Yarn模式)
目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK,
Hadoop
二.Flink集群安装步骤1.下载安装包下载地址:Indexof/dist/flink
MJK祺
·
2024-01-10 12:03
大数据
hadoop
flink
4.MapReduce 序列化
目录概述序列化序列化反序例化java自带的两种Serializable非Serializable
hadoop
序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up
·
2024-01-10 12:46
大数据
mapreduce
大数据
序列化
实践
【Linux】linux踢出远程登录用户命令
linux踢出远程登录用户命令:查看当前自己的终端:[root@
hadoop
3~]#whoamirootpts/12013-01-2210:45(192.168.250.110)输入w命令查看已登录用户信息
奔向理想的星辰大海
·
2024-01-10 11:04
Linux
技术研发
项目管理
linux
Zookeeper安装入门并配置为Windows服务开机自动启动
Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper,它是一个分布式服务框架,是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三
·
2024-01-10 09:29
zookeeper
zookeeper
windows
10
Hive之set参数大全-4
以下是一个示例:--设置hive.fetch.output.serde为org.apache.
hadoop
.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas
·
2024-01-10 09:28
Hive
hive
hadoop
大数据
深入理解
Hadoop
(五)YARN核心工作机制浅析
概述YARN的核心设计理念是服务化(Service)和事件驱动(Event+EventHandler)。服务化和事件驱动软件设计思想的引入,使得YARN具有低耦合、高内聚的特点,各个模块只需完成各自功能,而模块之间则采用事件联系起来,系统设计简单且维护方便。这种编程方式具有异步、并发等特点,更加高效,更适合大型分布式系统。YARNService服务对于生命周期较长的对象,YARN采用了基于服务的对
我很ruo
·
2024-01-10 08:20
大数据
hadoop
大数据
分布式
深入理解
Hadoop
(七)YARN资源管理和调度详解
资源调度解决方案探讨
Hadoop
最初是为批处理设计而生,对于资源管理和调度,仅仅支持FIFO的调度机制。
我很ruo
·
2024-01-10 08:20
大数据
hadoop
java
分布式
yarn
深入理解 Flink(三)Flink 内核基础设施源码级原理详解
Hadoop
生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件,Actor是负责进行通信的组件。
我很ruo
·
2024-01-10 08:20
大数据
flink
大数据
hadoop
分布式
深入理解
Hadoop
(三)HDFS文件系统设计实现
HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件:edits_0000000000000041912-0000000000000041913:该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914:正在使用的编辑日志文件
我很ruo
·
2024-01-10 08:50
大数据
hadoop
hdfs
大数据
深入理解
Hadoop
(一)网络通信架构与源码浅析
Hadoop
RPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候,会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo
·
2024-01-10 08:49
大数据
hadoop
架构
大数据
深入理解
Hadoop
(二)HDFS架构演进
HDFS分布式集群架构设计实现核心设计思路:分而治之的思路,实现分散存储+冗余存储元数据管理核心问题:文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件:NameNodeRpcServer:RPC服务端,接收所有客户端的RPC请求来执行处理FSNamesystem:负责管理元数据内存中有一份完整的:FSDirectory磁盘中也有一份完整的
我很ruo
·
2024-01-10 08:49
大数据
hadoop
hdfs
架构
hadoop
主要文件及目录简介
1.
hadoop
目录概述
hadoop
的解压目录下的主要文件如下图所示:其中:/bin目录存放对
Hadoop
相关服务(HDFS,YARN)进行操作的脚本;/etc目录存放
Hadoop
的配置文件/lib目录存放
我很ruo
·
2024-01-10 08:19
hadoop
YARN 配置文件 capacity-scheduler.xml 参数解读
capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数,位于
hadoop
安装目录/
hadoop
-2.7.2/etc/
hadoop
目录下。打开后可以看到默认配置。
我很ruo
·
2024-01-10 08:49
hadoop
大数据
hadoop
之HDFS文件系统命令操作
Apache
Hadoop
3.3.4–Overview01.appendToFile
hadoop
fs-appendToFilelocalfile/user/
hadoop
/
hadoop
file
hadoop
fs-appendToFilelocalfile1localfile2
OnePandas
·
2024-01-10 08:46
Hadoop
hadoop
hdfs
大数据
深入理解
Hadoop
(四)HDFS源码剖析
HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事:创建JournalNode的本
我很ruo
·
2024-01-10 08:10
大数据
hadoop
hdfs
大数据
CDH集成LDAP配置
JavaChenBlog,作者:JavaChen原文链接地址:http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-
hadoop
.html
101之歌
·
2024-01-10 07:48
Hbase安装步骤
话不多说,下面就是安装的详细步骤:一、下载安装包首先,我们需要下载图中红色标记的三个压缩包:apache-zookeeper-3.6.3.tar、
hadoop
-3.3.1.tar、hbase-2.2.7
Daner13921
·
2024-01-10 06:46
hbase
hadoop
apache
【spark】基于Spark的电影推荐系统+[详细代码及配置]
基于Spark的电影推荐系统项目架构组件版本及配置名称版本
Hadoop
2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS
·
2024-01-10 06:25
Spark
spark
大数据本地环境搭建-Zookeeper/
Hadoop
/Hive搭建
1.Zookeeper环境安装链接:https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码:wgal1.1上传tar包zookeeper-3.4.6.tar注意:上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas
·
2024-01-10 06:01
集群环境搭建
大数据
hadoop
zookeeper
hive
Hadoop
之mapreduce参数大全-4
76.指定在MapReduce作业中,哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是
Hadoop
MapReduce框架中的一个配置属性
OnePandas
·
2024-01-10 06:01
Hadoop
hadoop
mapreduce
Hadoop
之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数,用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小(以字节为单位)。如果一个任务使用的虚拟内存超过了此参数指定的值,则任务会被认为是失败的,并且MapReduce集群会尝试重新分配任务。默认情况下,此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas
·
2024-01-10 06:00
Hadoop
hadoop
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他