E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop大数据技术
Hbase在hdfs上的archive目录占用空间过大
hbase版本:1.1.2
hadoop
版本:2.7.3Hbase在hdfs上的目录/apps/hbase/data/archive占用空间过大,导致不停地发出hdfs空间使用率告警。
宝罗Paul
·
2025-03-09 13:50
大数据
hbase
Hadoop
、Spark、Flink Shuffle对比
一、
Hadoop
的shuffle前置知识:Map任务的数量由
Hadoop
框架自动计算,等于分片数量,等于输入文件总大小/分片大小,分片大小为HDFS默认值128M,可调Reduce任务数由用户在作业提交时通过
逆袭的小学生
·
2025-03-09 10:55
hadoop
spark
flink
【
Hadoop
】什么是Zookeeper?如何理解Zookeeper?
ZooKeeper是一个开源的分布式应用程序协调服务,可以为分布式应用提供一致性的服务,功能包括:配置维护、名字服务、分布式同步、组服务等等。ZooKeeper的目标是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。1.Zookeeper的特点最终一致性:Client不论连接到哪个Server,展示给它的都是同一个视图。可靠性:如果某个消息被一台服务器接受,那么它
2302_79952574
·
2025-03-09 09:46
hadoop
zookeeper
大数据
【
Hadoop
】详解HDFS
Hadoop
分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统,它是一个高度容错性的系统,适合部署在廉价的机器上,能够提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
2302_79952574
·
2025-03-09 09:13
hadoop
hdfs
大数据
HDFS的设计架构
HDFS是
Hadoop
生态系统中的分布式文件系统,设计用于存储和处理超大规模数据集。它具有高可靠性、高扩展性和高吞吐量的特点,适合运行在廉价硬件上。
F_0125
·
2025-03-09 05:21
Hadoop
hdfs
hbase
hadoop
大数据Flink(六十四):Flink运行时架构介绍_flink中涉及到的大数据组件
从以Greenplum为代表的MPP(MassivelyParallelProcessing,大规模并行处理)架构,到
Hadoop
、Spark为代表的批处理架构,再到Storm、Flink为代表的流处理架构
2401_84181942
·
2025-03-09 03:39
程序员
大数据
flink
架构
大数据运维实战指南:零基础入门与核心技术解析(第一篇)
大数据运维实战指南:零基础入门与核心技术解析(第一篇)系列文章目录第一篇:大数据运维概述与核心技能体系第二篇:
Hadoop
生态体系与集群部署实战第三篇:分布式存储系统运维与优化第四篇:资源调度框架YARN
emmm形成中
·
2025-03-09 01:19
大数据
运维
hadoop
框架与核心组件刨析(四)MapReduce
MapReduce是一种用于大规模数据处理的编程模型和计算框架,最初由Google提出,后来由Apache
Hadoop
实现并广泛应用。
小刘爱喇石( ˝ᗢ̈˝ )
·
2025-03-09 00:42
hadoop
mapreduce
大数据
ZooKeeper 的 Watch 机制是什么?
前言本文隶属于专栏《1000个问题搞定
大数据技术
体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
Shockang
·
2025-03-08 14:31
大数据技术体系
大数据
zookeeper
hadoop
运行java程序_原生态在
Hadoop
上运行Java程序
第一种:原生态运行jar包1,利用eclipse编写Map-Reduce方法,一般引入
Hadoop
-core-1.1.2.jar。
淇水煮汤
·
2025-03-08 09:23
hadoop
运行java程序
hadoop
运行java程序命令_使用命令行编译打包运行自己的MapReduce程序
Hadoop
2.6.0
网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的,大多又是0.20等旧版本版本的做法,即javac-classpath/usr/local/
hadoop
emi0wb
·
2025-03-08 09:53
大数据
Hadoop
集群运行程序
目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在
Hadoop
集群上运行一个MapReduce程序,以帮助读者对分布式计算有个基本印象。
赵广陆
·
2025-03-08 08:37
hadoop
hadoop
big
data
mapreduce
hadoop
框架与核心组件刨析(三)YARN
一、负载均衡的概念负载均衡(LoadBalancing)是一种将工作负载(如网络流量、计算任务或数据请求)分配到多个资源(如服务器、计算节点或存储设备)的技术,目的是优化资源使用、最大化吞吐量、最小化响应时间,并避免单个资源过载。负载均衡广泛应用于计算机网络、分布式系统、云计算等领域。负载均衡的核心目标提高性能:通过将负载分配到多个资源,避免单个资源成为瓶颈,从而提高系统的整体性能。提高可用性:如
小刘爱喇石( ˝ᗢ̈˝ )
·
2025-03-08 04:46
hadoop
大数据
分布式
Doris 数据集成 Kafka
这是我们Doris数据集成篇的第二篇,前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了,目前使用下来感觉还是很方便的,比起
Hadoop
不二人生
·
2025-03-07 16:29
Doris
实战
doris
数据仓库
大数据与物联网(IoT)的完美融合:驱动智能新时代
物联网通过连接大量智能设备,生成海量数据;而
大数据技术
则赋予我们从这些数据中提取有价值信息的能力。当两者结合在一起时,能够为各行各业带来革命性的变化,推动智能时代的到来。
Echo_Wish
·
2025-03-07 10:48
大数据高阶实战秘籍
大数据
物联网
python
人工智能
企业信息查询系统的技术实现路径探析——以某大数据平台为例
本文将以某企业信息查询系统为研究样本,解析其技术架构与实现路径,探讨
大数据技术
在企业服务场景中的落地应用。
探熵科技
·
2025-03-07 07:17
大数据
大数据面试系列之——
Hadoop
Hadoop
的三个核心:HDFS(分布式存储系统)MapReduce(分布式计算系统)YARN(分布式资源调度)1.
Hadoop
集群的几种搭建模式1.单机模式:直接解压安装,不存在分布式存储系统2.伪分布式
潜心_守道
·
2025-03-07 07:17
大数据
面经
面试
大数据
Hadoop
Azkaban其一,介绍、体系架构和安装
比如:想启动
hadoop
集群先启动zk集群,再启动hdfs,再启动yarn,再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
出发行进
·
2025-03-07 00:35
#
Azkaban
Azkaban
linux
hdfs HA 机制, 一台 namenode 宕机了, joualnode , namenode , edit.log fsimage 的 变 化?思维导图 代码示例(java 架构)
HDFS(
Hadoop
DistributedFileSystem)的高可用性(HA,HighAvailability)机制旨在解决单点故障问题,确保即使在NameNode出现故障的情况下,文件系统仍然可以继续正常工作
用心去追梦
·
2025-03-06 10:00
hdfs
java
架构
IntelliJ IDEA + Maven环境编写第一个
hadoop
程序
1.新建IntelliJ下的maven项目点击File->New->Project,在弹出的对话框中选择Maven,JDK选择你自己安装的版本,点击Next2.填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填,点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3.设置程序的编译版本打开
IT独白者
·
2025-03-06 06:00
hadoop
hadoop
hadoop
Hadoop
是一个用于分布式存储和处理大规模数据的开源框架,它的架构主要由以下几个核心组件组成:1.
Hadoop
生态系统核心组件
Hadoop
的核心架构主要包括HDFS(
Hadoop
DistributedFileSystem
百里自来卷
·
2025-03-06 06:00
hadoop
大数据
分布式
云上大数据平台的优化:提升效率与可靠性的实践
云上大数据平台的优化:提升效率与可靠性的实践随着云计算和
大数据技术
的快速发展,越来越多的企业选择将其数据处理和分析工作迁移到云上。
Echo_Wish
·
2025-03-06 05:54
大数据高阶实战秘籍
大数据
第一个
Hadoop
程序
编写和运行第一个
Hadoop
程序是学习
Hadoop
的重要步骤。以下是一个经典的“WordCount”程序示例,它统计文本文件中每个单词出现的次数。
lqlj2233
·
2025-03-06 05:53
hadoop
大数据
分布式
在虚拟机上安装
Hadoop
全攻略
在虚拟机上安装
Hadoop
是进入大数据处理和分析领域的重要一步。
麻芝汤圆
·
2025-03-06 05:22
spark大数据分析
hadoop
大数据
分布式
windows
linux
服务器
【自学笔记】
Hadoop
基础知识点总览-持续更新
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录
Hadoop
基础知识点总览1.
Hadoop
简介2.
Hadoop
生态系统3.HDFS(
Hadoop
DistributedFileSystem
Long_poem
·
2025-03-05 22:24
笔记
hadoop
大数据
spark hdfs 常用命令
lsrmgettext以下按照使用频率和使用先后顺序排序(纯个人习惯)ls列出hdfs文件系统路径下的目录和文件hdfsdfs-ls列出hdfs文件系统路径下所有的目录和文件hdfsdfs-ls-Rrm
hadoop
fs-rm
毛球饲养员
·
2025-03-05 11:19
spark
spark
hdfs
Spark详解二
masterlocal[2](local[2]是说,执行Application需要用到CPU的2个核)2、Standalone独立模式:Spark自带的一种集群模式Spark自己管理集群资源,此时只需要将
Hadoop
卢子墨
·
2025-03-05 11:13
Spark原理
实战
总结
spark
Spark基本命令
一、spark所在目录cdusr/local/spark二、启动spark/usr/local/spark/sbin/start-all.sh启动
Hadoop
以及Spark:bash.
chenworeng5605
·
2025-03-05 10:42
大数据
scala
shell
Spark是什么?可以用来做什么?
相比传统的
Hadoop
MapReduce,Spark在速度、易用性和功能多样性上具有显著优势。
Bugkillers
·
2025-03-05 10:37
大数据
spark
大数据
分布式
大数据面试临阵磨枪不知看什么?看这份心理就有底了-大数据常用技术栈常见面试100道题
目录1描述
Hadoop
的架构和它的主要组件。2MapReduce的工作原理是什么?3什么是YARN,它在
Hadoop
中扮演什么角色?4Spark和
Hadoop
MapReduce的区别是什么?
大模型大数据攻城狮
·
2025-03-04 21:59
大数据
面试
职场和发展
面试题
数据仓库
算法
Spark使用Parqute存储方式有什么好处
列式存储:压缩效率和查询效率谓词下推存储层:查询数据块生态兼容性高:Spark,
hadoop
等都兼容
冰火同学
·
2025-03-04 21:27
Spark
spark
初学者如何用 Python 写第一个爬虫?
大数据技术
:涵盖
Hadoop
(HDFS)、Hive、Spark
ADFVBM
·
2025-03-04 16:19
面试
学习路线
阿里巴巴
python
爬虫
开发语言
hadoop
集群启动问题总结
首先,我们来尝试启动
hadoop
集群:start-all.sh然后,我遇到了下面的问题:Warning:Permanentlyadded'
hadoop
'(RSA)tothelistofknownhosts
@飞往你的山
·
2025-03-04 01:29
hadoop
hdfs
大数据
Linux 下Hive 安装(Remote Metastore Database 单节点)
1、Linux下安装好mysql:Linux下Mysql安装2、启动
hadoop
集群:1、zk启动[root@node02~]#zkServer.shstartZooKeeperJMXenabledbydefaultUsingconfig
A6-母婴小店-第6分店
·
2025-03-03 22:33
HIVE
hadoop
大数据与人工智能:数据隐私与安全的挑战_ai 和 数据隐私
前言1.背景介绍随着人工智能(AI)和
大数据技术
的不断发展,我们的生活、工作和社会都在不断变化。这些技术为我们提供了许多好处,但同时也带来了一系列挑战,其中数据隐私和安全是最为关键的之一。
程序员七海
·
2025-03-03 20:14
大数据
人工智能
安全
大数据经典技术解析:
Hadoop
+Spark大数据分析原理与实践
Apache
Hadoop
和ApacheSpark是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点,大大提升了大数据应用的效率和效果。
AI天才研究院
·
2025-03-03 10:27
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Hadoop
基础知识及部署模式
一、
Hadoop
是什么
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。
2301_82242502
·
2025-03-03 06:28
hadoop
大数据
分布式
探讨
Hadoop
的基础架构及其核心特点
Hadoop
是一个开源软件框架,用于存储和处理大规模数据集。
xx155802862xx
·
2025-03-03 06:58
hadoop
大数据
分布式
Hadoop
毕业设计:计算机毕业设计选题汇总(建议收藏)
文章目录前言基于
Hadoop
的毕业设计选题毕设作品展示前言2025全新毕业设计项目博主介绍:✌全网粉丝10W+,CSDN全栈领域优质创作者,博客之星、掘金/华为云/阿里云等平台优质作者。
会写代码的羊
·
2025-03-03 05:16
毕设选题
hadoop
课程设计
大数据
毕设选题
毕设题目
数据分析
大数据技术
学习框架(更新中......)
Hadoop
相关HDFS分布式文件系统MR(MapReduce)离线数据处理MR-图解YARN集群资源管理ZooKeeperZooKeeper分布式协调框架Hive相关Hive-01之数仓、架构、数据类型
小技工丨
·
2025-03-03 04:05
大数据技术学习
大数据
学习
Ubuntu从零创建
Hadoop
集群
目录前言前提准备1.设置网关和网段2.查看虚拟机IP及检查网络3.Ubuntu相关配置镜像源配置下载vim编辑器4.设置静态IP和SSH免密(可选)设置静态IPSSH免密5.JDK环境部署6.
Hadoop
爱编程的王小美
·
2025-03-02 12:57
大数据专业知识系列
ubuntu
hadoop
linux
爬虫实战分享:高效爬取汽车官方销售排行榜的技术方案
随着
大数据技术
的飞速发展,爬虫技术在各行各业中得到了广泛应用。汽车行业作为一个信息密集型行业,销售数据、排行榜和车型趋势等内容成为了汽车公司、市场研究者和消费者关注的重点。
威哥说编程
·
2025-03-02 11:50
python
网络爬虫
11个大数据在日常生活中的应用场景
大数据技术
和工具的出现有助于应对这些挑战,使世界认识到该技术提供的广泛应用,企业从中受益以进行扩张。什么是大数据?通俗地说,大数据描述了每天吞噬企业的大量结构化和非结构化数据。它主要被定义为三
雪兽软件
·
2025-03-01 23:45
科技前沿
大数据
使用宝塔大家Java项目遇到的问题
记录一下使用宝塔大家Java项目遇到的问题:1.没有那个文件或目录/var/tmp/springboot/vhost/scripts/system-service.sh:没有那个文件或目录Feb2811:13:01
hadoop
05spring_system-service
LOVE_DDZ
·
2025-03-01 10:45
JAVA
Spring-Boot
java
spring
boot
开发语言
如何使用Spark Streaming将数据写入HBase
Spark:确保Spark已经安装,并且Spark版本与HBase的
Hadoop
版本兼容。HBaseConnectorforSpark:你需要使用HBase的SparkConnecto
Java资深爱好者
·
2025-03-01 05:02
spark
hbase
大数据
项目经验之LZO压缩?思维导图 代码示例(java 架构)
在
Hadoop
生态系统中,使用LZO压缩可以显著减少存储空间,并且由于其快速的解压速度,对于大规模数据处理任务来说是非常有利的。以下是关于LZO压缩的项目经验总结、思维导图描述以及Java代码示例。
用心去追梦
·
2025-03-01 05:31
java
架构
开发语言
KaiwuDB 智能综采应用项目获中国信通院数据库星河“典型案例”
12月18日,在中国通信标准化协会主办的2024数据资产管理大会上,中国信息通信研究院(以下简称“信通院”)、中国通信标准化协会
大数据技术
标准推进委员会联合颁发2024大数据“星河(Galaxy)”案例获奖证书
·
2025-03-01 01:14
数据库
阿里云PAI大模型RAG对话系统最佳实践
去年4月至9月,阿里云人工智能平台PAI团队与大数据基础工程技术团队合作,构建了基于知识库检索增强的大模型答疑对话机器人,并在阿里云官方答疑链路、研发小蜜、钉钉
大数据技术
服务助手等多个线上场景上线,显著提升答疑效率
阿里云云栖号
·
2025-03-01 00:04
云栖号技术分享
阿里云
云计算
云原生
ai
人工智能
精彩回顾 | KaiwuDB 携手信通院举办能源行业数据库研讨沙龙
10月12日,KaiwuDB联合中国通信标准化协会
大数据技术
标准推进委员会、信通院数据库应用创新实验室举办的“数据库技术助力能源行业数字化转型”主题研讨沙龙在上海圆满落幕。
·
2025-02-28 20:06
数据库
HIVE 面试题总结
Hive依赖于HDFS存储数据,Hive将HQL转换成MapReduce执行,所以说Hive是基于
Hadoop
的一个数据仓库工具,实质就是一款基于HDFS的MapReduce计算框架,对存储在HDFS中的数据进行分析和管理
小余真旺财
·
2025-02-28 11:00
Hive
hive
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他