E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs透明加密
解决flume在抽取不断产生的日志文件时,
hdfs
上出现很多小文件的问题
问题在使用flume时,需要编写conf文件,然后执行,明明sinks已经指定了roll的三个参数:a1.sinks.k1.
hdfs
.rollInterval=0(根据写入时间来切割)a1.sinks.k1
lzhlizihang
·
2024-09-10 07:36
flume
hdfs
大数据
Hadoop的搭建流程
、第五步:七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量5、刷新配置文件6、验证hadoop命令是否可以识别八、全分布搭建7、修改配置文件core-site.xml8、修改配置文件
hdfs
-site.xml9
lzhlizihang
·
2024-09-10 07:06
hadoop
大数据
分布式
hive搭建 -----内嵌模式和本地模式
文章目录一、内嵌模式(使用较少)1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给
hdfs
创建文件夹
lzhlizihang
·
2024-09-10 07:06
hive
hadoop
详解 JuiceFS sync 新功能,选择性同步增强与多场景性能优化
JuiceFSsync是一个强大的数据同步工具,支持在多种存储系统之间进行并发同步或迁移数据,包括对象存储、JuiceFS、NFS、
HDFS
、本地文件系统等。
Juicedata
·
2024-09-10 05:51
性能优化
Hadoop
HDFS
中的NameNode、SecondaryNameNode和DataNode
Hadoop
HDFS
中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在Hadoop
HDFS
(Hadoop分布式文件系统)中,有三个关键的组件
BigDataMLApplication
·
2024-09-10 00:38
大数据
hadoop
hadoop
hdfs
大数据
【Hadoop|
HDFS
篇】NameNode和SecondaryNameNode
1.NN和2NN的工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsIm
Vez'nan的幸福生活
·
2024-09-09 23:00
hadoop
hdfs
大数据
Hbase的简单使用示例
HBase是基于Hadoop
HDFS
构建的分布式、列式存储的NoSQL数据库,适用于存储和检索超大规模的非结构化数据。它支持随机读写,并且能够处理PB级数据。
傲雪凌霜,松柏长青
·
2024-09-09 11:40
后端
大数据
hbase
数据库
大数据
HBase
ApacheHBase是一个基于Hadoop分布式文件系统(
HDFS
)构建的分布式、面向列的NoSQL数据库,主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
大数据
后端
hbase
数据库
大数据
Hive的优势与使用场景
以下是Hive的主要优势:1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(
HDFS
)之上,能够处理海量数据并进行分布式计算。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据面试题:说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?
Hive是Hadoop生态系统中比不可少的一个工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在Hadoop分布式文件系统(
HDFS
)中的数据或其他和Hadoop集成的文件系统,如MapR-FS
蓦然_
·
2024-09-08 15:50
大数据面试题
hive
大数据开发面试题
大数据面试
ERROR:master启动报错: Attempting to operate on
hdfs
namenode as root
[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:Attemptingtooperateon
hdfs
namenodeasrootERROR
CourageLee
·
2024-09-08 07:55
Docker
hadoop
linux
Error: java.io.IOException: java.lang.reflect.InvocationTargetException
java.lang.reflect.InvocationTargetException;往下继续看log,发现是car3g_prpcitemkind(文件名)显示prpcitemkind分区数据不在了,这种通常发生在抽数的时候,抽数脚本最一开始有没有进行-rm一些
hdfs
lics10
·
2024-09-07 20:12
hadoop
hadoop
Python 操作大数据使用 Hadoop
参考:https://blog.csdn.net/wuShiJingZuo/article/details/135620018from
hdfs
importInsecureClient
hdfs
_client
静听山水
·
2024-09-07 17:47
Hadoop
hadoop
DataX用
hdfs
reader导入或导出hive数据
DataX读取Hive数据的话,其本身只提供了
hdfs
reader,因为hive一来不是个数据库,它只是
hdfs
数据的结构化管理工具,所以datax默认没有自带hive的reader,因此默认只能直接用
尘世壹俗人
·
2024-09-07 10:02
大数据DataX技术
hive
hadoop
数据仓库
【Hadoop】- MapReduce & YARN 初体验[9]
目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到
hdfs
,文件内容如下:1.2、在
hdfs
中创建两个文件夹,分别为/input、/
星星法术嗲人
·
2024-09-07 04:21
hadoop
hadoop
mapreduce
多种model serving 的调研比较
image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持
hdfs
大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持
Helen_Cat
·
2024-09-06 18:35
spark读取csv文件
测试spark读取本地和
hdfs
文件frompyspark.sqlimportSparkSessionspark=SparkSession.builder\.appName("ExamplePySparkScript
静听山水
·
2024-09-06 10:44
Spark
spark
hadoop-
hdfs
系统构成
2019独角兽企业重金招聘Python工程师标准>>>
HDFS
组成1)NameNode元数据2)DataNode存储文件内容block3)SecondaryNameNode合并NameNode与edits
HDFS
weixin_33701564
·
2024-09-06 00:46
大数据
python
操作系统
字节跳动10万节点
HDFS
集群多机房架构演进之路(1)
如何高效运维如此超大规模的集群要回答这些问题需要
HDFS
从多个方向迭代优化,例如DanceNN的上线、运维平台的建设等,本文不会介绍字节跳动
HDFS
所有的演进方案,而是聚焦在
HDFS
多机房架构的演进策略上
2401_84122782
·
2024-09-05 21:23
程序员
hdfs
架构
hadoop
HDFS
的读写流程
写入的流程流程:客户端先向NameNode节点发送上传数据的请求NameNode接收到请求之后进行权限校验,校验之后,会计算出来三个节点客户端会将输入的文件切割成块,然后一个个块进行传递客户端先跟第一个服务器创建连接,这个通道的名字是PipeLine每次传递数据的时候都是以Packet为单位进行传递的,每个Packet大约是64KB各个数据节点(DataNode)之前也会创建连接PipeLine,
Yz9876
·
2024-09-04 22:57
hdfs
hadoop
大数据
big
data
linux
大数据学习|理解和对比 Apache Hive 和 Apache Iceberg
文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型,数据存储在Hadoop分布式文件系统(
HDFS
)中,通常是以文本格式(如CSV或TSV)或者二进制格式
进击的小白菜
·
2024-09-04 16:50
数据库
大数据
大数据
学习
apache
三,Hive的分桶详解
Hive分桶通俗点来说就是将表(或者分区,也就是
hdfs
上的目录而真正的数据是存储在该目录下的文件)中文件分成几个文件去存储。
__元昊__
·
2024-09-04 04:02
hive学习(五)
inpath'路径'[overwrite]intotable表名[partition(partcol1=val1,…)];特殊说明1)local:标识从本地加载数据到Hive表,若没有local的话从
HDFS
2301_79721847
·
2024-09-03 14:00
hive
学习
hadoop
hive学习记录
数据存储:Hive处理的数据存储在
HDFS
(HadoopDistributedFileSystem)上。执行引擎:Hive的
2302_80695227
·
2024-09-03 12:46
hive
学习
hadoop
Hadoop 中的大数据技术:调优篇(3)
HDFS
—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失,如何恢复NameNode?
大数据深度洞察
·
2024-09-03 00:33
大数据
hadoop
分布式
经验笔记:Hadoop
Hadoop的核心是HadoopDistributedFileSystem(
HDFS
)和YARN(YetAnotherResourceNegotiator),这两个组件加上MapReduce编程模型,构成了
漆黑的莫莫
·
2024-09-02 03:54
随手笔记
笔记
hadoop
大数据
Ambari安装部署教程
前言之前尝试过使用Ambri安装
HDFS
集群,整个搭建的流程应该是记录的比较详细的,重新把资料整理了一下发布到博客,希望可以帮到有需要的人吧。
Aries_Chen_CSDN
·
2024-09-02 02:50
大数据
hadoop
ambari
/
hdfs
_to_mysql.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录
/
hdfs
_to_mysql.sh:/bin/bash^M:坏的解释器:没有那个文件或目录-bash:.
Alienware^
·
2024-09-01 23:28
错误积累
bash
mysql
hdfs
大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统
Selenium自动化Python爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集;(二)使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到
hdfs
qq_79856539
·
2024-09-01 11:16
javaweb
大数据
hadoop
课程设计
Hadoop技术栈
1.2hadoop的功能通常意义上,Hadoop是一个整体,其内部还会细分为三个功能组件,分别是:
HDFS
组件:
HDFS
是Hadoop内的
XingChen.
·
2024-08-31 16:48
分布式
hadoop
大数据
小白学习大数据测试之hadoop
hdfs
和MapReduce小实战
:新建一个文件test.txt,内容为HelloHadoopHelloxiaoqiangHellotestingbangHellohttp://xqtesting.sxl.cn将test.txt上传到
hdfs
大数据学习02
·
2024-08-30 11:39
虚拟机安装hadoop,hbase(单机伪集群模式)
就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理大数据量级的数据时显得力不从心,所以有些特定的业务需要引进能够处理大数据量的数据库,hadoop提供了分布式文件系统(
HDFS
流~星~雨
·
2024-08-29 21:31
大数据相关
hadoop
hbase
大数据
hive中的数据同步到hbase
关于hadoop,hive,hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法,在我目前的认知里,hadoop提供
hdfs
这个组件来存储大数据量的数据(相比于mysql,oracle
流~星~雨
·
2024-08-29 21:31
大数据相关
hive
hbase
hadoop
HIVE 数据模型
type=hive集群状态管理:http://tdxy-bigdata-03:7180/cmf/home基于
HDFS
没有专门的数据
HFDYCYY
·
2024-08-29 19:47
大数据
HBase数据迁移实战
1.前期准备1.1确认集群使用的版本源HBase集群(以下称旧集群)和目的HBase集群(以下称新集群)的版本可能并不是一致的,特别是其底层所使用的
HDFS
版本信息。
网易数帆大数据
·
2024-08-29 16:25
大数据
HBase
网易云
Hbase离线迁移
假设是hbase集群,那么数据存储在
hdfs
上。1.关闭2个hbase2.使用distcp将
hdfs
上的hbase数据迁移到另一个【相同路径】的
hdfs
上。
我要用代码向我喜欢的女孩表白
·
2024-08-29 15:22
hbase
数据库
大数据
Hdfs
的机架感知与副本放置策略
1.介绍Apachehadoop机架感知Hadoop分布式文件系统(
Hdfs
)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.
Hdfs
的机架感知和副本放置策略是其设计的关键组成部分
sheansavage
·
2024-08-29 01:42
hdfs
hadoop
大数据
Hive 分区表 & 数据加载
1.Hive表数据的导入方式1.1本地上传至
hdfs
命令:
hdfs
dfs-put[文件名][
hdfs
绝对路径]例如:测试文件test_001.txt内容如下在
hdfs
绝对路径:/user/hive/warehouse
Wu_Candy
·
2024-08-28 18:22
大数据测试
hive
hadoop
hdfs
SparkStreaming 如何保证消费Kafka的数据不丢失不重复
(1)一个Receiver效率低,需要开启多个线程,手动合并数据再进行处理,并且Receiver方式为确保零数据丢失,需要开启WAL(预写日志)保证数据安全,这将同步保存所有收到的Kafka数据到
HDFS
K. Bob
·
2024-08-28 10:02
Spark
Spark
flink&paimon开发之一:创建catalog
开发环境IDEAFlink1.17.1Paimon0.5正式本地或
HDFS
存储参考链接paimonjavaAPIhttps://paimon.apache.org/docs/master/api/flink-api
leichangqing
·
2024-08-27 16:10
flink
大数据
paimon
Hive 数据迁移与备份
迁移类型同时迁移表及其数据(使用import和export)分步迁移表和数据迁移表(showcreatetable)迁移数据关联表和数据(msckrepair)迁移步骤将表和数据从Hive导出到
HDFS
linzeyu
·
2024-08-27 13:17
Hive
hive
big
data
hadoop
doris跨
hdfs
集群迁移数据
官网-数据备份步骤一,在dorisA集群执行:CREATEREPOSITORY`repotestall`WITHBROKER`broker_name`ONLOCATION"
hdfs
://xx.xx.xx.xx
州周
·
2024-08-27 00:27
hdfs
hadoop
大数据
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
1.2启动和停止Hadoop集群start-dfs.shstart-yarn.shstop-dfs.shstop-yarn.shstart-dfs.sh和stop-dfs.sh分别用于启动和停止
HDFS
william.zhang(张)
·
2024-08-25 15:52
大数据
Hadoop
容器
大数据
hadoop
分布式
HDFS
的编程
一、
HDFS
原理
HDFS
(HadoopDistributedFileSystem)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分
卍king卐然
·
2024-08-25 07:02
hdfs
hadoop
大数据安全
web安全
经验分享
Hadoop 的基本 shell 命令
Hadoop的基本shell命令主要用于与Hadoop分布式文件系统(
HDFS
)和MapReduce进行交互。
难以触及的高度
·
2024-08-24 14:22
hadoop
大数据
分布式
从零到一建设数据中台 - 关键技术汇总
一、数据中台关键技术汇总语言框架:Java、Maven、SpringBoot数据分布式采集:Flume、Sqoop、kettle数据分布式存储:Hadoop
HDFS
离线批处理计算:MapReduce、Spark
我码玄黄
·
2024-08-24 12:09
数据中台
数据挖掘
数据分析
大数据
大数据存储
曾经负责过一款底层存储系统的测试工作,最近看
hdfs
的文章发现,从架构上真心没啥特别大的区别。
龙哥vw
·
2024-08-22 02:32
Azkaban各种类型的Job编写
Linuxshell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务spark:spark任务
hdfs
ToTeradata
__元昊__
·
2024-03-28 21:00
Linux(centos7)部署hive
前提环境:已部署完hadoop(
HDFS
、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠
·
2024-03-28 12:44
Linux
linux
hive
运维
dbeaver
hive客户端
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、
HDFS
、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如Spark、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他