E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs基础架构
常见云计算服务模式( IaaS
基础架构
即服务、PaaS平台即服务、SaaS软件即服务)
常见云计算服务模式(IaaS
基础架构
即服务、PaaS平台即服务、SaaS软件即服务)零、00时光宝盒世界并不完美,面对很多事情我们都很无奈甚至悲哀,但生活总要继续下去,不止是为了自己。
逆境清醒
·
2024-02-09 23:51
云计算
云原生
云计算
云原生
【晨间日记】295
通常他会从
基础架构
来看,先跑一跑、摸索一下当前
基础架构
的情况,然后熟
晅菲
·
2024-02-09 22:31
京东面试总结
2
hdfs
上传文件有哪几种方式?3Hive的优化问题?4Hive的数据倾斜问题?5数据分析?概念和总结6Django源码?7python的浅拷贝和深拷贝?
小小少年Boy
·
2024-02-09 21:45
hdfs
支持lzo压缩配置
1安装linux的lzo库需要在集群的每一个节点都安装lzo库,假定都64位的机器。1)安装lzo操作如下:wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz2)解压tar-zxvflzo-2.10.tar.gz3.进入解压后的目录:cdlzo-2.104.编译参数配置:本例lzo安装在/usr/local/lz
机灵鬼鬼
·
2024-02-09 20:28
re:Invent 2023 开发者最喜爱的产品服务 TOP 5 榜单揭晓!快来围观
亚马逊云科技re:Invent2023作为全球云计算领域的年度风向标,为全球云计算爱好者和构建者带来了全新的产品和技术发布,围绕重构云
基础架构
、重构计算、重构存储、重构企业级生成式AI等主题推出了多项重磅发布
亚马逊云开发者
·
2024-02-09 10:38
Spark SQL(十一):与Spark Core整合
1、筛选出符合查询条件(城市、平台、版本)的数据2、统计出每天搜索uv排名前3的搜索词3、按照每天的top3搜索词的uv搜索总次数,倒序排序4、将数据保存到hive表中3、实现思路:1、针对原始数据(
HDFS
雪飘千里
·
2024-02-09 06:34
九州云Edge MEP作为典型产品入选《中国边缘云研究》报告
其中,开放云边
基础架构
领导者九州云入选边缘云典型服务商,同时上榜边缘云服务市场-边缘云平台与应用服务、边缘云解决方案市场-边缘云软件平台两大细分类别;其边缘计算平台EdgeMEP则作为边缘云软件平台典
OpenInfra
·
2024-02-08 19:53
边缘计算
边缘计算
云计算
大数据面试题之 Flink
Flink
基础架构
组成?Flink程序在运行时主要有TaskManager,JobManager,Client三种角色。
尚硅谷铁粉
·
2024-02-08 14:26
大数据
flink
No.2大数据入门 | 环境搭建:jdk1.8安装及环境配置
上一篇文章我们安装了虚拟机以及linux操作系统,接下来就要安装在操作系统上运作的大数据核心hadoop分布式系统
基础架构
!
滚滚红尘_8133
·
2024-02-08 11:43
Hadoop多次格式化后如何解决
产生原因我们在配置hadoop中的
hdfs
时,会设置元数据的存储位置,如图所示要想解决此问题,先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件,这里三台机器都要删,最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安
·
2024-02-08 11:50
笔记
Hadoop
云计算
hadoop
hdfs
Hadoop生态漏洞修复记录
Hadoop常用端口介绍
HDFS
NameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。
·
2024-02-08 08:30
hadoop
大数据
分布式
Hadoop2.7配置
core-site.xmlfs.defaultFS
hdfs
://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hadoop
大数据
hdfs
HDFS
执行balance报错:
hdfs
balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据Hadoop集群,
HDFS
扩容后,为了使各节点数据均衡,执行balance操作。2、启动
hdfs
balance时,一直出现其他的balance在执行中,其实并没有执行。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
Hadoop
hdfs
hadoop
java
hadoop调优-
hdfs
配置优化
配置文件
hdfs
-site.xml生产环境建议优化:dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
Hadoop
hadoop
hdfs
big
data
hive自定义UDF依赖第三方jar包
上传jar包到
HDFS
上
hdfs
dfs-putxxxx.jar/tmp/hive/创建永久函数:createfunctionmy_funas'com.test.TestUDF'usingjar'
hdfs
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
hive
hive
jar
hadoop
spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104
报错:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.
hdfs
.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。
·
2024-02-08 08:58
Hadoop
spark
hadoop
hdfs
删除和清空Hive外部表数据
外部表和内部表区别未被external修饰的是内部表(managedtable),被external修饰的为外部表(externaltable);区别:内部表数据由Hive自身管理,外部表数据由
HDFS
SunnyRivers
·
2024-02-08 08:53
Hive
hive
drop
truncate
外部表
删除外部表
sqoop导入数据到
hdfs
Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到Hadoop的
HDFS
、HIVE、HBASE等数据存储系统导出数据:从Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
2024-02-07(Sqoop,Flume)
1.Sqoop的增量导入实际工作中,数据的导入很多时候只需要导入增量的数据,并不需要将表中的数据每次都全部导入到hive或者
hdfs
中,因为这样会造成数据重复问题。
陈xr
·
2024-02-08 06:35
随记日志
sqoop
flume
MyBatis:轻量级Java持久层框架初探
本文将系统全面地探讨MyBatis的
基础架构
、核心特性和应用场景,并结合实际开发经验,引导读者深入了解和高效使用MyBatis。本文偏向基础应用讲解,深入可查阅官方文档
南 阳
·
2024-02-08 06:20
mybatis
java
开发语言
intellij
idea
2023大数据必看面试题
1、请讲述
HDFS
输入文件的具体步骤?
东方同学
·
2024-02-08 05:38
大数据
面试题
大数据
hadoop
java
利用UK8S落地微服务,加速元年科技业务迭代
在享受K8S带来的便利的同时,能够让开发人员集中注意力在业务实现的细节,而不必在
基础架构
搭建上浪费太多的精力。
weixin_34130389
·
2024-02-07 23:20
python
大数据
serverless
hive之DDl数据定义
1.Hive在
HDFS
上的默认存储路径Hive的数据都是存储在
HDFS
上的,默认有一个根目录,在hive-site.xml中,由参数hive.metastore.warehouse.dir指定。
嚄825
·
2024-02-07 19:32
hive
hadoop
大数据
HDFS
之 数据管理(namespace 和 slaves)
1、namespaceNamespace在
HDFS
中是一个非常重要的概念,也是有效管理数据的方法。Namespace有很多优点:可伸缩性。使
HDFS
集群存储能力可以轻松进行水平拓展;系统性能。
Studying!!!
·
2024-02-07 17:57
中间件
hdfs
hadoop
大数据
HDFS
架构 之 服务视图
1、简介为实现以上特性,
HDFS
包含的各个服务模块都是经过精心设计的,
HDFS
的服务视图如图。
HDFS
的服务视图包含三大部分:核心服务、公共服务和拓展服务。2、核心服务1)Namenode。
Studying!!!
·
2024-02-07 17:27
中间件
hdfs
hadoop
大数据
HDFS
架构 之 元数据架构解析
1.1namenode启动流程1.1.1启动流程1、加载fsimage文件FsImage是一种持久化到磁盘上的文件,里面包含了集群大部分的meta数据,持久化的目的主要是为了防止meta数据丢失,也就是在
HDFS
Studying!!!
·
2024-02-07 17:23
中间件
hdfs
架构
hadoop
借助专为 NetApp® AFF 和 FAS 系统设计的磁盘架和存储介质,打造企业级
基础架构
主要优势专为NetApp®AFF和FAS系统设计的磁盘架和存储介质为您提供数字化转型所需的性能、故障恢复能力和灵活性。全面提升性能和容量了解一系列磁盘架和存储介质(SSD和HDD),以满足您多样化的业务及应用程序需求。这些磁盘架可用于AFF和FAS系统。打造企业级故障恢复能力不间断访问数据。借助硬件冗余、NetApp®RAID-DP®和RAID-TEC™打造超群的数据保护能力,并通过维护中心实现高
小信瑞
·
2024-02-07 15:07
数据存储
数据安全
网络存储
存储
数据保护
数据安全
存储管理
闪存
数据存储
存储介质
DataX概述
1.概述DataX是阿里开源的的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权
·
2024-02-07 14:01
DataX
hadoop
阿里云datax工具使用详解
datax介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、
HDFS
王春星
·
2024-02-07 14:01
数据高效导入工具
大数据数据迁移工具选择
快速导数据工具
异构数据源导入工具
大数据工具
datax安装与使用详解
一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、
HDFS
、Hive、HBase
jhchengxuyuan
·
2024-02-07 14:00
hadoop
大数据
datax
大数据
Hadoop分布式计算实验踩坑实录及小结
目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介
HDFS
SomeconceptsMapReduce主要配置文件集群搭建来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_
·
2024-02-07 10:08
HIT
hadoop
分布式
ubuntu
java
大数据命令,一文在手,全部都有(送纯净版文档)
比如linux,kafka命令就比较多,
hdfs
操作也多。但是对于HBase.....这类框架命令比较少,就不再本篇展示。望周知。其中内容包含以下,具体命令会一一介绍。
大数据左右手
·
2024-02-07 09:35
大数据
大数据
zookeeper
hadoop
flink
linux
亚马逊认证考试系列 - 知识点 - VPC Peering介绍
在云计算环境中,构建和管理虚拟私有云(VPC)是企业
基础架构
设计的重要一环。AWS(AmazonWebServices)的VPCPeer技术为不同VPC间建立安全连接提供了强大的工具。
customservice
·
2024-02-07 07:23
考试专栏
-
AWS
aws
云计算
认证考试
原来还可以使用 DataX 进行数据同步
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
lytao123
·
2024-02-07 06:16
➤
数据库
big
data
hive
java
DataX
Clickhouse
Clickhouse到HBase(Phoenix)数据导入 DataX
DataXDataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
布尔科技技术团队
·
2024-02-07 06:44
hbase
oracle
postgresql
数据仓库
【实验2】在Hadoop平台上部署WordCount程序
文章目录实验内容一、实验环境:二、实验内容与步骤(过程及数据记录):5.分布式文件系统
HDFS
上的操作5.1利用Shell命令与
HDFS
进行交互5.2利用Web界面管理
HDFS
6.分布式文件系统
HDFS
-借我杀死庸碌的情怀-
·
2024-02-07 05:27
hadoop
npm
大数据
centos
分布式
如何将日志文件和二进制文件快速导入
HDFS
?
日志数据在应用程序中一直很常见,Hadoop能够处理生产系统生成的大量日志数据,比如网络设备、操作系统、Web服务器和应用程序的日志数据。这些日志文件提供了对系统和应用程序运行以及使用的见解,统一日志文件的原因是它们往往采用文本形式和面向行的方式,因此易于处理。在《Hadoop从入门到精通》大型专题的上一章节中,我们介绍了可用于将数据复制到Hadoop的低级方法。本节不使用这些方法构建数据移动工具
weixin_34159110
·
2024-02-07 05:36
大数据
数据库
python
数据仓库-Hive基础(二)Hive 的基本概念
其本质是将SQL转换为MapReduce的任务进行运算,底层由
HDFS
来提供数据的存储,说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具,甚至更进一步可以说hive就是一个MapReduce
做个合格的大厂程序员
·
2024-02-07 03:42
2024-02-06(Sqoop)
Hadoop生态包括:
HDFS
,Hive,Hbase等。RDBMS体系包括:Mysql,Oracle,DB2等。Sq
陈xr
·
2024-02-06 23:29
随记日志
sqoop
大数据
分布式文件系统
HDFS
的组成架构,及相关知识点归纳。
1.每存一个文件,需要消耗150字节,不管你是1kb,还是128m,2.分布式文件系统
HDFS
的组成架构namenode——4个功能1-管理
hdfs
的名称空间2-配置副本策略3-管理数据块映射信息4-处理客户端的读写请求
小米的南瓜洲
·
2024-02-06 23:37
SmartX 超融合和分布式存储支持哪些信创硬件?如何选型配置?
为了推动IT
基础架构
国产化转型,不少用户都使用SmartX超融合和分布式存储构建信创云基础设施。其中,信创硬件的选型与配置往往是用户在规划与部署环节关注的重点:国产CPU/存储怎么选?
志凌海纳SmartX
·
2024-02-06 21:46
超融合
云计算
分布式
性能评测|虚拟化和裸金属 K8s 哪个性能更好?
更多虚拟化与裸金属Kubernetes架构、特性、适用场景与性能对比,欢迎阅读文末电子书《IT
基础架构
团队的Kubernetes管理:从入门到评估(更新版)》。
志凌海纳SmartX
·
2024-02-06 21:15
kubernetes
容器
云原生
Bug地狱 #1 突然宕机,企业级应用到底怎么了
项目正式上线可以说是从13年,
基础架构
是Web和后端使用C#.net,数据库使用SQLServer。
gclhaha
·
2024-02-06 21:04
代码之路
软件工程
Autovue R21.1 发布
AutovueR21.1,它包括了原来21.0.1和21.0.2的全部补丁.AutovueR21.1的关键更新如下:1,升级为64位:性能有较大提升,不会有32位应用单一线程最大使用2G的内存限制.2,紧随IT
基础架构
的变化
justin.jin
·
2024-02-06 18:50
Autovue
Autovue
最新版.
性能实测:分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何
作者:深耕行业的SmartX金融团队金鑫在金融客户的
基础架构
环境中,HDS是一种被广泛使用的存储解决方案。
志凌海纳SmartX
·
2024-02-06 18:40
数据库
分布式
oracle
SDN
华三中标中国移动,SDN领域再露峥嵘发布时间:2014-10-2813:56:00来源:论坛作者:C114中国通信网..关键字:华三日前,全球领先的新IT
基础架构
供应商杭州华三通信在SDN领域再露峥嵘,
likika2012
·
2024-02-06 15:56
开源经历——MatrixOne 开发感悟
起源最近自己从学长口中得知matrixone——专为异构工作负载打造的全球规模、云边缘原生大数据引擎MatrixOne是面向未来的超融合云和边缘原生DBMS,它通过简化的分布式数据库引擎支持跨多个数据中心、云、边缘和其他异构
基础架构
的事务
语絮斌
·
2024-02-06 13:04
golang
热数据存储在
HDFS
,冷备数据存储于对象存储中
1.场景分析生产环境均为腾讯云服务器,日志数据计划存储于
HDFS
中,由于日志数据较大(压缩后1T/天),不断扩充云盘成本消耗大。鉴于对象存储的存储成本较为低廉,但是日常频繁使用会产生流量费用。
tuoluzhe8521
·
2024-02-06 10:11
云原生
hdfs
hadoop
大数据
cos
对象存储
加速
hdfs
balance速度
hdfs
默认配置指定DataNode用于balancer的带宽为10Mdfs.datanode.balance.bandwidthPerSec1048576su
hdfs
hdfs
dfsadmin-setBalancerBandwidth104857600
迷茫_小青年
·
2024-02-06 09:05
Kafka 使用手册
2.kafka
基础架构
3.kafka集群搭建4.kafka命令行操作主题命令行【topic】生产者命令行【producer】消费者命令行【consumer】5.kafka生产者生产者消息发送流程Producer
@lihewei
·
2024-02-06 08:01
kafka
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他