E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据库运维hdfs云存储
部署Hadoop集群
在node1节点执行,以root身份1:在VMware虚拟机集群上部署
HDFS
集群1)准备好hadoop安装包;目前最新3.3.4;了解:2)上传解压hadoop①:上传hadoop到node1节点;②
%HelloWorld%
·
2024-01-24 13:27
java
开发语言
Hive 优化总结
Hive优化本质:
HDFS
+MapReduce问题原因:倾斜:分区:有的分区没有数据,有的分区数据堆积。(若按天分区,每一天数据差别大就叫倾斜。)
Byyyi耀
·
2024-01-24 10:25
hive
hadoop
数据仓库
Hive优化
IDEA报错:No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.
NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasfor
HDFS
files
唯一2333
·
2024-01-24 09:09
flink
kafka
idea
红队视角下的公有云基础组件安全(二)
目录●
云存储
●云计算●云网络●其他
云存储
AzureStorageAzureStorage是微软云出品的文件存储功能,他有一个重要的概念,那就是储存账户。首先我们需要明确一下AzureSt
杭州默安科技
·
2024-01-24 08:33
安全
flask
python
红队视角
公有云
云原生
aws
hbase 总结
HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统(
HDFS
)上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l
·
2024-01-24 08:24
大数据
hbase
Hbase原理、基本概念、基本架构
概述HBase是一个构建在
HDFS
上的分布式列存储系统;HBase是基于GoogleBigTable模型开发的,典型的key/value系统;HBase是ApacheHadoop生态系统中的重要一员,主要用于海量结构化数据存储
wyl9527
·
2024-01-24 08:24
Hbase
hbase
存储系统
Hadoop集群(第12期)_HBase简介及安装
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
weixin_30451709
·
2024-01-24 08:23
大数据
数据库
人工智能
HBase学习
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
mm_bit
·
2024-01-24 08:20
HBase
大数据
数据库
HBase简易安装和简介
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
滑过的板砖
·
2024-01-24 08:49
Hbase
Javaweb之SpringBootWeb案例文件上传的详细解析
文件上传技术这块我们主要讲解三个方面:首先我们先对文件上传做一个整体的介绍,接着再学习文件上传的本地存储方式,最后学习
云存储
方式。接下来我们就先来学习下什么是文件上传。
向着五星的方向
·
2024-01-24 08:43
Web
状态模式
mybatis
spring
spring
boot
java
mysql
HBase学习五:运维排障之宕机恢复
RegionServer主要负责用户的读写服务,进程中包含很多缓存组件以及与
HDFS
交互的组件,实际生产线上往往会有非常大的压力,进而造成的软件层面故障会比较多。
Studying!!!
·
2024-01-24 07:27
中间件
hbase
学习
运维
记一次Flink通过Kafka写入MySQL的过程
->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入Hive的
HDFS
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
Hadoop中HBase命令行操作
采用的底层存储为
HDFS
。使用Hbase客户端操作,执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据,清空表、退出Hbase命令行、停止
HDFS
服务。
m0_69595107
·
2024-01-24 06:05
Hadoop
hadoop
hbase
大数据
centos
Storm和hadoop对比及storm组件
stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息
HDFS
,MR数分钟,数小时不会主动停止终于完成的时候storm优点:跨语言,可伸缩,低延迟,秒级容错核心概念
smartjiang
·
2024-01-24 02:01
智慧工厂视频监控平台EasyCVR公网收流后内网设备无法播放是什么原因?
安防视频监控平台EasyCVR采用了开放式的网络结构,支持高清视频的接入和传输、分发,平台提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、
云存储
等丰富的视频能力
EasyCVR
·
2024-01-23 22:55
EasyCVR
音视频
人工智能
监控
视频监控
openGauss学习笔记-205 openGauss
数据库运维
-常见故障定位案例-业务运行时整数转换错
文章目录openGauss学习笔记-205openGauss
数据库运维
-常见故障定位案例-业务运行时整数转换错205.1业务运行时整数转换错205.1.1问题现象205.1.2原因分析205.1.3处理办法
superman超哥
·
2024-01-23 21:42
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
RDBMS
openGauss学习笔记-204 openGauss
数据库运维
-常见故障定位案例-重建索引失败
文章目录openGauss学习笔记-204openGauss
数据库运维
-常见故障定位案例-重建索引失败204.1重建索引失败204.1.1问题现象204.1.2原因分析204.1.3处理办法openGauss
superman超哥
·
2024-01-23 21:42
openGauss学习笔记
openGauss
国产数据库
开源数据库
数据库
开源软件
CHAPTER 15: 《DESIGN GOOGLE DRIVE》第15章:《设计谷歌驱动器》
近年来,
云存储
服务如谷歌Drive、Dropbox、MicrosoftOneDrive、苹果的iCloud已经变得非常流行。在本章中,你需要设计谷歌开车。
后端工匠之道
·
2024-01-23 17:14
后端开发心法提升秘籍
面试
设计规范
系统架构
架构
白嫖百度网盘超级会员方法教程,百度网盘会员便宜渠道分享
百度网盘作为国内最大的
云存储
服务提供商之一,向来备受用户的追捧。而对于喜欢分享与下载资料的用户而言,百度网盘超级会员更是享有诸多权益。
小小编007
·
2024-01-23 17:48
腾讯云优惠券最新领取入口整理分享
腾讯云作为国内知名的云服务提供商,提供了丰富的云产品,包括云服务器、云数据库、
云存储
、人工智能等。为了让更多的用户能够享受腾讯云的服务,腾讯云经常会提供一些优惠券,帮助用户降低上云门槛。
老王说主机
·
2024-01-23 16:21
腾讯云
云计算
阿里云2023年双十一活动各云产品活动内容及优惠政策汇总
小编看了一下阿里云2023年的双十一活动,活动分为主会场和8个云产品分会场,涉及的云产品涵盖了云服务器、云数据库、
云存储
、云网络、大数据Al、云原生、云安全等几乎所有阿里云产品,下面是小编整理的各云产品活动内容及新购和续费的主要优惠政策
阿里云最新优惠和活动汇总
·
2024-01-23 15:39
Hadoop集群配置及测试
配置文件hadoop102hadoop103hadoop104
HDFS
NameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNod
YUuuuME_
·
2024-01-23 11:07
hadoop
大数据
分布式
Spark解析JSON文件,写入
hdfs
一、用Sparkcontext读入文件,map逐行用Gson解析,输出转成一个caseclass类,填充各字段,输出。解析JSON这里没有什么问题。RDD覆盖写的时候碰到了一些问题:1.直接saveAsTextFile没有覆盖true参数;2.转dataframe时,还得一个一个字段显化才能转成dataframe;3.write时,一开始打算写text,说字段里不能含有long和int,换成str
gegeyanxin
·
2024-01-23 09:42
spark
json
hdfs
Gson
rdd转Dataframe
Hadoop基本介绍
1、Hadoop的整体框架Hadoop由
HDFS
、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统
HDFS
(HadoopDistributedFileSystem
w蕾丝
·
2024-01-23 08:53
DATAX的架构和运行原理
一.概念DATAX呢就是把各个不同构的数据库进行同步的过程,具体有
hdfs
hiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图,大大的简化了工作量。
加林so cool
·
2024-01-23 08:37
架构
Sqoop数据导入到Hive表的最佳实践
Sqoop是一个开源工具,用于在Hadoop生态系统中的数据存储(如
HDFS
)和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~
·
2024-01-23 07:35
sqoop
hive
sqoop
hadoop
cdh6.3.2的hive配udf
背景大数据平台的租户要使用udf,他们用beeline连接,意味着要通过hs2,但如果有多个hs2,各个hs2之间不能共享,需要先把文件传到
hdfs
,然后手动在各hs2上createfunction。
zdkdchao
·
2024-01-23 07:02
hive
hadoop
数据仓库
flume案例
在构建数仓时,经常会用到flume接收日志数据,通常涉及到的组件为kafka,
hdfs
等。下面以一个flume接收指定topic数据,并存入
hdfs
的案例,大致了解下flume相关使用规则。
不加班程序员
·
2024-01-23 06:48
ETL
kafka
Hadoop相关
flume
大数据
etl
【技术预研】starRocks高性价比替换hbase
与
hdfs
等组件解耦,降低运维压力。starRock通过以下三个优化来提升性能:排序键相当于在存储的时候,选择某一列或者某
偏振万花筒
·
2024-01-23 03:00
hbase
数据库
大数据
starRocks
Hbase
等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)HBASE相比于其他NoSQL数据库(mongodb、redis、cassendra、hazelcast)的特点:Hbase的表数据存储在
HDFS
Cool_Pepsi
·
2024-01-23 02:12
大数据
hbase
Hadoop --
HDFS
1.什么是Hadoophadoop中有3个核心组件:分布式文件系统:
HDFS
——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi
·
2024-01-23 02:42
大数据
hdfs
hadoop
springboot集成COS对象存储
1.申请腾讯
云存储
桶新建密钥(后面配置要用到)2.编写工具类此处使用工具类进行基本属性配置,也可选择在yml中配置packagecom.sfy.util;importcom.qcloud.cos.COSClient
米兰的小铁匠~
·
2024-01-23 00:25
springboot
spring
boot
java
后端
百度网盘临时超级会员1-7天获得方法,2024最新教程攻略
随着互联网的普及和人们对存储空间的需求不断增加,百度网盘作为一款
云存储
服务,受到了广泛的欢迎。然而,对于一些用户来说,免费存储空间可能不够用,需要更多的存储空间来备份、分享和存储文件。
全网优惠分享君
·
2024-01-22 22:18
WordPress七牛云对象存储免费插件WPQiNiu
有些站长喜欢使用七牛云来加速WordPress站点的访问速度,平时需要手工将需要加速的静态文件或图片上传到七牛
云存储
空间才行。
懿古今
·
2024-01-22 20:19
大数据之使用Flume监听本地文件采集数据流到
HDFS
本文介绍Flume监听本地文件采集数据流到
HDFS
我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转,写的也非常详细】任务一:在Master节点使用Flume采集/data_log
十二点的泡面
·
2024-01-22 19:54
Flume
大数据
大数据
flume
hdfs
大数据之使用Flume监听端口采集数据流到Kafka
本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到
HDFS
【点击即可跳转,写的也非常详细】任务一:实时数据采集前摘:Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面
·
2024-01-22 19:53
Flume
大数据
flume
Impala:基于内存的MPP查询引擎
1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎,它提供SQL语义,能查询存储在Hadoop的
HDFS
对许
·
2024-01-22 17:26
Java大数据
#
Hadoop及生态圈
#
数据湖仓
大数据
Hadooop和Hbase是什么关系
HBase通过Hadoop的
HDFS
(Hadoop分布式文件系统)和MapReduce实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
大数据平台软硬件规划
一.大数据集群节点规划1.
HDFS
集群节点规划假如业务系统数据量每天增量50T,保留周期30天,那么
HDFS
存储容量为50T*30天*3副本*2倍(数据源+清洗加工)=9000T=8.79P假如每个机器的磁盘是
小枫@码
·
2024-01-22 17:17
大数据架构师
大数据
hadoop-
hdfs
-API
处理hadoop配置文件及系统环境1.将hadoop所有jar包(除了..以外)添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。并将bin/hadoop.dll添入windows\system32文件夹内。需重启。3.配置windows系统环境变量HADOOP_HOME=hadoop所在包。HADOOP_USER_NAME=r
有七段变化
·
2024-01-22 15:43
Apache doris Datax DorisWriter扩展使用方法
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、
HDFS
、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres
张家锋
·
2024-01-22 15:27
深入Amazon S3:实战指南
AmazonS3(SimpleStorageService)是AWS(AmazonWebServices)提供的一项强大的
云存储
服务,广泛用于存储和检索各种类型的数据。
ivwdcwso
·
2024-01-22 15:04
网络
java
服务器
kingbase常用SQL总结之统计大小
概述
数据库运维
中,我们需要总结一些常用的SQL语句,无论是日常巡检、故障排查或是死锁分析,都可以随时拿来用,提升工作效率,下面是一些常见的经典SQL或者是笔者自己工作过程中用到的常用的SQL,整理记录以备不时之需
我是东山
·
2024-01-22 15:15
sql
数据库
运维
KINGBASE
postgresql
CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践
操作实录:1、hive中建立数据库后,会在
hdfs
中出现对象的库名.db的文件夹文章中,我们使用了
流火星空
·
2024-01-22 14:58
大数据
hive
大数据
hive
云原生时代 容器持久化存储的最佳方式是什么?
云妹导读:在存储专题的上一篇文章《送你4句口诀
云存储
选型不再犯难》中,云妹为大家的
云存储
选型提供了几种方法,只需记住4句口诀,就能选到适合自己应用特点的
云存储
服务。
京东云开发者
·
2024-01-22 14:16
运维
java
大数据
kubernetes
分布式
关于Hive架构原理,尚硅谷
最近学习hive时候,在做一个实操案例,具体大概是这样子的:我在dataGip里建了一个表,然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息,然后把他上传到
hdfs
后,dataGrip
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
Impala
Impala概述Impala是什么Impala是一款针对
HDFS
和HBASE中的PB级别数据进行交互式实时查询工具。
奋斗的蛐蛐
·
2024-01-22 10:42
Ranger概述及安装配置
一、前序希望拥有一个框架,可以管理大多数框架的授权,包括:
hdfs
的目录读写权限各种大数据框架中的标的权限,列级(字段)权限,甚至行级权限,函数权限(UDF)等相关资源的权限是否能帮忙做书库脱敏Ranger
小枫@码
·
2024-01-22 09:39
大数据运维
安全
运维
【大数据处理技术实践】期末考查题目:集群搭建、合并文件与数据统计可视化
集群搭建、合并文件与数据统计可视化实验目的任务一:任务二:实验平台实验内容及步骤任务一:搭建具有3个DataNode节点的
HDFS
集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
汐ya~
·
2024-01-22 09:35
hadoop
linux
虚拟机
java
HDFS
读流程和写流程
读流程1.客户端向namenode请求下载⽂件,namenode通过查询元数据,找到⽂件块所在的datanode地址。2.挑选⼀台datanode(就近原则,然后随机)服务器,请求读取数据。3.datanode开始传输数据给客户端(从磁盘⾥⾯读取数据放⼊流,以packet为单位来做校验)。4.客户端以packet为单位接收,先在本地缓存,然后写⼊⽬标⽂件。写流程1.客户端向namenode请求上传
不良人-程序星
·
2024-01-22 09:02
hdfs
hadoop
大数据
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他