E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
redis(Remote Dictionary Service) 底层数据结构
redis底层数据结构动态字符串SDS优点获取字符串长度的时间复杂度O(1)支持动态
扩容
,减少内存分配次数新字符串小于1M–新空间为扩展后字符串长度的两倍+1新字符串大于1M–新空间为扩展后字符串长度+
yfdddong
·
2023-11-27 07:55
java学习笔记
redis
数据结构
数据库
Hbase基本原理
1.hbase采用列式存储,即每一列的数据存储到一起,不同的列基于
hdfs
存储在不同的机器上,这样做的好处是,查询一条数据,每个机器的I/O同时工作,只查询自己拥有的列数据,更加高效,另外,列单独存储,
请叫我李半仙
·
2023-11-27 07:12
大数据处理框架Spark:核心原理
RDD可以从Hadoop
HDFS
、HBase等数据源创建,也可以通过转换操作和持久化操作进行处理和存储。下面是一
雨中徜徉的思绪漫溢
·
2023-11-27 04:17
spark
ajax
大数据
IdentityHashMap
,这样传统map做不了,我们就要打破这一规定,比较key值用==为一组易变的对象维护代理对象基于一个对象的引用建立一个快速缓存保持一个有引用的对象的内存图属性/***负载因子2/3,超过21的时候就要
扩容
success112
·
2023-11-27 04:11
集合框架
java
服务器虚拟机内存
扩容
,服务器虚拟机分配内存大小
服务器虚拟机分配内存大小内容精选换一换在安装VirtualBox后请参考本节操作创建空虚拟机。已安装VirtualBox。打开VirtualBox,单击“新建”,在弹出的“新建虚拟电脑”对话框中输入虚拟机名称,并选择类型和版本,单击“下一步”。以Ubuntu为例,类型选择:Linux。请确保选择的版本与待安装的操作系统版一致。创建虚拟机以Ubuntu为例,类型选择:Linux已安装VirtualB
会咕咕咕的小夫爷
·
2023-11-27 00:45
服务器虚拟机内存扩容
【Apache Doris】Manager极致丝滑地运维管理
文档手册准备4.集群初始化4.1.系统参数预设4.2.Manager部署4.3.新集群部署4.4监控告警4.4.1监控4.4.2告警5.集群升级5.1新包准备5.2一键升级5.3结果验收6.集群扩所容6.1一键
扩容
乙真仙人
·
2023-11-26 22:11
Apache
Doris
大数据
apache
大数据
数据分析
运维
波奇学C++:哈希
把24放在下一个位置哈希桶闭散列法闭散列的负载因子:表元素个数/散列表长度(size),当负载因子达到一定范围时就进行
扩容
。
扩容
会涉及重新映射,取模的范围变大了。
社交达人波奇酱
·
2023-11-26 21:55
波奇学c
哈希算法
数据结构
算法
ClickHouse基础知识及与MySQL性能对比
MergeTree系列表引擎CollapsingMergeTreeVersionedCollapsingMergeTreeSummingMergeTreeAggregatingMergeTree外部存储引擎
HDFS
JK凯爷
·
2023-11-26 19:17
数据库
sql
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
集群搭建5、验证HBase、ZooKeeper、Hadoop等集群运行情况参考:Hadoop2.4的ResourceManagerHA高可用配置hadoop2.0已经发布了稳定版本了,增加了很多特性,比如
HDFS
HA
jerry_jiang2017
·
2023-11-26 19:42
Hadoop
传统数仓和clickhouse对比
不过也包括Kylin等,而clickhouse是实时OLAP的代表,我们简单看下他们的对比传统数仓和clickhouse对比Hive+SparkSQL的传统数仓:1.数据更新速度慢,由于传统数仓一般都是基于
HDFS
lixia0417mul2
·
2023-11-26 19:06
clickhouse
clickhouse
大数据基础
HDFS
客户端操作
一、Maven概述Maven是一个专门用于管理和构建Java项目的工具。我们之所以要使用Maven,是因为Maven可以为我们提供一套标准化的项目结构、一套标准化的构建流程和一套方便的依赖管理机制,这些功能可以使得我们的项目结构更加清晰,导入jar包的方式更加方便和标准,进而使得我们的开发更加的便捷高效。maven是Apache的顶级项目,解释为“专家,内行”,它是一个项目管理的工具,maven自
星星失眠️
·
2023-11-26 19:05
大数据开发技术
大数据
hdfs
hadoop
第四章 | Ubuntu20.04安装Qt6.5.3教程成功版
第一章VMwareWorkstationPro虚拟机安装Ubuntu20.04详细图文教程(图文并茂成功版)第二章Ubuntu22.04Linux磁盘
扩容
/硬盘扩展教程
Qt魔术师
·
2023-11-26 16:34
Qt
高级开发工程师
qt6
ubuntu20.04
qt6.5
linux
qt
Keepalived_sery-lvs-cluster
用户的增加,引起访问数乃至流量的增加,这种情形下,需要对系统进行
扩容
,以应对这种快速增长。对于提供高可用服务的互联网网站,其对可扩展的基本要求就是
一念成佛_LHY
·
2023-11-26 14:18
架构
Keepalived
lvs
集群
k8s开发基础-Deployment的autoscale(需安装metric-server)和rollback
latest--replicas=2#kubectlexposedeployment/web--type=NodePort--port=1080--target-port=80deployment副本
扩容
和缩容
weopsway
·
2023-11-26 13:10
k8s开发基础
k8s-Deployment
kubernetes
python
hadoop(10)--MR运行模式以及Yarn的调度流程
首先开门见山,说明一下MR的l两种种运行模式1,在本地运行模式①在windows中,intellijidea或者eclipse中直接运行,文件存储可以是本地也可以是
HDFS
②在linux中,运行eclipse
ROCK_杰哥
·
2023-11-26 13:14
秒杀系统
概述秒杀系统是指大量用户同时抢购数量有限的商品,瞬时造成服务端的尖峰压力,服务端需要保证高并发处理,同时又要保证高可用性、商品不会超发、快速
扩容
缩容、系统容错、降级熔断等,融合了各种服务端技术。
springzzj
·
2023-11-26 13:50
理财是什么?真的那么简单吗?
随着中国股票债券市场的
扩容
,商业银行、零售业
凯凯的果果
·
2023-11-26 11:51
Ubuntu20.04清理垃圾vscode缓存
使用VM虚拟机安装了Ubuntu系统,主目录空间越来越小,硬盘
扩容
之后很快又空间不足,甚至出现了开机卡黑屏的情况,这里记录一下解决过程。
可见一班
·
2023-11-26 10:33
Ubuntu
ubuntu
linux
面试中遇到的设计题
拉长整个交易流程,起到一个削峰作用b.静态资源多CDN部署c.前端缓存,有些页面的切换,不需要调用后端接口后端:接口性能优化:使用缓存,异步,多线程,功能降级等手段还有些高并发时保证系统稳定性的手段:
扩容
langsiming
·
2023-11-26 10:27
面试
职场和发展
Datax安装部署及读取MYSQL写入
HDFS
一.DataX简介1.DataX概述DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、
HDFS
、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
Appreciate(欣赏)
·
2023-11-26 09:25
datax
mysql
hdfs
大数据
简析Hadoop的三种运行模式
不需要与其他节点交互,不使用
HDFS
,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的
我要下东西噢
·
2023-11-26 08:13
hadoop
hadoop
mapreduce
HADOOP大数据之
HDFS
数据安全与隐私保护
HDFS
Trash垃圾桶功能概述
HDFS
Trash机制,叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。
奋斗的韭菜汪
·
2023-11-26 08:24
C++初阶(十二)string的模拟实现
操作系统》《经典算法试题》《C++》《数据结构与算法》☀️走在路上,不忘来时的初心文章目录一、string类的模拟实现1、构造、拷贝构造、赋值运算符重载以及析构函数2、迭代器类3、增删查改类4、io类5、
扩容
类
北尘_
·
2023-11-26 07:54
C++
c++
java
数据库
关于K1的部分介绍
移动床生物膜反应器(MovingBedBilfilmReactor,MBBR)又称悬浮填料生物膜工艺(SuspendedCarrierBiofilmProcess,SCBP),MBBR工艺具有空间小、能
扩容
mifia
·
2023-11-26 07:31
Hadoop+Hive+Spark+Hbase开发环境练习
1.练习一1.数据准备在
hdfs
上创建文件夹,上传csv文件[root@kb129~]#
hdfs
dfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#
hdfs
dfs-cat
不吃香菜lw
·
2023-11-26 07:48
hadoop
hive
spark
HBase入门篇
HBase是ApacheHadoop中的一个子项目,Hbase依托于Hadoop的
HDFS
作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map
youzhouliu
·
2023-11-26 06:51
hbase
入门
一篇文章入门Hbase
文件系统之上的分布式面向列的数据库,为横向发展类型数据库,提供快速随机访问海量结构化数据,它是Hadoop生态系统,提供对数据的随机实时读/写访问,是Hadoop文件系统的一部分,利用了Hadoop的文件系统(
HDFS
王知无(import_bigdata)
·
2023-11-26 06:15
HBase入门篇4–存储
前几篇文章讲述了HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧,《HBase入门篇4》这篇文章是讲述把HBase的数据放在
HDFS
上的点滴过程。
寂寞烟
·
2023-11-26 06:43
Hbase
HBase入门篇4存储
Hadoop
Hadoop中常问的就三块,第一:分布式存储(
HDFS
);第二:分布式计算框架(MapReduce);第三:资源调度框架(YARN)。
烈火138
·
2023-11-26 05:34
java
hadoop
大数据
分布式
TiDB学习记录
研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品,具备水平
扩容
或者缩容
圆月舞
·
2023-11-26 04:32
TiDB
tidb
学习
HBase环境部署
1、单机模式:只在一台计算机运行,这种模式下,HBase所有进程包括Maste、HRegionServer、和Zookeeper都在同一个JVM中运行,存储机制采用本地文件系统,没有采用分布式文件系统
HDFS
文森的小披风
·
2023-11-26 04:48
数据库
hadoop
hdfs
zookeeper
hbase
如何用iPad播放Android手机上的视频
(4)可对容量较小的iPad变相
扩容
;对旧Android手机废物利用。2.目的基于此需求,将视频文件传输至手机,手机带到宿舍,iP
段公子
·
2023-11-26 03:40
部署在腾讯云的公益网站遭受了一次CC攻击
首先是自动触发了自动
扩容
机制,增加了新服务器进来分担压力,保
qian_xiaoqian
·
2023-11-26 01:08
【数据结构】线性表(顺序表与链表)
而动态版本则可以避免这样的尴尬,根据我们的需求去动态的申请空间进行
扩容
的操作。头文件---包含着所有的函数声明与类型声明SeqList.h#pragmaonce#
Ja_小浩
·
2023-11-26 00:30
数据结构
链表
java
hdfs
kerberos 认证超时 Receive timed out
背景cdh6集群为阿里服务器,三台机器搭建而成,并且开启了kerberos,现在想尝试一下用javaapi读取
hdfs
数据。
KK架构
·
2023-11-26 00:53
开发问题汇总
spark
大数据
big
data
Apache BookKeeper 简介
Research)开发,旨在实现Hadoop分布式文件系统(
HDFS
)NameNode的高可用,在此之前,NameNode不具备高可用特性,存在单点故障的问题。
StreamNative
·
2023-11-25 20:11
大数据开发之运维面试题汇总分享
Q1:集群线上
扩容
如何达到自动化?线上
扩容
,规模正常都是以10+以上,如果都以课堂所示,人肉操作,时间投入与产出比不匹配,人力造成很大的不必要浪费,想学习老师线上集群实际
扩容
的方案。
at小白在线中
·
2023-11-25 19:43
大数据
运维
big
data
大数据
hive 数据导入和导出
hive命令数据导入与导出数据导入●本地文件导入●
HDFS
文件导入●表数据导入●创建表的时候导入--本地文件导入(local)LOADDATAlocalINPATH'/home/hadoop/sourceA.txt'INTOTABLEtestAPARTITION
heheha_zj
·
2023-11-25 18:48
数仓
hive
hdfs
DataX将
HDFS
数据迁移到Mysql中NULL值的处理
",Mysql的null值就是null,所以再进行数据迁移的时候需要考虑该问题方法一:方法一采用修改源码:具体实现代码块://it'sallokifnullFormatisnull//解决datax抽
hdfs
heheha_zj
·
2023-11-25 18:47
DataX
mysql
hive
自动化部署 /
扩容
openGauss —— Ansible for openGauss
前言大家好,今天我们为大家推荐一套基于Ansible开发的,自动化部署及
扩容
openGauss的脚本工具:AnsibleforopenGauss(以下简称AFO)。
renxyz
·
2023-11-25 16:32
openGauss
自动化部署
扩容
openGauss —— Ansible for openGauss
前言大家好,今天我们为大家推荐一套基于Ansible开发的,自动化部署及
扩容
openGauss的脚本工具:Ansible foropenGauss(以下简称 AFO)。
renxyz
·
2023-11-25 15:24
openGauss
数据库
lvm
扩容
根分区失败记录
lvm
扩容
根分区失败记录1、问题描述2、错误描述3、解决方法重启系统进入grub界面,选择kernel2.x启动系统。然后同样的resize2fs命令
扩容
成功。1、问题描述根分区不足。
OceanWaves1993
·
2023-11-25 14:51
linux
linux
lvm
分布式计算 第五章 大数据多机计算:Hadoop
5.2.2
HDFS
:分布式文件系统5.2.3YARN:调度器5.2.4MapReduc
一只大小菜
·
2023-11-25 14:42
大数据
hadoop
分布式
逻辑卷的
扩容
目录1.把磁盘或者分区加入卷组pvcreatevgextendvgdisplayvg02.
扩容
物理磁盘
扩容
文件系统的
扩容
注意一条命令搞定2个步骤3.特点1.把磁盘或者分区加入卷组查看磁盘,发现已经满了[
不可言、
·
2023-11-25 14:09
linux
运维
服务器
如何给已有的逻辑卷磁盘
扩容
磁盘挂载为物理卷创建物理卷扩展卷组扩逻辑卷让扩展磁盘生效查看
扩容
情况最后总结背景介绍当前虚拟机的磁盘空间有限,需要扩展,如下图所示,/var的空间已经38%,只有1G的大小,笔者准备给其
扩容
。
奥力给~
·
2023-11-25 14:38
磁盘管理
LVM
linux
linux磁盘存储空间不足磁盘
扩容
LVM
扩容
逻辑卷
扩容
详细教程
一、介绍当linux内存不够用时就涉及到磁盘
扩容
,只有使用LVM逻辑卷才支持
扩容
,该教程教你如何
扩容
。
天道酬勤-L
·
2023-11-25 14:34
运维
linux
2分钟快速实现非逻辑卷磁盘
扩容
在虚拟机环境中,您可以扩展虚拟硬盘的大小而不影响数据。以下是扩展/dev/sdb磁盘从200G到500G并扩展/dev/sdb1分区到新大小的步骤:关闭相关服务:确保没有服务正在访问/app分区。关闭虚拟机:关闭您要更改磁盘大小的虚拟机。扩展虚拟磁盘:在虚拟机管理界面中,选择要扩展的磁盘(sdb),将其大小更改为500G。保存更改并启动虚拟机。检查新磁盘大小:使用lsblk来确认磁盘大小已经变成5
ascarl2010
·
2023-11-25 14:03
Linux系统运维
运维
Redis集群(新)
1.什么是集群Redis集群实现了对Redis的水平
扩容
,可实现并发写操作,启动n个redis节点,将数据分别存储在不同的节点中,每块节点负责不同区域的插槽,所以Redis集群通过分区来提供一定程度的可用性
迷茫的羔羊羊
·
2023-11-25 13:03
Redis
redis
数据库
缓存
【Apache Doris】一键实现万表MySQL整库同步 | 快速体验
软件信息二、流程介绍三、前提概要3.1安装部署3.2JAR包准备3.2.1数据源3.2.2目标源3.3脚本模版四、快速体验五、常见问题5.1Mysql通信异常5.2MySQL无Key同步异常5.3CKPON
HDFS
乙真仙人
·
2023-11-25 13:26
Apache
Doris
大数据
apache
大数据
数据库
关于UnsupportedOperationException: Constructor threw an exception for org.apache.hadoop.hbase.ipc的问题
今天在搭建hbase的环境的时候正常配置了hbase-env.sh,hbase-site.xml文件后,先启动
HDFS
环境和Zookeeper环境之后,启动hbase,启动之后发现我们的进程HRegionServer
holywangle
·
2023-11-25 11:36
apache
hadoop
hbase
上一页
41
42
43
44
45
46
47
48
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他