E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
SpringCloud学习笔记 - 服务调用、负载均衡组件 - ribbon
因为负载均衡是对系统的高可用、网络压力的缓解和处理能力
扩容
的重要手段之一。我们通常所说的负载均衡都指的是服务端负载均衡,其中分为硬件负载均衡和软件负载均衡。
笨鸟不是菜鸟
·
2023-10-14 06:56
springcloud
spring
cloud
ribbon
java
大数据Hadoop集群搭建-04安装配置
HDFS
Hadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备
HDFS
是配合Hadoop使用的分布式文件系统,分为namenode:
叫我懒猫
·
2023-10-14 04:32
就业内推 | 京东云专场,IP/NP以上证书,15薪,员工旅游
01京东云招聘岗位:网络工程师职责描述:1.整体网络的部署和运维,包括网络新建、
扩容
、及变更等;2.保障网络及相关业务的稳定运行,对问题和故障进行跟踪并最终解决;3.与业务部门或客户密切配合,深入了解需求并及时反馈
HCIE考证研究所
·
2023-10-14 03:18
华为认证
网络工程师
运维
HCIE
CCIE
Big Data Tools完整攻略,一键连接Hadoop
BigDataTools完整攻略安装BigDataTools连
HDFS
连Hadoop连Spark写
HDFS
程序安装BigDataTools打开idea选择插件在Marketplace里面输入BigDataTools
轻夏
·
2023-10-14 02:50
hadoop
极致通俗
hadoop
大数据
spark
maven
linux
Hadoop-HA-Hive-on-Spark 4台虚拟机安装配置文件
Hadoop-HA-Hive-on-Spark4台虚拟机安装配置文件版本号步骤hadoopcore-site.xml
hdfs
-site.xmlmapred-site.xmlslavesworkersyarn-site.xmlhivehive-site.xmlspark-defaults.confspark
hdfs
-site.xmlhive-site.xmlslavesyarn-site.xmlsp
轻夏
·
2023-10-14 02:13
hadoop
hadoop
hive
spark
Hadoop3教程(二):
HDFS
的定义及概述
文章目录(40)
HDFS
产生的背景和定义(41)
HDFS
的优缺点(42)
HDFS
组成架构(43)
HDFS
文件块大小(面试重点)参考文献(40)
HDFS
产生的背景和定义随着实际生产环境中的数据越来越大,在一台服务器上无法存储下所有的数据
经年藏殊
·
2023-10-14 01:01
大数据技术
hdfs
hadoop
大数据
hadoop dfs、hadoop fs和
hdfs
dfs的区别
结论hadoopfs命令的官方解释为“ThiscommandisdocumentedintheFileSystemShellGuide.Itisasynonymfor`
hdfs
dfs`when
HDFS
isinuse
SunnyZ-L
·
2023-10-14 01:01
Hadoop
hdfs
hadoop
big
data
Hadoop3教程(三):
HDFS
文件系统常用命令一览
文章目录语法格式(44)
HDFS
的文件系统命令(开发重点)参考文献语法格式
hdfs
命令的完整形式:
hdfs
[options]subcommand[subcommandoptions]其中subcommand
经年藏殊
·
2023-10-14 01:00
大数据技术
hdfs
hadoop
大数据
走进Spark
什么是Spark是一个基于内存的,用于大规模数据处理(离线计算、实时计算、快速查询(交互式查询))的统一分析引擎,因为是基于内存的所以可以更快的完成任务离线计算:离线计算一般存储在
HDFS
中使用MapReduce
、小H
·
2023-10-14 01:52
spark
大数据
分布式
hadoop (五)操作
HDFS
hadoop(五)操作
HDFS
环境搭建参考《hadoop(四)开发环境及WordCount》。
cnliu
·
2023-10-14 00:23
Flink运行架构
整体架构任务提交流程(yarn模式)任务调度原理各角色作用:ClientJobManagerTaskManagerSlot划分Flink整体架构任务提交流程(yarn模式)Flink任务提交后,Client向
HDFS
Fenggms
·
2023-10-14 00:18
flink
flink
运行架构
【C++】vector的模拟实现 | 使用memcpy拷贝时的问题 | 实现深拷贝
目录基本框架及接口构造函数无参构造迭代器区间构造初始化构造析构函数size()|capacity()
扩容
的reserve()使用memcpy拷贝的问题改变大小的resize()operator[]迭代器的实现
掉毛小公鸡1234567
·
2023-10-14 00:55
c++
开发语言
大数据技术之HBase
第1章HBase简介1.1、HBase定义ApacheHBase™是以
hdfs
为数据存储的,一种分布式、可扩展的NoSQL数据库。
骚戴
·
2023-10-13 23:22
大数据
hadoop
大数据
hbase
HBase分布式数据库(NoSQL)
就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,HBase在Hadoop的
HDFS
之上提供了类似于Bigtable的能力。
敲代码的彭于晏
·
2023-10-13 23:21
大数据
分布式NoSQL数据库HBase实践与原理剖析(一)
建立在
HDFS
之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的
落叶飘雪2014
·
2023-10-13 23:51
HBase
HBase
大数据
数据库
HBase NoSQL数据库详解
一、HBase简介HBase是Hadoop的生态系统,是建立在Hadoop文件系统(
HDFS
)之上的分布式、面向列的数据库,通过利用Hadoop的文件系统提供容错能力。
wespten
·
2023-10-13 23:51
数据库存储
块存储
文件存储
对象存储
分布式网络存储
hbase
nosql
大数据
Hbase集群部署
HBASE介绍–HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用Hadoop
HDFS
作为其文件存储系统,利用HadoopMapReduce来处理
Best_Liu~
·
2023-10-13 23:49
hbase
hadoop
大数据
NoSQL数据库Hbase之Phoenix与Sqoop
springboot+mybatis方式来调用phoenix代码仓库Sqoop简介SqoopImportSqoopExport搭建部署版本问题部署下载mysqljar操作mysql数据库将mysql数据导入
HDFS
江南云朵
·
2023-10-13 23:49
操作hbase
hdfs
sqoop
大数据
ConcurtHashMap学习
一些基础基础概念一些默认参数初始容量16默认扩展加载因子0.75,即表中元素超过0.75就进行
扩容
sizeCtl:当为负数时,-1表示正在初始化,-N表示N-1个线程正在进行
扩容
;当为0时,表示table
河神
·
2023-10-13 23:49
大数据NoSQL数据库HBase集群部署
目录1.简介2.安装1.HBase依赖Zookeeper、JDK、Hadoop(
HDFS
),请确保已经完成前面2.【node1执行】下载HBase安装包3.
时光の尘
·
2023-10-13 23:17
Linux学习
大数据
nosql
hbase
java
分布式
服务器
怎么能把领导讲话稿写出新意?
着眼
扩容
提质,大造城镇跨越之势。着眼碧水蓝天,大造生态建设之势。着眼民计民生,大造社会建设之势。(工作总结、汇报,部署讲话)2、“严”字当头,作风建设是永恒课题。“学”字为先,勤奋学习是成事之基。
飞云写作
·
2023-10-13 21:15
hadoop之Sqoop
主要用于hadoop(hive)与关系型数据库之间的数据传递,可以将关系型数据库中的数据导入
HDFS
中,也可以将
HDFS
的数据导入关系型数据库中。sqoop导入:从RDBMS到H
USTC_IT
·
2023-10-13 19:11
顺序表的简单介绍
初始化:头文件:源文件:主函数部分:销毁开辟空间:头文件:源文件:主函数部分:尾插:(在上述代码的基础上进行尾插操作)尾插要考虑的因素:头文件:回答问题:1)空间是否足够:2)空间足够如何进行尾插:如何
扩容
明 日 香
·
2023-10-13 18:31
数据结构
C语言
数据结构
顺序表
flink1.15 savepoint 超时报错 java.util.concurrent.TimeoutException
savepoint命令flinksavepointe04813d4e7480c526912eb4d32bba510
hdfs
://flink/flink/migration/savepoint56650-
Thomas2143
·
2023-10-13 16:26
总结
flink
golang中的slice
如图一般slice的容量都会比长度大,当你使用append
扩容
slice时,如果
扩容
后slice的长度比容量大时,它会进行容量扩充,扩充的策略是:1.当扩充后的长度在容量的两倍以内,容量就扩充到容量的两倍
xiaodongdonga
·
2023-10-13 16:55
golang
GoLang之切片并发安全问题
文章目录GoLang之切片并发问题1.介绍切片并发问题2.实践检验真理2.1不指定索引,动态
扩容
并发向切片添加数据2.2指定索引,指定容量并发向切片添加数据3.回答切片并发安全问题4.解决切片并发安全问题方式
GoGo在努力
·
2023-10-13 16:24
GoLang底层
golang
Golang 的 slice、map、channe
Golang的slice、map、channelsliceslice
扩容
策略slice
扩容
策略MapChannelslice切片本身并不是动态数组或者数组指针。
颜同学
·
2023-10-13 16:52
golang
HashMap(2)正文源码分析
在
扩容
再散列时,如果红黑树的长度低于6则会还原给链表。HashMap
Super 含
·
2023-10-13 16:18
源码分析
HashMap
HashMap(3)面试题必备
在
扩容
再散列时,如果红黑树的长度低于6则会还原给链表。HashMap的数
Super 含
·
2023-10-13 16:48
HashMap
源码分析
Golang : Slice切片安全
Slice数据结构切片内存分配和创建slice
扩容
扩容
的规则
扩容
并发异常竞争检测race不
扩容
并发并发无顺序安全插入使用sync.condSlice数据结构首先来看看slice的数据结构typeslicestruct
workman-lu
·
2023-10-13 16:44
Golang
基础
golang
数据结构
指针
go
线程安全
Golang Slice
Slice介绍Slice也叫做切片,是golang中最为常用的一个结构之一,跟数组相比,它更加灵活便利,拥有自动
扩容
策略,但是也存在着一些比较容易被忽略的坑点,文章会先介绍Slice的基本使用方式,接着会介绍
lynalmost
·
2023-10-13 16:43
Golang
golang
slice
彻底理解Golang Slice
看完这篇文章,下面这些高频面试题你都会答了吧Goslice的底层实现原理Goarray和slice的区别Goslice深拷贝和浅拷贝Goslice
扩容
机制是怎样的?为什么Goslice是非线程安全的?
程序员caspar
·
2023-10-13 16:11
指针
golang
java
python
go
Hadoop3教程(一):Hadoop的定义、组成及全生态概览
文章目录(1)定义1.1发展历史1.2三大发行版本1.3Hadoop的优势1.4Hadoop的组成(13)
HDFS
概述(14)Yarn架构(15)MapReduce概述(16)
HDFS
、YARN、MapReduce
经年藏殊
·
2023-10-13 16:05
大数据技术
hadoop
大数据
分布式
Hadoop生态概览
Hadoop生态概览:#hadoop#
HDFS
两种文件格式(基于文件的数据结构):1,SequenceFile,2,MapFileSequenceFile特性:SequenceFile文件是Hadoop
「已注销」
·
2023-10-13 16:05
Hadoop生态
需永远在线的游戏公司,如何在线替换开源存储?
他不知道的是,就在他玩游戏的过程中,这款游戏的出品公司,其实已经实现了旧有存储系统到全新存储系统的平滑迁移和无缝
扩容
。
XSKY星辰天合
·
2023-10-13 14:14
云计算
go的学习--数据类型--网络编程
go的学习1、背景2、go的介绍3、go适用的项目类型4、go学习框架汇总一览表字符串string字符串修改字符串方法占位符数组和切片array和slicearray定长数组slice切片切片的
扩容
策略
MarryOnlyQueen
·
2023-10-13 13:11
go语言学习
golang
开发语言
后端
Kubernetes 和 Kubeflow 学习笔记
是一个完备的分布式系统支撑平台,具有完备的集群管理能力,多扩多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和发现机制、內建智能负载均衡器、强大的故障发现和自我修复能力、服务滚动升级和在线
扩容
能力
摸鱼温乎
·
2023-10-13 13:26
kubernetes
学习
docker
Linux系统下centos中在线添加硬盘后不重启在线
扩容
linux系统目录不重启系统
Centos7在线添加硬盘不重启系统CentOS7在线添加新磁盘,无需重启现有环境基本都是线下server以及线上虚拟机等,几乎都支持热插拔,热
扩容
,所以在线添加新磁盘就尤为重要,这样可以无需中断当前服务或进程也可对其进行添加硬盘操作
IChen.
·
2023-10-13 12:24
linux
centos
运维
Ubuntu 20.04 根目录
扩容
root@master:~#lvsLVVGAttrLSizePoolOriginData%Meta%MoveLogCpy%SyncConvertubuntu-lvubuntu-vg-wi-ao----<49.00groot@master:~#vgsVG#PV#LV#SNAttrVSizeVFreeubuntu-vg110wz--n-<98.00g49.00groot@master:~#pvsPVV
linux修理工
·
2023-10-13 11:09
ubuntu
数据库
linux
百度网盘官方
扩容
至2T的机会来了
原来百度网盘注册以后都是2T,可是网盘现在注册只有5g了,下载APP以后是305G,所以大家都想要免费
扩容
至2T。最近百度网盘在做活动,可以免费
扩容
至2T,还可以领取1-7天的会员啦,赶紧不要错过。
陈蛋蛋蛋
·
2023-10-13 10:34
【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败,提示报错class org.apache.hadoop.
hdfs
.web.HftpFileSystem ...
描述在个人的apachehadoop3.2.1版本的集群下,为了验证kylin的构建和查询性能,找到了对应的Kylin官方推荐使用的hive-testbench数据集生成仓库。在执行了相关命令,如下。gitclonehttps://github.com/hortonworks/hive-testbench.gitcdhive-testbench/./tpch-build.sh./tpch-setu
JustinXTT
·
2023-10-13 09:24
Apache
Kylin
大数据
hadoop
hive
kylin
hive小文件合并机制_转:Hive小文件合并
Hive的后端存储是
HDFS
,它对大文件的处理是非常高效的,如果合理配置文件系统的块大小,NameNode可以支持很大的数据量。但是在数据仓库中,越是上层的表其汇总程度就越高,数据量也就越小。
亿码数码
·
2023-10-13 08:56
hive小文件合并机制
hive小文件合并机制_hive小文件合并
hive仓库表数据最终是存储在
HDFS
上,由于Hadoop的特性,对大文件的处理非常高效。而且大文件可以减少文件元数据信息,减轻NameNode的存储压力。
大Victor
·
2023-10-13 08:56
hive小文件合并机制
HBase表更改压缩方式后的数据大合并
业务上可能会遇到这种情况,在最初创建hbase表时候,未指定压缩方式,当数据导入之后,由rowkey带来的数据膨胀导致
hdfs
上的数据大小远远大于原始数据大小。
SparkSql
·
2023-10-13 08:56
hbase
数据库
大数据
Spark Hive 小文件合并
背景小文件带来的问题对于
HDFS
从NNRPC请求角度,文件数越多,读写文件时,对于NN的RPC请求就越多,增大NN压力。从NN元数据存储角度,文件数越多,NN存储的元数据就越大。
longlovefilm
·
2023-10-13 08:26
spark
hive
spark
big
data
大数据学习(5)-hive文件格式
默认的文件存储格式是TestFile,如果在建表时不指定存储格式,则导入数据时会直接把数据文件拷贝到
HDFS
上不进行处理。除Test
viperrrrrrr
·
2023-10-13 07:47
大数据
学习
hive
Docker
一.为什么使用容器1.上线流程繁琐开发->测试->申请资源->审批->部署->测试等环节2.资源利用率低普遍服务器利用率低,造成过多浪费3.
扩容
/缩容不及时业务高峰
扩容
流程繁琐,上线不及时已知情况,例如
想想35岁以后的自己
·
2023-10-13 07:00
Dokcer入门学习
docker
linux
Spark大数据平台
所开源的类HadoopMapReduce的通用并行框架,Spark,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写
HDFS
Hi~晴天大圣
·
2023-10-13 05:16
技术杂烩
spark
大数据
scala
namenode元数据多目录配置及测试
1.配置方法namenode元数据的配置属性为:dfs.namenode.name.dir多个目录以逗号分隔即可(注意使用ambari配置时,要使用换行符)目录所属者需要改成
hdfs
:hadoop,不然会没有写权限
Java小田
·
2023-10-13 05:46
#
hdfs
备忘
hadoop
namenode多目录
hdfs
重平衡操作
通过修改配置dfs.datanode.balance.bandwidthPerSec=100m可以设置重平衡的带宽,但是需要重启服务因此通过命令设置:su
hdfs
-c“hadoopdfsadmin-setBalancerBandwidth100m
Java小田
·
2023-10-13 05:44
大数据
#
hdfs
备忘
hdfs
hadoop
重平衡
上一页
71
72
73
74
75
76
77
78
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他