E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
Flume基础知识(四):Flume实战之实时监控单个追加文件
1)案例需求:实时监控Hive日志,并上传到
HDFS
中2)需求分析:3)实现步骤:(1)Flume要想将数据输出到
HDFS
,依赖Hadoop相关jar包检查/etc/profile.d/my_env.sh
依晴无旧
·
2024-01-04 10:08
大数据
flume
大数据
Flume基础知识(五):Flume实战之实时监控目录下多个新文件
1)案例需求:使用Flume监听整个目录的文件,并上传至
HDFS
2)需求分析:3)实现步骤:(1)创建配置文件flume-dir-
hdfs
.conf创建一个文件vimflume-dir-
hdfs
.conf
依晴无旧
·
2024-01-04 10:08
大数据
flume
大数据
ArrayList源码解析与性能优化
ArrayList源码解析与性能优化ArrayList是Java集合框架中最常用的动态数组实现之一,它提供了动态
扩容
、随机访问等特性,适用于大多数场景。
--土拨鼠--
·
2024-01-04 09:11
Java
java
Centos 磁盘挂载和磁盘
扩容
(新加硬盘方式)
步骤总结如下一、对磁盘进行分区二、对磁盘进行格式化三、将磁盘挂载到对应目录四、做开机自动挂载磁盘磁盘分区1.使用命令:fdisk-l查看磁盘(注:正常在Centos7中第一块数据盘标识一般是/dev/sda,第二块数据盘标识一般是/dev/sdb)2.对磁盘进行分区,使用命令:fdisk/dev/sdb对新增磁盘进行分区(/dev/sdb为新增数据盘标识)3.使用命令:fdisk-l检查分区是否分
雁南飞渡
·
2024-01-04 08:33
操作系统
centos
linux
运维
磁盘扩容
磁盘挂载
Java技术栈 —— Hadoop入门(一)
Java技术栈——Hadoop入门(一)一、Hadoop第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2
HDFS
-核心组件3.1.3YARN
键盘国治理专家
·
2024-01-04 08:02
Java技术栈
java
hadoop
开发语言
大数据-
HDFS
原理
什么是
HDFS
?
运维仙人
·
2024-01-04 07:00
大数据
运维
【Hadoop-
HDFS
-S3】
HDFS
和存储对象 S3 的对比
【Hadoop-
HDFS
-S3】
HDFS
和存储对象S3的对比1)可扩展性2)数据的高可用性3)成本价格4)性能表现5)数据权限6)其他限制虽然ApacheHadoop以前都是使用
HDFS
的,但是当Hadoop
bmyyyyyy
·
2024-01-04 07:25
Hadoop
hadoop
hdfs
大数据
#存储对象
#S3
利用python将excel文件转成txt文件,再将txt文件上传
hdfs
,最后传入hive中
将excel文件转成txt文件,再将txt文件上传
hdfs
,最后传入hive中1.利用python将excel转成txt文件#!
m0_37759590
·
2024-01-04 06:03
python
hive
python
hdfs
hive
lvm建立卷组和
扩容
一、逻辑卷lvm1.可以动态
扩容
pe是逻辑卷最小的存储单元,最小4k1.物理卷将硬盘转化成pe2.卷组将pe分组,一个逻辑卷只可以用一个组里面的pe3.逻辑卷类似于分区1.1分区类型lvm如果使用分区,
YUEAwb
·
2024-01-04 05:25
linux
运维
centos
服务器
怎么理解HashMap的数据结构、怎么解决冲突、
扩容
(面试必问版)
见者有缘,缘来好运诚邀各位围观我的博客【CS_GUIDER】个人主页:wl2o2o✒️博客主页:CSGUIDER(好玩)CSGUIDER(实用)⭐八股专栏:JavaU8G(内置MusicPlayer)我的开源博客涵盖了八股文、设计模式、网站搭建、数据库、Linux系统的教程和笔记。我致力于为您提供Java编程的实用指南和资源,包括Java框架、JVM、微服务以及Git。无论您是初学者还是经验丰富
CS_GUIDER
·
2024-01-04 05:46
数据结构
面试
Hive08_分区表
一分区表1概念:分区表实际上就是对应一个
HDFS
文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。
程序喵猴
·
2024-01-04 02:00
hive
hive
hadoop
数据仓库
从零开始了解大数据(七):总结
系列文章目录从零开始了解大数据(一):数据分析入门篇-CSDN博客从零开始了解大数据(二):Hadoop篇-CSDN博客从零开始了解大数据(三):
HDFS
分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫
·
2024-01-04 02:19
从零开始了解大数据
大数据
大数据
hadoop
hive
big
data
hdfs
数据仓库
kubernetes入门到放弃
kubernetesbasekubernetes提供了资源调度,
扩容
缩容,服务发现,存储编排,自动部署和回滚,并且具有天生高可用,负载均衡,故障自动恢复架构master主节点生产环境推荐三个起步kube-ApiServer
漫漫行程路
·
2024-01-04 01:01
kubernetes
容器
云原生
The Road of DBA 17_NoSQL_Some Tools
工具
扩容
节点Redis集群的
扩容
操作可分为以下几个步骤1)准备新节点2)加入集群3)迁移槽和数据
扩容
流程图image.png在db01上创建2个新节点mkdir-p/opt/redis_cluster/
Linux_淡忘
·
2024-01-04 01:42
ZK与以太坊
扩容
的未来
虽然OR具有一切就绪的优势,但我们认为ZKR
扩容
解决
Luna Lau
·
2024-01-04 00:18
以太坊
数字货币
区块链
密码学
zk
重新认识HashMap(in JDK1.8)
随着JDK(JavaDevelopmetKit)版本的更新,JDK1.8对HashMap底层的实现进行了优化,例如引入红黑树的数据结构和
扩容
的优化等。
左大星
·
2024-01-04 00:42
java
sdk
jdk
hash
hashmap
Java学习苦旅(九)——原来顺序表可以这么简单呀
文章目录顺序表的概念顺序表的实现变量创建打印顺序表获取顺序表的(有效)长度增加元素判断pos位置的合法性判断顺序表是否需要
扩容
将顺序表中的已有数据进行移动数据插入后,usedSize++具体代码判断顺序表中是否包含某个元素查找元素获取元素更改元素删除元素清空顺序表顺序表的缺点结尾顺序表的概念顺序表是用一段物理地址连续的存储单元依次存储数据元素的线性结构
rampant boy
·
2024-01-04 00:44
Java学习苦旅
java
开发语言
后端
宅家战疫日记 十一 上午中午下午和晚上
最开始只有400多个摊位,后来
扩容
几次变成现在面积达到5万平方米的场地,相当于7个足球场的面积。店铺也随之增加到了1000多家,成为华中地区最大的水产批发市场。
贾宋海纳百川
·
2024-01-04 00:36
hdfs
dfs 命令学习实践
1、
hdfs
dfs-ls查看目录或文件参数:[-C][-d][-h][-R][-t][-S][-r][-u][...]参数释义:-C仅显示文件和目录的路径-d目录列为普通文件-h以人类可读的方式显示文件大小
probtions
·
2024-01-03 23:25
bigdata
hdfs
java集合框架(三)ArrayList常见方法的使用
ArrayList是基于数组实现的,它内部维护的是一个Object数组,默认初始化容量为10,当添加的元素个数超过了当前容量时,会自动
扩容
。
小亮编码
·
2024-01-03 23:31
集合框架
java
开发语言
Spark相关知识点(期末复习集锦)
一、Spark简介Spark,拥有hadoopMR所具有的优点,但不同于MR的是job中监测结果可以保存在内存中,从而不再需要读写
HDFS
,因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr
夜をむかえる
·
2024-01-03 22:49
spark
大数据
分布式
C++ std::string使用效率优化
一般会采用标准的std::string替代C字符串,一方面是std::string为一个成熟的类对象,其成员操作基本能满足绝大多数的使用场景,另一个方面是因为string在标准库中已经实现了自动的
扩容
操作
Bussy-Lake
·
2024-01-03 22:47
C++
c++
开发语言
启动Hbase后HMaster老是掉的原因
1.启动Hbase之前先启动
hdfs
,zookeeper,再启动Hbase,但是隔一会就发现HMaster掉线了,但是hregionserver还在.2.解决:重新启动Hbase之前,先kill掉hregionserver
夺命大翻斗
·
2024-01-03 22:12
hbase
数据库
大数据
JVM常用参数配置
个参数我都记不住,更不用提那么多的参数了,但是好在大家也都知道,绝大部分业务场景的调优也就下面十来个参数:#设置堆最大内存,建议将-Xms设置与-Xmx相同,以便在启动时分配足够的内存,避免因为堆内存
扩容
导致的性能开销
程序无涯海
·
2024-01-03 21:08
Java
jvm
java
hive基本概念原理与底层架构
hadoop是一个开源框架,在分布式环境中存储和处理大型数据,他包括两个模块,一个是mapreduce,另一个是
hdfs
.mapreduce:他是一个并行编程模型在大型集群普通硬件可用于处理大型
byway_lyn
·
2024-01-03 20:22
大数据Hadoop入门学习线路图
Hadoop是系统学习大数据的必会知识之一,Hadoop里面包括几个组件
HDFS
、MapReduce和YARN,
HDFS
是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的
千_锋小小千
·
2024-01-03 19:12
电商数仓可视化1--数据导入
商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求,一般以日志形式存储于日志文件中,随后通过采集落地分布式存储介质中如
hdfs
bigdata从入门到放弃
·
2024-01-03 18:53
数据仓库
linux
hadoop
大数据
java
数据仓库
我的大数据之路:2023年度总结
同时对“数据治理”有了一定的实践经验:存储治理:
HDFS
基于纠删码的存储空间占用上优于多副本存储;冷数据使用对象存储可以大幅降低成本。
话数Science
·
2024-01-03 18:07
大数据
面试
大数据
面试
spark
HDFS
重温
今天被问到分布式,有些忘记,查资料回忆起分布式集群构建,现在重温集群搭建过程费话不多说,来个简图NameNode:
HDFS
群集包含单个NameNode(主服务器),它管理文件系统命名空间并控制客户端对文件的访问权限
zty_1995
·
2024-01-03 18:18
2022-10-19
提升自我,让自己的财富容器不断的
扩容
。面对问题时关注目标而不是关注问题。❤️不抱怨
23eab8e64567
·
2024-01-03 17:51
开源大数据集群部署(一)集群实施规划
8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4集群版本规划集群组建版本
HDFS
3.2.4YARN3.2.4M
云掣YUNCHE
·
2024-01-03 15:42
开源大数据集群部署
开源
大数据
linux raid
硬盘连续空间无法
扩容
lvm非连续空间可以动态
扩容
raid备份提高读写性能raidraid0读的性能提高写的性能提高最少几块盘:1块没有效果,有效果最少2块及以上是否有备份:没有备份效果实际利用率:100%
...emmm?
·
2024-01-03 15:10
运维
Arbitrum之后,估值18亿美元Scroll又火了
结语参考Scroll是用于以太坊的原生zkEVMLayer2解决方案,帮助解决以太坊的拥堵问题并进行
扩容
。
闭着眼睛学算法
·
2024-01-03 15:45
web3
区块链
web3
前沿技术
统信UOS操作系统上
扩容
数据盘
原文链接:统信UOS操作系统上
扩容
数据盘hello,大家好啊!今天我要给大家介绍的是在统信UOS操作系统上
扩容
数据盘的方法。
鹏大圣运维
·
2024-01-03 14:04
统信
UOS
linux
服务器
运维
linux
国产化
kylin
uos
统信
HBASE基础
1、NoSQL非关系型数据库2、hbase是面向列存储结构,即类似于hashmap3、hbase是以
hdfs
作为基础存储4、官网http://hbase.apache.org/5、hbase的逻辑结构是由行与列族构成的
xinxinyydss
·
2024-01-03 12:25
hbase
数据库
大数据
HDFS
之Offline Viewer
FileDistribution常用于查看
hdfs
文件大小分布,查看小文件的数量。
hdfs
oiv-pFileDistribution-maxSizemaxSize-step
zincooo
·
2024-01-03 09:16
HDFS
hdfs
hadoop
Spark一:Spark介绍、技术栈与运行模式
1.2Spark作用中间结果输出Spark的Job中间输出结果可以保存在内存中,从而不再需要读写
HDFS
MapReduce的替代方案Spark比M
eight_Jessen
·
2024-01-03 09:11
spark
spark
大数据
分布式
阿里云和腾讯云服务器系统盘40G或50G空间够用吗?
另外如果系统盘不够的话,阿里云和腾讯云均支持在线
扩容
系统盘,如果需要大容量的存储,也可以通过挂载数据盘来实现。1、
扩容
云硬盘https://c
gla2018
·
2024-01-03 08:56
腾讯云
阿里云服务器
阿里云
腾讯云
服务器
k8s中实现pod自动扩缩容
一、k8s应用自动扩缩容概述1)背景:在实际的业务场景中,我们经常会遇到某个服务需要
扩容
的场景(例如:测试对服务压测、电商平台秒杀、大促活动、或由于资源紧张、工作负载降低等都需要对服务实例数进行扩缩容操作
睡不醒的猪儿
·
2024-01-03 07:25
kubernetes
容器
云原生
ClickHouse基础知识(七):ClickHouse的分片集群
副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向
扩容
没有解决。要解决数据水平切分的问题,需要引入分片的概念。
依晴无旧
·
2024-01-03 07:26
大数据
clickhouse
Flume基础知识(一):Flume组成原理与架构
Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到
HDFS
。2.Flume基础架构Flume组成架构如下图所示。
依晴无旧
·
2024-01-03 07:18
大数据
flume
大数据
计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
万医生数据,最终存入mysql数据库;2.使用pandas+numpy/hadoop+mapreduce对mysql中的医生数据进行数据分析,使用高德地图解析地理位置,并将结果转入.csv文件同时上传到
hdfs
计算机毕业设计大神
·
2024-01-03 07:53
纠删码ReedSolomon
随着大数据技术的发展,
HDFS
作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性,
HDFS
通过多副本机制来保证。
旅僧
·
2024-01-03 07:14
#
大数据计算基础
大数据
分布式
算法
Clojure 实战(4):编写 Hadoop MapReduce 脚本
它是Apache基金会下的开源项目,受Google两篇论文的启发,采用分布式的文件系统
HDFS
,以及通用的MapReduce解决方案,能够在数千台物理节点上进行分布式并行计算。
张吉Jerry
·
2024-01-03 07:35
大数据
hadoop
clojure
shell编程之find
-inameaa-user查找文件属主为
hdfs
的所有文件,不区分大小写find.-user
hdfs
-group查找文件属组为yarn的所有文件find.-groupyarnf文件find.
hemingkung
·
2024-01-03 06:13
python操作
hdfs
及hbase
操作
HDFS
创建目录client.makedirs("/tmp/ct/test51")默认权限755,用户名:dr.who可以创建多层级目录(类似mkdir-p)如果存在权限不足,可以通过命令行对上层目录权限进行修改
佛系小懒
·
2024-01-03 04:26
区块链不允许单用户并发的原因
在解释
扩容
问题之前,必须要先解释吞吐量的概念。假设你在火车站等车,每趟火车间隔一小时,只能做10个人。一旦火车满载,第十一名乘客只能等待下一趟。
王乐城愚人云端
·
2024-01-03 02:08
Compass4nfv Expansion
本文从代码层面简单描述了
扩容
的实现过程。在廊坊的时候就接到任务要对compass4nfv实现
扩容
功能,前前后后花了近两周时间才完成。虽然任务比较艰巨,但是开发效率实在是有待提高。
Maxwell_Li
·
2024-01-03 02:56
Linux服务器搭建笔记-006:拓展/home目录容量
本篇博客通过添加额外的硬盘,实现对/home目录的
扩容
。注意:本篇博客内容不采用换一块更大硬盘替代/home的方式,而是在保留原有/hom
打团从来人不齐
·
2024-01-03 00:38
服务器
linux
笔记
迁移 Ubuntu到任意盘与WSL2
扩容
迁移Ubuntu1.下载LxRunOffline工具2.解压到一个自己平时安装软件的目录,并配置环境变量重启电脑,打开命令行工具,输入LxRunOffline,如果显示下面的提示证明已经安装成功了(c)2019MicrosoftCorporation。保留所有权利。C:\Users\86188>LxRunOffline[ERROR]Noactionisspecified.Supportedacti
爱吃糖葫芦的大熊
·
2024-01-03 00:04
ubuntu
linux
运维
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他