E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs扩容
大数据实训05--网站离线日志分析实战
要分析的KPI:浏览量PV、注册用户数、IP数、跳出用户数、访问页面详细统计运行流程数据源----数据采集(存到
HDFS
)-----数据
faaarii
·
2023-11-28 16:45
大数据
大数据
大数据技术基础实验四:
HDFS
实验——读写
HDFS
文件
大数据技术基础实验四:
HDFS
实验——读写
HDFS
文件文章目录大数据技术基础实验四:
HDFS
实验——读写
HDFS
文件一、前言二、实验目的三、实验原理1、JavaClasspath2、EclipseHadoop
-北天-
·
2023-11-28 16:13
大数据学习
hdfs
大数据
hadoop
大数据编程技术基础实验八:Flume实验——文件数据Flume至
HDFS
大数据编程技术基础实验八:Flume实验——文件数据Flume至
HDFS
文章目录大数据编程技术基础实验八:Flume实验——文件数据Flume至
HDFS
一、前言二、实验目的三、实验要求四、实验原理1、flume
-北天-
·
2023-11-28 16:13
大数据学习
大数据
hdfs
flume
大数据处理实验(三)
HDFS
基本操作实验
HDFS
基本操作实验1、Hadoop配置环境变量2、列出当前目录下的文件3、级联创建一个文件夹,类似这样一个目录:/mybook/input4、上传文件至
HDFS
5、从
HDFS
上下载文件6、查看
HDFS
吱唔朱_
·
2023-11-28 16:43
大数据处理
hadoop
mapreduce
大数据
hdfs
大数据从入门到实战 - 第2章 分布式文件系统
HDFS
大数据从入门到实战-第2章分布式文件系统
HDFS
一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关:
HDFS
的基本操作2、第2关:
HDFS
-JAVA接口之读取文件3、实验三
HDFS
-JAVA
发芽ing的小啊呜
·
2023-11-28 16:42
#
大数据&云计算基础
大数据
hadoop
hdfs
HDFS
-实验指导书 -更新
Hadoop02核心介绍1.
HDFS
HDFS
(HadoopDistributedFileSystem)是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目
撒娇的猫
·
2023-11-28 16:42
hdfs
hadoop
big
data
HDFS
与Hive实战 + 滴滴出行数据分析
HDFS
与Hive实战+滴滴出行数据分析1.
HDFS
1.1分布式文件系统1.2
HDFS
的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116
·
2023-11-28 16:41
大数据
Hive
数据仓库
数据库
数据仓库
数据挖掘
hadoop
大数据
hadoop的
HDFS
的shell命令大全(一篇文章就够了)
文章目录
HDFS
的shell命令1、安全模式1.查看安全模式状态2.手工开启安全模式状态3.手工关闭安全模式状态2、文件操作指令1.查看文件目录2.查看文件夹情况3.文件操作4.上传文件5、获取文件6.
绝域时空
·
2023-11-28 16:39
大数据组件
hdfs
hadoop
big
data
大数据平台/大数据技术与原理-实验报告--实战
HDFS
实验名称实战
HDFS
实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5
jakeonil
·
2023-11-28 16:25
npm
前端
node.js
大数据
hdfs
hadoop
python
报告分享 | 2020年轻人群酒水消费洞察报告
一、线上酒水市场概览·线上酒水市场提速
扩容
,酒水新客涌入市场我国拥有悠久的酒水消费历史,随着我国居民消费水平的提升和线上平台的品类拓展,酒水的消费也在不断向线上渗透。
宝藏女孩知识库
·
2023-11-28 14:59
java使用idea操作
HDFS
本文参照这位博主的文章https://blog.csdn.net/weixin_45754552/article/details/121019053,并亲自实操做的笔记。一、前言关于在IDEA中使用JavaAPI对Hadoop进行操作。Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。1、文件在
梦痕长情
·
2023-11-28 14:14
笔记
hdfs
java
hadoop
第4.4章:StarRocks备份还原--Backup&Restore
Backup操作也需要Broker组件,通过Broker将数据备份到远端存储系统中,例如
HDFS
、OSS、COS或S3等。
流木d
·
2023-11-28 11:35
StarRocks
数据库
大数据
分布式
hadoop
Hive基本操作
目录一、Hive创建数据库与数据表1.1.数据库相关操作1.1.1.创建数据库1.1.2.创建数据库并指定
HDFS
存储路径1.1.3.修改数据库1.1.4.查看数据库详情信息1.1.5.删除数据库1.2
进阶的橙汁糖
·
2023-11-28 10:10
Hive
hive
hadoop
big
data
Java Hashmap的
扩容
机制原理分析
HashMapeCapacity计算:一般我们都会调用无参的构造函数来初始话一个数组对象,所以默认的capacity是16,不用我们计算,这里的计算是
扩容
时候或调用有参的构造方法,newHashMap(
Stefan02
·
2023-11-28 10:04
自动化部署
扩容
openGauss —— Ansible for openGauss
前言大家好,今天我们为大家推荐一套基于Ansible开发的,自动化部署及
扩容
openGauss的脚本工具:Ansible foropenGauss(以下简称 AFO)。
openGaussMan
·
2023-11-28 09:32
openGauss
数据库
STL容器(vector、array、list、deque、set 、map 、stack、queue、priority_queue)的底层实现
STL数据结构整体介绍:一、vector1、底层数据结构:数组2、内存分配位置:堆上3、特点:支持快速随机访问
扩容
机制:vector是动态数组,动态增加大小,并不是在原空间之后持续新空间(因为无法保证原空间之后尚有可供配置的空间
持续学习,不断沉淀
·
2023-11-28 08:25
数据结构
c++
数据结构
链表
list vector set map multimap multiset 容器大揭秘
底层数据结构为一个中央控制器和多个缓冲区,详细见STL源码剖析P146,支持首尾(中间不能)快速增删,也支持随机访问4.stack底层一般用23实现,封闭头部即可,不用vector的原因应该是容量大小有限制,
扩容
耗时
luckystar_sai
·
2023-11-28 08:25
数据结构
C/C++
Redis 主从架构
这样也可以很轻松实现水平
扩容
,支撑读高并发。redisreplication->主从架构->读写分离->水平
扩容
支撑读高并发redis
入伍击寇
·
2023-11-28 08:40
redis
数据库
缓存
阿里云OSS服务
1.1、图片上传1.1.1、图片存储解决方案实现图片上传服务,需要有存储的支持,那么我们的解决方案将以下几种:直接将图片保存到服务的硬盘优点:开发便捷,成本低缺点:
扩容
困难使用分布式文件系统进行存储优点
方生方死
·
2023-11-28 07:28
阿里云
阿里云
云计算
kubernetes
PPT分享|闲鱼Flutter+GAIA(Serverless)一体化研发
Serverless技术由云提供服务器,动态缩
扩容
,按需计费,开发无需关心后
阿里巴巴淘系技术团队官网博客
·
2023-11-28 07:05
计算机组成原理——存储器(主存容量扩展)
如果主存的容量无法满足CPU的需求,可以通过存储器扩展来解决,扩展的方式有两种:主存的位数不够(相当于快递柜的尺寸太小,放不下大包裹),则可以通过位扩展的方式(快递柜
扩容
)实现;下图是用两片8K*1位的芯片扩充为
JYHZZ
·
2023-11-28 04:46
计算机组成原理
学习
HashMap详解(
扩容
机制、底层结构、适用场景)
1、特点底层是链表+数组,JDK1.8开始,当链表长度超过8时,会将链表转换为红黑树。储存的是key-value类型数据。key值不允许重复,key重复会被覆盖,value允许重复。数据储存无序(不记录存入的顺序)。key和value都允许为空,但是只能有一个空的key。2、相较于其他集合HashMap是一种基于哈希表的Map接口实现。它提供了常数时间的get和put操作,这意味着无论HashMa
日上三杆快起床
·
2023-11-28 03:17
链表
java
数据结构
hashmap
Vmware Ubuntu虚拟机磁盘
扩容
(非常简单)
这里需要宿主机有足够的剩余空间了,宿主机剩余磁盘空间>虚拟机原本磁盘大小+需要扩展的大小否则
扩容
不成功,所以建议一次
扩容
到位,否则等到虚拟机磁盘已经很大了再
扩容
就需要宿主机有很多剩余磁盘空间。
Mr_Sosimple
·
2023-11-28 02:01
ubuntu
linux
运维
Java岗三面算法+数据库+设计模式,复习1个月成功拿offer
3月26日一面55分钟自我介绍实习项目(讨论10-15分钟)Java集合类八股ArrayList和LinkedList区别HashMap八股(数据结构,
扩容
,链表和红黑树转换)有哪些线程安全的集合类,讲一讲原理
好想吃汉堡
·
2023-11-28 02:49
java集合
)分为JDK1.7和1.8版本:底层的实现如下:JDK1.7源码:底层是数组,在调用空构造器的时候.空构造器又调用有参构造器,并且默认数组是Object[]elementData的初始值为10的数组,
扩容
的时候
扩容
为原来的
小高求学之路
·
2023-11-27 23:31
集合
笔记
java总结
java
集合
后端
开发语言
linux运维学习教程:LVM管理和ssm存储管理器使用
全套学习资料移步至公众号【学神来啦】本节所讲内容:15.1LVM的工作原理15.2创建LVM的基本步骤15.3实战-使用SSM工具为公司的邮件服务器创建可动态
扩容
的存储池LVM的基本概念实战场景:对于生产环境下的服务器来说
侠盗安全
·
2023-11-27 23:04
Cassandra
扩容
踩坑记
故事背景线上有3台Cassandra组成的小集群,随着数据增长,硬盘使用量达到了90%以上,急需
扩容
。于是,就查文档,按文档一步步添加新节点,来增加集群规模。
user0650
·
2023-11-27 23:10
k8s-Kubernetes--集群部署
设计架构3.Kubernetes和Docker的关系、区别二、Kubernetes集群部署1.集群环境初始化2.所有节点安装kubeadm3.拉取集群所需镜像4.集群初始化5.安装flannel网络插件6.
扩容
节点
Gong_yz
·
2023-11-27 23:12
k8s
kubernetes
docker
容器
Apach Ozone部署
我自己对hadoop这套体系不是很熟悉,所以过程磕磕碰碰,好不容易勉强搭起来,所以记录一下部署方式准备三台主机,主机均已安装jdk、
hdfs
,相关的安装配置就不另外写了,网上很多教程。
sadoshi
·
2023-11-27 23:02
其他
hadoop
大数据
SM6125平台
扩容
camera id的修改方法
可以通过如下修改
扩容
逻辑id:cam_sensor_cmn_header.hmsm_sensor_camera_id_t定义中,MAX_CAMERAS的值默认为4,需要增加cameraid的配置enummsm_sensor_camera_id_t
染色体集团备用程序猿
·
2023-11-27 22:55
android
flink on yarn集群环境(生产环境使用)
因此Flink也支持在Yarn上面运行;flinkonyarn的前提是:****hadoop、
hdfs
、yarn****均启动配置要求jdk1.8及以上【配置JAVA_HOME环境变量】ssh免密码登录
huahailing1024
·
2023-11-27 20:30
大数据开发
flink
ArrayList与LinkedList源码分析
ArrayList允许空值和重复元素,当往ArrayList中添加的元素数量大于其底层数组容量时,其会通过
扩容
机制重新生成一个更大的数组。
火龙果儿
·
2023-11-27 19:36
基础知识
java
对比Vector、ArrayList、LinkedList有何区别?
3.
扩容
大小默认为0,可指定每次
扩容
大小(capacityIncrement变量),当
扩容
指定大小加上原数组大小,小于可容下大小时扩大到两倍,否则判断是否大于MAX_ARRAY_SIZ
冲a铁子
·
2023-11-27 19:05
java
Java核心技术36讲学习
Java 容器 - 详细剖析 List 之 ArrayList, Vector, LinkedList
老调常谈之ArrayList
扩容
机制ArrayList与Vector对比ArrayList与LinkedList对比底层数据结构:ArrayList底层使用的Object数组,默认大小10。
Richard_Yi
·
2023-11-27 19:32
Java
集合框架
java
Apache Iceberg核心原理分析文件存储及数据写入流程
第一部分:Iceberg文件存储格式ApacheIceberg作为一款新兴的数据湖解决方案在实现上高度抽象,在存储上能够对接当前主流的
HDFS
,S3文件系统并且支持多种文件存储格式,例如Parquet、
王知无(import_bigdata)
·
2023-11-27 19:25
大数据
hive
java
android
spark
Android 面试题
10S2-挂号问诊重构258个bug1390arrayMap
扩容
:4>42=8>8+81/2=12>18>...查找方式:二分法查找SparseArray
扩容
:默认值为16需要2倍的
扩容
数组key唯一的值
茶杯里的阳光
·
2023-11-27 19:51
C++语法知识点-vector+子数组
C++语法知识点-vector+子数组一维数组定义无参数有参数迭代器
扩容
操作reserve二维数组vector定义创建m*n的二维vectorvector>v(m,vector(n))初始化定义vector
一直爱莲子
·
2023-11-27 18:36
#
代码随想录
c++
开发语言
笔记
Redis集群原理详解
2、Redis中哈希槽相关的数据结构3、集群的请求重定向三、Redis集群中节点的通信机制:goosip协议1、gossip协议的常见类型2、meet命令的实现四、集群的
扩容
与收缩1、
扩容
2、收缩五、集群的故障检测与故障转恢复机制
进击的程序猿~
·
2023-11-27 18:26
数据库
中间件
redis
数据库
缓存
2023秋招大厂后台开发面试题汇总
一、腾讯广告后台开发一面1.自我介绍2.问项目3.数据库索引,索引优化,B+树4.MySQL隔离级别,InnoDB引擎5.聚簇索引和非聚簇索引6.操作系统请求分页过程,调度算法,内存
扩容
原理7.操作系统进程原理
程序员老舅
·
2023-11-27 18:53
C++Linux后端
面试题
C++后台开发
c++
C++后端开发
C++服务器开发
Linux
ArrayList类
2:ArrayList实现了Cloneable接口,说明ArrayList是可以clone的3:ArrayList底层是一段连续的空间,并且可以动态
扩容
,是一个动态类型的
十一.
·
2023-11-27 16:57
java
淘宝天猫上卖的128gU盘只要38,39,256G只要49是真的吗?
我感觉肯定是
扩容
的。后来,有天猫店在卖,标149.9但是有个100的卷,我买了。第一时间存电视剧,存满,提示要5个小时,我存了3个多小时后暂停。然后尝试播放里边的文件,全部都不能放!
松松学习笔记
·
2023-11-27 13:02
2 MapReduce计算的流程-Hadoop
架构图1map端分块针对上传到
hdfs
上的文件,会针对文件进行分块(物理分块,固定大小64M,多余的则进行分,少的则不变),分块之后存储相应的datanode计算机的磁盘上面;把File划分成Block
汀沿河
·
2023-11-27 12:07
大数据
大数据
mapReduce
[个人笔记] Linux
扩容
LVM分区
Linux-运维篇第一章Linux
扩容
LVM分区Linux-运维篇下章内容前言预备内容LVM
扩容
新增第二块磁盘配置网卡,开启sshd服务,远程连接Linux格式化新磁盘,新建LVM分区LVM
扩容
分区,
扩容
文件系统
歪果仨
·
2023-11-27 11:11
Linux
linux
运维
[个人笔记] Linux虚拟机安装VMware Tools插件
运维篇第二章Linux虚拟机安装VMwareTools插件Linux-运维篇系列文章回顾下章内容Linux虚拟机安装VMwareTools插件CentOS安装VM-Tools参考来源系列文章回顾第一章Linux
扩容
歪果仨
·
2023-11-27 11:11
Linux
linux
运维
[个人笔记] ssh-keygen和openssl工具的使用
Linux-运维篇系列文章回顾下章内容ssh-keygen和openssl工具的使用ssh-keygen笔记ssh-keygen生成密钥对openssl笔记openssl生成密钥对系列文章回顾第一章Linux
扩容
歪果仨
·
2023-11-27 11:41
Linux
linux
运维
[个人笔记] Linux facl扩展权限的用法
Linux-运维篇第五章Linuxfacl扩展权限的用法Linux-运维篇系列文章回顾Linuxfacl扩展权限的用法练习参考来源系列文章回顾第一章Linux
扩容
LVM分区第二章Linux虚拟机安装VMwareTools
歪果仨
·
2023-11-27 10:37
Linux
linux
运维
java基础之数组
在js中,数组没有数据类型限制,并且可以随意
扩容
。Java中的数组就是将相同数据类型的数据进行存储的数据格式。并且存储到数组中的数据都会自动生成一个编号,称之为索引值或者下标。然后数组
1 2 3 一起追梦
·
2023-11-27 10:58
笔记
java
java
Centos7 Ceph mimic 版部署实践(CephFS)
最小化配置需要1台ceph管理节点,三台物理机作为ceph节点官方多集群
扩容
图2物理机配置team网络配置(主要讲述物理机网卡team聚合配置方式,如不需要做网卡聚合,可跳过)a.查看所有的网络连接b.
Gradet丶
·
2023-11-27 10:42
Ceph
ceph
运维
linux
LInux fork的写时复制(copy on write)
在读《Redis设计与实现》关于哈希表
扩容
的时候,发现这么一段话:执行BGSAVE命令或者BGREWRITEAOF命令的过程中,Redis需要创建当前服务器进程的子进程,而大多数操作系统都采用写时复制(
富士康质检员张全蛋
·
2023-11-27 08:40
Linux
性能优化
Redis
linux
redis
spark篇(一)——Spark核心概念与操作
它的优势有三个方面:通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架;基于内存数据可缓存在内存中,特别适用于需要迭代多次运算的场景;与Hadoop集成能够直接读写
HDFS
许志辉Albert
·
2023-11-27 08:53
上一页
40
41
42
43
44
45
46
47
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他