E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hdfs基础架构
大数据平台组件日常运维操作说明(Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat)
Hadoop日常运维操作说明
hdfs
生产环境hadoop为30台服务器组成的集群,统一安装配置,版本号为2.7.7部署路径:/opt/hadoop启动用户:hadoop配置文件:/opt/hadoop/
love6a6
·
2024-01-25 07:12
大数据
java-zookeeper
运维
Hadoop
HDFS
实现原理图文详解
一、
HDFS
体系结构1.1
HDFS
简介Hadoop分布式文件系统(
HDFS
)是运行在通用硬件(commodityhardware)上的分布式文件系统(DistributedFileSystem)。
禅与计算机程序设计艺术
·
2024-01-25 07:49
基础架构
之分布式配置中心
随着项目的复杂度越来越高,微服务的盛行,各个中间件相互配合并发挥其优势,各种配置是避免不了的,以前尝试过配置放在文件,后来springcloud也推出了自己的springcloudconfig配置组件,功能上没有问题,但真正使用起来还是不顺手,顺势而为,携程开发部门开源了一套配置平台,官方介绍详见https://github.com/ctripcorp/apollo,这篇文章主要介绍安装及Java
架构师联盟
·
2024-01-24 23:50
k8s图形化管理工具rancher
简单来说,K8s(Kubernetes)为企业提供了一种一致的方式来管理任何计算
基础架构
,Rancher则是用于管理位于任何位置的Kubernetes集群的完整平台。
相遇蟹堡王,尽享蟹黄堡
·
2024-01-24 20:23
kubernetes
rancher
容器
大数据小白初探
HDFS
架构原理:带你揭秘背后的真相(一)
目录1.前言2.
HDFS
架构2.1架构定义2.2揭秘架构2.3
HDFS
核心结构3.
HDFS
的优缺点3.1
HDFS
的优点3.2
HDFS
的缺点4.
HDFS
的应用场景5.总结1.前言前面的文章写了一篇,大数据方面的基础知识
程序员阿奇
·
2024-01-24 19:38
Hadoop
大数据
hdfs
架构原理
EditLog
checkpoint
FsImage
小白初探架构模式—常用的设计模式
2.4主从架构的示例3.主从架构设计的延伸3.1主备模式3.2主从复制3.3集群分片3.4异地多活4.总结1.前言作为一个架构设计小白,我们通常用了很多种工具,比如Mysql、Redis、Kafka、
Hdfs
程序员阿奇
·
2024-01-24 19:03
Hadoop
java
主从架构
设计模式
集群分片
主从复制
部署Hadoop集群
在node1节点执行,以root身份1:在VMware虚拟机集群上部署
HDFS
集群1)准备好hadoop安装包;目前最新3.3.4;了解:2)上传解压hadoop①:上传hadoop到node1节点;②
%HelloWorld%
·
2024-01-24 13:27
java
开发语言
啥,ui叫我做一个移动端好看的轮播--异形的Slide
先看效果,得实现两边的缩放和无线滚动实现方法我的
基础架构
是next.js+swiper下载swiper包yarnaddswiper下载后在页面中引用import{useEffect,useState}from"react
实习小子
·
2024-01-24 13:47
ui
javascript
开发语言
Hive 优化总结
Hive优化本质:
HDFS
+MapReduce问题原因:倾斜:分区:有的分区没有数据,有的分区数据堆积。(若按天分区,每一天数据差别大就叫倾斜。)
Byyyi耀
·
2024-01-24 10:25
hive
hadoop
数据仓库
Hive优化
《互联网项目实战》课件
(1)讲师介绍知一老师主讲项目实战课高级架构师擅长微服务系统
基础架构
RPC注册中心MQ分布式文件存储分布式K-V存储擅长互联网业务系统架构电商系统IM系统直播答题(2)初识电商项目淘宝核心流程首页taobao.com
琛哥的程序
·
2024-01-24 09:08
java
tomcat
spring
IDEA报错:No hostname could be resolved for the IP address 127.0.0.1, using IP address as host name.
NohostnamecouldberesolvedfortheIPaddress127.0.0.1,usingIPaddressashostname.Localinputsplitassignment(suchasfor
HDFS
files
唯一2333
·
2024-01-24 09:09
flink
kafka
idea
在苹果 M 系列芯片的 Mac 上无缝运行 Windows 11?微软想了两个主意
令不少用户感到惊喜的是,近日,微软更新了支持文档页面,为搭载M1、M2、M3芯片上的Mac计算机上运行Windows11提供两种选项:一是使用ParallelsDesktop;二是基于云的虚拟桌面
基础架构
CSDN资讯
·
2024-01-24 09:33
macos
microsoft
stm32
单片机
hbase 总结
HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统(
HDFS
)上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l
·
2024-01-24 08:24
大数据
hbase
Hbase原理、基本概念、基本架构
概述HBase是一个构建在
HDFS
上的分布式列存储系统;HBase是基于GoogleBigTable模型开发的,典型的key/value系统;HBase是ApacheHadoop生态系统中的重要一员,主要用于海量结构化数据存储
wyl9527
·
2024-01-24 08:24
Hbase
hbase
存储系统
Hadoop集群(第12期)_HBase简介及安装
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
weixin_30451709
·
2024-01-24 08:23
大数据
数据库
人工智能
HBase学习
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
mm_bit
·
2024-01-24 08:20
HBase
大数据
数据库
HBase简易安装和简介
可以直接使用本地文件系统也可使用Hadoop的
HDFS
文件存储系统。为了提高数据
滑过的板砖
·
2024-01-24 08:49
Hbase
HBase学习五:运维排障之宕机恢复
RegionServer主要负责用户的读写服务,进程中包含很多缓存组件以及与
HDFS
交互的组件,实际生产线上往往会有非常大的压力,进而造成的软件层面故障会比较多。
Studying!!!
·
2024-01-24 07:27
中间件
hbase
学习
运维
记一次Flink通过Kafka写入MySQL的过程
->sink,即从source获取相应的数据来源,然后进行数据转换,将数据从比较乱的格式,转换成我们需要的格式,转换处理后,然后进行sink功能,也就是将数据写入的相应的数据库DB中或者写入Hive的
HDFS
梦痕长情
·
2024-01-24 07:17
flink
kafka
mysql
Hadoop中HBase命令行操作
采用的底层存储为
HDFS
。使用Hbase客户端操作,执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据,清空表、退出Hbase命令行、停止
HDFS
服务。
m0_69595107
·
2024-01-24 06:05
Hadoop
hadoop
hbase
大数据
centos
Storm和hadoop对比及storm组件
stormhadoop实时流处理批处理无状态有状态使用zk协同的主从架构无主从zk架构每秒处理数万消息
HDFS
,MR数分钟,数小时不会主动停止终于完成的时候storm优点:跨语言,可伸缩,低延迟,秒级容错核心概念
smartjiang
·
2024-01-24 02:01
一份完整齐全的技术方案文档
2022年-[归一计划三期-用户中心三期第二阶段]技术方案部门:
基础架构
部时间:2022.02.251、背景描述技术方案的背景由于历史原因,旧服务存在很多代码不规范、冗余度高、扩展性差等问题,为了解决此类问题
明雨星云
·
2024-01-24 01:37
架构
文档
从字节跳动面试中快速胜出:五天三面,这份Java面试笔记功不可没
面试部门:北京的
基础架构
,后端开发一面:讲一讲hash表hash冲突了怎么办?(拉链)除了拉链还有吗?(开放地址法,不是很了解,听过)如果使用hash进行分布式存储有什么弊端?
技术琐事
·
2024-01-24 01:16
笔记
学习
java-ee
java
后端
Spring Boot和Spring的区别
一、SpringBoot的介绍简而言之,Spring框架为开发Java应用程序提供了全面的
基础架构
支持。它包含一些很好的功能,列如依赖注入和开箱即用的等模块。
筱~晨
·
2024-01-23 22:09
spring
spring
boot
java
高密数据中心卓越运维,更灵活助力企业 AI 就绪
AIGC的高速发展将企业对
基础架构
的需求推上了新的层次,根据中国通服数字基建产业研究院发布的《中国数据中心产业发展白皮书(2023)》报告,互联网行业客户对单机柜功率密度的要求较高,一般在6-8kW,金融行业处于中间
sunnywell111
·
2024-01-23 22:13
人工智能
运维
【大数据精讲】HBase基本概念与读写流程
目录基本概念概念数据模型NameSpace命名空间TableRowColumnTimeStampCell逻辑结构json物理存储结构
基础架构
Meta表架构RegionServer架构⭐️写流程⭐️读流程基本概念
话数Science
·
2024-01-23 20:15
大数据
面试
大数据
面试
基础篇-项目架构
基础架构
沿用spring架构模式,同时增加infrastructure-extension,对Quarkus的扩展和补充Domain领域模型和仓储接口,仅依赖于CDI接口和基本类库,逻辑不变,功能不变RepositoryDomain
jimmyz81
·
2024-01-23 18:21
ITSS、ITIL、ISO20000:哪个更适合你?
ITIL(信息技术
基础架构
库):起源于英国,I
IT课程顾问
·
2024-01-23 17:16
ITSS
ITIL4
人工智能
大数据
运维开发
运维
服务器
前端
后端
Hadoop集群配置及测试
配置文件hadoop102hadoop103hadoop104
HDFS
NameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNod
YUuuuME_
·
2024-01-23 11:07
hadoop
大数据
分布式
大厂大数据面试题收录(1)
7.那你能谈一下yarn的
基础架构
及调度流程吗?8.Hivesql到MapReduce转化的流程清楚吗?
后季暖
·
2024-01-23 11:49
java
开发语言
Spark解析JSON文件,写入
hdfs
一、用Sparkcontext读入文件,map逐行用Gson解析,输出转成一个caseclass类,填充各字段,输出。解析JSON这里没有什么问题。RDD覆盖写的时候碰到了一些问题:1.直接saveAsTextFile没有覆盖true参数;2.转dataframe时,还得一个一个字段显化才能转成dataframe;3.write时,一开始打算写text,说字段里不能含有long和int,换成str
gegeyanxin
·
2024-01-23 09:42
spark
json
hdfs
Gson
rdd转Dataframe
Hadoop基本介绍
1、Hadoop的整体框架Hadoop由
HDFS
、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统
HDFS
(HadoopDistributedFileSystem
w蕾丝
·
2024-01-23 08:53
DATAX的架构和运行原理
一.概念DATAX呢就是把各个不同构的数据库进行同步的过程,具体有
hdfs
hiveOracle等等吧。二.架构1.设计原理显而易见从强连通图到星形图,大大的简化了工作量。
加林so cool
·
2024-01-23 08:37
架构
Sqoop数据导入到Hive表的最佳实践
Sqoop是一个开源工具,用于在Hadoop生态系统中的数据存储(如
HDFS
)和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~
·
2024-01-23 07:35
sqoop
hive
sqoop
hadoop
cdh6.3.2的hive配udf
背景大数据平台的租户要使用udf,他们用beeline连接,意味着要通过hs2,但如果有多个hs2,各个hs2之间不能共享,需要先把文件传到
hdfs
,然后手动在各hs2上createfunction。
zdkdchao
·
2024-01-23 07:02
hive
hadoop
数据仓库
flume案例
在构建数仓时,经常会用到flume接收日志数据,通常涉及到的组件为kafka,
hdfs
等。下面以一个flume接收指定topic数据,并存入
hdfs
的案例,大致了解下flume相关使用规则。
不加班程序员
·
2024-01-23 06:48
ETL
kafka
Hadoop相关
flume
大数据
etl
【技术预研】starRocks高性价比替换hbase
与
hdfs
等组件解耦,降低运维压力。starRock通过以下三个优化来提升性能:排序键相当于在存储的时候,选择某一列或者某
偏振万花筒
·
2024-01-23 03:00
hbase
数据库
大数据
starRocks
Hbase
等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)HBASE相比于其他NoSQL数据库(mongodb、redis、cassendra、hazelcast)的特点:Hbase的表数据存储在
HDFS
Cool_Pepsi
·
2024-01-23 02:12
大数据
hbase
Hadoop --
HDFS
1.什么是Hadoophadoop中有3个核心组件:分布式文件系统:
HDFS
——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi
·
2024-01-23 02:42
大数据
hdfs
hadoop
【漏洞复现】CloudPanel makefile接口远程命令执行漏洞(CVE-2023-35885)
它提供了一个集中式平台,用于管理云
基础架构
的各个方面,包括(VM)、存储、网络和应用程序。
李火火安全阁
·
2024-01-23 02:20
漏洞复现
CloudPanel
【AI】深度学习在编码中的应用(4)
目录一、基于自编码器的架构二、基于可逆网络的架构三、基于GAN模型的架构四、多层结构图像压缩框架今天学习和梳理
基础架构
设计的4种模式:一、基于自编码器的架构在人工智能应用中,自编码器(Autoencoder
giszz
·
2024-01-23 00:34
人工智能
人工智能
设计一个基于flask的高并发高可用的查询ip的http服务
结构设计
基础架构
为flask+gunicorn+负载均衡,负载均衡分为阿里云硬件负载均衡服务和软负载nginx。gunicorn使用supervisor进行管理。
职场亮哥
·
2024-01-22 21:21
基础架构
即代码 | 亚马逊如何在现实生活中实践 DevOps
当我在2005年作为开发人员加入亚马逊时(那时AmazonWebServices还不存在),我从公司领了一个传呼机(如图1所示)。在亚马逊,开发人员不仅要设计实现一个具体的服务,还要负责这个服务的部署和管理。为了完成运营任务,开发人员需要轮流“值班”,随时准备故障诊断和处理。传呼机就是值班用的。图1:亚马逊发给员工值班用的传呼机这一切表明,亚马逊在“DevOps”这个术语出现之前就已经在实现Dev
亚马逊云开发者
·
2024-01-22 20:32
devops
架构设计
微服务
大数据之使用Flume监听本地文件采集数据流到
HDFS
本文介绍Flume监听本地文件采集数据流到
HDFS
我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转,写的也非常详细】任务一:在Master节点使用Flume采集/data_log
十二点的泡面
·
2024-01-22 19:54
Flume
大数据
大数据
flume
hdfs
大数据之使用Flume监听端口采集数据流到Kafka
本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到
HDFS
【点击即可跳转,写的也非常详细】任务一:实时数据采集前摘:Flume是一种分布式、高可靠、高可用的数据收集系统
十二点的泡面
·
2024-01-22 19:53
Flume
大数据
flume
关于云计算你必须知道的一些事(一)
1、超融合
基础架构
(Hyper-ConvergedInfrastructure,或简称“HCI”)也被称为超融合架构,是指在同一套单元设备(x86服务器)中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术
money666
·
2024-01-22 19:17
Impala:基于内存的MPP查询引擎
1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎,它提供SQL语义,能查询存储在Hadoop的
HDFS
对许
·
2024-01-22 17:26
Java大数据
#
Hadoop及生态圈
#
数据湖仓
大数据
Hadooop和Hbase是什么关系
HBase通过Hadoop的
HDFS
(Hadoop分布式文件系统)和MapReduce实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
大数据平台软硬件规划
一.大数据集群节点规划1.
HDFS
集群节点规划假如业务系统数据量每天增量50T,保留周期30天,那么
HDFS
存储容量为50T*30天*3副本*2倍(数据源+清洗加工)=9000T=8.79P假如每个机器的磁盘是
小枫@码
·
2024-01-22 17:17
大数据架构师
大数据
hadoop-
hdfs
-API
处理hadoop配置文件及系统环境1.将hadoop所有jar包(除了..以外)添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。并将bin/hadoop.dll添入windows\system32文件夹内。需重启。3.配置windows系统环境变量HADOOP_HOME=hadoop所在包。HADOOP_USER_NAME=r
有七段变化
·
2024-01-22 15:43
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他