E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop大数据集群技术
ClickHouse原理剖析
1.ClickHouse简介ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于
Hadoop大数据
体系,最核心的特点是极致压缩率和极速查询性能。
Hello.Reader
·
2023-07-17 15:37
clickhouse
oracle
数据库
大数据复习笔记之hadoop浅析(二)
Hadoop的核心组件p21核心组件分析:Hadoop的核心组件分为:HDFS(分布式文件系统)、MapRuduce(分布式运算编程框架)、YARN(运算资源调度系统)Hadoop业务的整体开发流程:下面按《
Hadoop
席八
·
2023-07-17 06:17
大数据
大数据
LVS FULLNAT模式
宗旨:使用
集群技术
和Linux操作系统实现一个高性能、高可用的服务器.很好的可伸缩性(Scalability)很好的可靠性(Reliab
造夢先森
·
2023-07-16 10:40
云计算虚拟化
Linux/Unix
计算机网络
lvs
服务器
网络
LVS集群原理及配置
它工作在网络层,可以实现高性能,高可用的服务器
集群技术
。它廉价,可把许多低性能的服务器组合在一起形成一个超级服
Insistw
·
2023-07-15 21:03
linux
怎样进行大数据的入门级学习?掌握Linux,你就已经成功了一半
1.Linux基础和分布式
集群技术
学完此阶段可掌握的核心能力:熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构;学完此阶段可解决的现实问题
taya_a
·
2023-07-15 19:27
大数据
spark
Hadoop
程序员
linux
基于Hadoop的网上购物行为分析设计与实现
本研究基于淘宝用户行为的开源数据展开大数据分析研究,通过
Hadoop大数据
分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析,为电商销售提供可行性决策。
王小王-123
·
2023-07-15 11:01
hadoop
大数据
分布式
电商大数据分析
基于Hadoop的电商数据分析
Centos7下基于Nginx+Keepalived搭建高可用负载均衡
1、Nginx+Keepalived安装2、在CentOS添加虚拟IP,假设为192.168.1.100【Linux运维-
集群技术
进阶】CentOS7添加虚拟IP(VIP)2、配置Keepalivedmkdir
树蜂
·
2023-07-14 06:08
一、rocketmq整体架构及nameServer源码分析
RocketMQ源码深入剖析1RocketMQ介绍RocketMQ是阿里巴巴集团基于高可用分布式
集群技术
,自主研发的云正式商用的专业消息中间件,既可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积
JavaHxg
·
2023-07-13 16:57
rocketmq
rocketmq
架构
mysql
集群技术
_MySQL集群新技术——MGR
有一种技术,让MySQL复制不再是ChangeMasterTo,也不再让你手动Failover,而且还能多点写入,你听了会不会很兴奋?天下还有这样的复制技术么?背景确保数据库稳定运行是DBA核心价值之一。通过搭建灾备库,利用复制技术同步主库的数据更新,在主库不可用时,启用备库可以快速恢复数据库服务,减少对业务的影响,同时,备库也可用于负载均衡、数据备份、统计报表等场景。带来诸多好处的同时,自然也有
大黄要长途旅行
·
2023-06-20 23:19
mysql集群技术
大数据hadoop生态技术简介
Hadoop生态是指围绕
Hadoop大数据
处理平台形成的一系列开源软件和工具,用于支持大规模数据处理、存储、管理、分析和可视化等应用场景。
三水写代码
·
2023-06-18 22:05
大数据
大数据
hadoop
数据库原理与应用第10章作业
(单选题,4分)事务日志的用途是()A.事务处理B.实现数据库的安全性C.进行数据库恢复或并发操作D.实现数据共享(单选题,4分)下列关于数据库镜像叙述不正确的是()A.可以通过磁盘镜像来实现B.通过
集群技术
来实现
qing影
·
2023-06-16 18:40
数据库理论
数据库
每周一书《Spark与
Hadoop大数据
分析》分享!
Spark与
Hadoop大数据
分析比较系统地讲解了利用Hadoop和Spark及其生态系统里的一系列工具进行大数据分析的方法,既涵盖ApacheSpark和Hadoop的基础知识,又深入探讨所有Spark
BAO7988
·
2023-06-12 23:37
大数据
大数据
大数据分析
大数据开发
大数据学习
spark
负载均衡(LB)简略介绍
1负载均衡相关概念【1】负载均衡(LoadBalance)是
集群技术
(Cluster)的一种应用。指将负载(工作任务)进行平衡、分摊到多个单元操作上进行运行,从而提高并发处理能力。
徐一435
·
2023-06-12 02:56
企业实战
负载均衡+高可用
linux
运维
负载均衡
采用
集群技术
进行三维模型轻量化处理的实现方法
采用
集群技术
进行三维模型轻量化处理的实现方法三维模型轻量化是将复杂的三维模型转换为更简单的形式,以便在计算机上快速处理和显示。
3D探路人
·
2023-06-11 10:03
三维工厂
算法
人工智能
大数据
Hadoop环境搭建(保姆级教学)
Hadoop大数据
Hadoop环境搭建一、基本配置二、任务部署三、Hadoop搭建的安装包四、知识讲解简单说明:VMware版本:linux版本:1、linux系统的安装:1、安装VMware2、linux
Nuyoahㅤㅤ
·
2023-06-11 07:19
大数据
hadoop
大数据
分布式
链路聚合(二层和三层)
本章节将介绍通过链路聚合技术与堆叠、
集群技术
实现网络带宽提升与高可靠性保障。学习本章内容后,我们应
卓应
·
2023-06-10 16:10
HCIA学习指南
网络
【新版】系统架构设计师 - 软件可靠性分析与设计
软件可靠性分析与设计考点摘要可靠性相关基本概念软件可靠性分析可靠性指标串联系统(可靠性)并联系统(可靠性)混合系统(可靠性)软件可靠性建模软件可靠性管理软件可靠性设计N版本程序设计恢复块方法N版本程序设计和恢复块方法对比防卫式程序设计双机容错技术
集群技术
软件可靠性测试与评价架构
WorkLee
·
2023-06-10 14:03
软考
-
系统架构设计师
软考
系统架构设计师
HCIE(第四天总结)---iStack、 CSS 、Eth-Trunk、 M-LAG
(3个优点)3、iStack基本概念4、堆叠的步骤5、堆叠配置二、CSS集群1、定义2、CSS特点:3、CSS与iStack的区别4、为什么要使用
集群技术
?
wyq小白
·
2023-06-10 09:11
HCIE
网络
iStack
CSS
Eth-Trunk
M-LAG
Hadoop大数据
分析技术(伪分布式搭建)
一.安装JDK和配置SSH免密登录(1)准备软件(2)解压压缩包tar-zxvfjdk-8u221-linux-x64.tar.gz(3)在此处我们配置系统环境变量,使用命令:vim/etc/profile(4)在最后加入以下两行内容:exportJAVA_HOME=/root/software/jdk1.8.0_221#配置Java的安装目录exportPATH=$PATH:$JAVA_HOME
哈都婆
·
2023-06-09 05:40
hadoop本憨豆婆
hadoop
hdfs
linux
【i阿极送书——第三期】《
Hadoop大数据
技术基础与应用》
系列文章目录作者:i阿极作者简介:Python领域新星作者、多项比赛获奖者:博主个人首页如果觉得文章不错或能帮助到你学习,可以点赞收藏评论+关注哦!如果有小伙伴需要数据集和学习交流,文章下方有交流学习区!一起学习进步!文章目录系列文章目录1、好书推荐2、内容简介3、目录4、章节介绍5、活动1、好书推荐2、内容简介本书由浅入深地介绍了Hadoop技术生态的重要组件,让读者能够系统地了解大数据相关技术
i阿极
·
2023-06-06 22:32
i阿极送书
大数据
hadoop
12年经验的大数据架构师,想和你谈谈…
菜鸟窝大数据讲师先后从事通信协议栈(C语言)、J2EE、Android等开发,曾在Nokia主导大型网关集群研发、近几年主要从事大数据及相关系统架构设计、擅长
Hadoop大数据
生态,尤其擅长图数据库及相关处
菜鸟窝
·
2023-04-20 10:42
基于
Hadoop大数据
分析应用场景与实战
一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom:Hadoop当前大数据管理标准之一,运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发,允许将数据载入内存作反复
Java大生
·
2023-04-20 00:47
大数据高级架构师-王明龙-KYLIN-DAY01-概述
ApacheKylin概述ApacheKylin是
Hadoop大数据
平台上的一个开源OLAP引擎。它采用多维立方体预计算技术,可以将大数据的SQL查询速度提升到亚秒级别。
IT灵魂摆渡者
·
2023-04-19 03:11
KYLIN
最新
hadoop大数据
零基础入门新手学习视频教程
最新在学习hadoop、storm大数据相关技术,发现网上hadoop、storm相关学习视频少之又少,我这里整理了传智播客段海涛老师的hadoop学习视频,给大家学习。视频下载地址:http://t.cn/EfRxlga-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-h
山泥若丶
·
2023-04-16 16:39
Oracle RAC
集群技术
概念综述
1.
集群技术
#集群:指的是一组相互独立的,通过高速网络互联的计算机,构成了一个组,并以单一系统的模式加以管理。#一个客户与集群相互作用时,集群像是一个独立的服务器。
ora_Totocat
·
2023-04-15 15:53
oracle
网络
数据库
database
dba
RAC
集群技术
(2)
一、OCR是一个存储着集群节点列表信息和实例对节点镜像信息的文件,OCR还包含有关你自定义的资源Oracle集群资源配置文件信息,VotingDisk的数据也备份在OCR;VotingDisk:记录节点成员信息,一个节点必须保证在任何时候都能访问至少一半数量的VotingDisk。为了避免同时丢失多个VotingDisk,每个VotingDisk放在一个共享存储设备上,并且该存储设备不与其他Vot
我的小龙她会飞
·
2023-04-15 15:48
oracle
Spring Cloud 阿里RocketMQ Binder
它基于高可用分布式
集群技术
,提供低延迟、高稳定性的消息发布和订阅服务。
吕布辕门
·
2023-04-15 02:47
spring
cloud
spring
cloud
java
后端
一、负载均衡集群概述
1集群(cluster)技术是一种较新的技术,通过
集群技术
,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
胖虎喜欢小红
·
2023-04-11 00:48
MongoDB主从复制
主从复制:数据库同步备份的
集群技术
´原理:具备两个或多个服务器,一个为主节点,负责处理客户端请求,其余从节点用于映射主节点数据,主节点记录在其上执行的所有操作,从节点定期轮询主节点获得的这些操作,然后执行这些操作
雪侯_edeb
·
2023-04-09 19:16
hadoop架构总结(三)
hadoop架构总结(三)摘自机械工业出版社出版的《
hadoop大数据
技术基础及应用》,个人学习总结。
苍鹰嘉措
·
2023-04-09 15:53
hadoop
yarn
时隔五年终于恢复了这个博客
回头看看上一篇文章还是5年前,那个时候自己还在对着
hadoop大数据
体系不断的折腾。五年过去了,自己也从大数据,迈向了云计算和AI的大潮中。最最近ChatGPT掀起来的浪潮,也最终"迫
wheel_Y
·
2023-04-09 10:47
hugo
blog
github
pages
【学习笔记】尚硅谷
Hadoop大数据
教程笔记
本文是尚硅谷Hadoop教程的学习笔记,由于个人的需要,只致力于搞清楚Hadoop是什么,它可以解决什么问题,以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。一、Hadoop入门大数据的特点:Volume(大量)Velocity(高速)Variety(多样)Value(低价值密度)1.Hadoop概念是一个分布式系统基础架构2.Hadoop优势高可靠高扩展性高效性高容错性3
m0_67403013
·
2023-04-09 07:19
面试
学习路线
阿里巴巴
java
java进阶
后端
一文详解 LVS、Nginx 及 HAProxy 工作原理( 附大图 )
当前大多数的互联网系统都使用了服务器
集群技术
,集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务,这些集群可以是Web应用服务器集群,也可以是数据库服务器集群,还可以是分布式缓存服务器集群等等
JAVA伯乐
·
2023-04-09 06:42
一文走进
hadoop大数据
技术生态!
一文走进
hadoop大数据
技术生态!
大唐有趣的小胡
·
2023-04-08 03:59
hadoop
大数据
hdfs
linux
运维
Hadoop大数据
框架研究(6)——Hadoop环境部署问题汇总
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。A.使用vim编辑文件时,保存提示:“Foundaswapfilebythename”原因:之前编辑此文件时出现未知异常,产生了一个*.swp文件,需要删除此隐藏文件才能继续操作目标文件。尤其是使用不同用户编辑同一文件。解
gisxy
·
2023-04-08 03:22
Hadoop
Linux
Hadoop
企业级
Hadoop大数据
平台实战(1)——认识Hadoop
文章目录一、什么是Hadoop二、Hadoop的优点三、核心架构四、HDFS交互关系五、Hadoop的常用模块六、HADOOP生态圈以及各组成部分的简介七、Hadoop的配置文件一、什么是HadoopHadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hado
CapejasmineY
·
2023-04-08 03:51
Linux企业实战
云计算基础——云存储技术简介
-2NAS多文件大量写入的应用数据大量读写的应用多个使用端都希望读取同一个文件的应用云存储技术的应用及其面临的问题云存储的应用领域备份归档分配共享协作云存储技术面临的问题互联网宽带的发展应用存储的发展
集群技术
肉肉肉肉肉肉~丸子
·
2023-04-06 19:13
云计算
云计算
【软考系统架构设计师】第八章 Web架构(知识点必知必会)
【软考系统架构设计师】第八章Web架构(知识点必知必会)第八章Web架构(知识点必知必会)【软考系统架构设计师】第八章Web架构(知识点必知必会)一.负载均衡与
集群技术
1)什么是负载均衡技术2)什么是
集群技术
进击的横打
·
2023-04-05 11:30
#
系统架构设计师---必知必会
nginx
数据库
memcached
软考架构师
读完 RocketMQ 源码,我学会了如何优雅的创建线程
RocketMQ是一款开源的分布式消息系统,基于高可用分布式
集群技术
,提供低延时、高可靠的消息发布与订阅服务。
m0_智者阳光
·
2023-04-05 08:17
后端
java-rocketmq
rocketmq
java
分布式
职场和发展
flume安装配置与应用
若需要相应的其他工具的配置,详细请看《
hadoop大数据
生态圈工具配置与应用》文章目录1、flume安装配置2、初步自定义采集方案测试flume负载均衡测试案例日志采集1、flume安装配置解压出来,mv
侬本多情。
·
2023-04-05 03:24
#
flume
big
data
hadoop
企业级
Hadoop大数据
平台实战(1)——基础知识说明
1.什么是hadoop?Hadoop是一个由Apache基金会所开发的分布式系统基础架构用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFSHDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上而且它提供高吞吐量(highthro
温柔梦9527
·
2023-04-04 19:09
linux运维——企业实战
负载均衡集群
1、集群(cluster)技术是一种较新的技术,通过
集群技术
,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
南有乔木_779f
·
2023-04-04 09:20
分布式架构原理
分布式架构原理1分布式架构的演进过程集群:是一种较新的技术,通过
集群技术
,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。
奔跑的蜗牛人
·
2023-04-04 08:07
软件架构
分布式
深度学习
Linux虚拟服务器-LVS-
集群技术
一、LVS(Linuxvirtualserver)虚拟服务器概述LVS是Linux上一种负载均衡的软件集群定义集群是一组互联的计算机。集群像一个大型独立的服务器,集群配置用于提高可用性和可伸缩性1.1集群功能分类LB(LoadBalancing)利用负载均衡算法处理计算能力(增加处理能力),有一定高可用能力,但不是高可用集群,是以提高服务的并发处理能力为根本着眼点HA(HighAvailabili
benziwu
·
2023-04-04 03:12
LVS
服务器
linux
lvs
Hadoop大数据
组件——HDFS
HDFS的优缺点1.优点1.高容错性:数据可字宗保存多个副本,通过增加副本的形式,提高容错性。2.适合处理大数据:数据规模可达到GB,TB甚至是PB级的大数据。文件规模可达到百万。3.可构建在廉价机器上:通过多副本机制,提高可靠性。2.缺点1.不适合低延时数据的访问:毫秒级的存储数据时难以实现的。2.无法高效对大量小文件进行存储。小文件存储的寻址时间会超过读取时间,违反了HDFS的设计目标。同时数
人间咸鸭蛋。
·
2023-04-03 22:58
hdfs
big
data
hadoop
Hadoop大数据
系统架构(深入浅出)
目录1.Hadoop生态体系2.Hadoop集群硬件架构3.Hadoop体系分层功能架构参考资料导读:从资源管理角度来看,当前的大数据系统架构主要有两种:一种是MPP数据库架构,另一种是Hadoop体系的分层架构。这两种架构各有优势和相应的适用场景。传统的系统已无法处理结构多变的大数据,而高性能硬件和专用服务器价格昂贵且不灵活,Hadoop因此应运而生。Hadoop使用互连的廉价商业硬件,通过数百
赵孝正
·
2023-04-03 21:42
big
data
hadoop
大数据
系统架构
数据库MySQL(六)MySQL
集群技术
,一主一从,双主双从
目录一、
集群技术
1、集群目的2、类型3、MySQL复制技术原理示意图二、集群案例例1:一主一从(1)(M-S)例2:一主一从(2)(M-S)例3:双主双从(MM-SS)四台服务器一、
集群技术
1、集群目的负载均衡解决高并发高可用
Lxiyue888
·
2023-04-03 04:35
数据库
java
服务器
RocketMQ 设计原理与最佳实践
RocketMQ是一款开源的分布式消息系统,基于高可用分布式
集群技术
,提供低延时的、高可靠的消息发布与订阅服务。
Java程序员石头
·
2023-04-02 19:33
handoop三件套
Hadoop大数据
简介_只是甲的博客-CSDN博客_
hadoop大数据
HDFS教程(超详细)_西门催学不吹雪的博客-CSDN博客_hdfs教程MapReduce详细教程_西门催学不吹雪的博客-CSDN博客
乒乒乓乓丫
·
2023-04-02 14:42
大数据
big
data
读完 RocketMQ 源码,我学会了如何优雅的创建线程
RocketMQ是一款开源的分布式消息系统,基于高可用分布式
集群技术
,提供低延时、高可靠的消息发布与订阅服务。
七包辣条
·
2023-04-02 01:58
编程
计算机
程序员
java-rocketmq
rocketmq
jvm
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他