E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop高可用
浅谈MapReduce
从今天开始,本人将会开始对另一项技术的学习,就是当下炙手可热的
Hadoop
分布式就算技术。目前国内外的诸多公司因为业务发展的需要,都纷纷用了此平台。
Android路上的人
·
2024-09-16 04:40
Hadoop
分布式计算
mapreduce
分布式
框架
hadoop
KVM+GFS分布式存储系统构建KVM
高可用
一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM
高可用
。利用GlusterFs分布式复制卷,对KVM虚拟机文件进行分布存储和冗余。
henan程序媛
·
2024-09-16 00:17
分布式
GFS
高可用
KVM
Hadoop
Apache
Hadoop
是一个开源的分布式计算框架,主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜,松柏长青
·
2024-09-16 00:16
后端
大数据
hadoop
大数据
分布式
Hadoop
架构
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代,数以万计用户的互联网服务时时刻刻都在产生大量的交互,要处理的数据量实在是太大了,以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现,在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合,
henan程序媛
·
2024-09-16 00:14
hadoop
大数据
分布式
分享一个基于python的电子书数据采集与可视化分析
hadoop
电子书数据分析与推荐系统 spark大数据毕设项目(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社
·
2024-09-15 20:02
Python项目
大数据
大数据
python
hadoop
计算机毕业设计选题
计算机毕业设计源码
数据分析
spark毕设
老生常谈:MySQL
高可用
架构
引言“
高可用
”是互联网一个永恒的话题,先避开MySQL不谈,为了保证各种服务的
高可用
有几种常用的解决方案。服务冗余:把服务部署多份,当某个节点不可用时,切换到其他节点。
我有一头小花驴
·
2024-09-15 14:24
mysql
架构
数据库
hbase介绍
hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用
hadoop
hdfs作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-
·
2024-09-15 13:06
云计算+大数据
hbase
MySQL MHA
一、MySQLMHA
高可用
环境概述1.什么是MHAMHA(MasterHighAvailability)是一款用于MySQL数据库集群的
高可用
解决方案,主要解决MySQL单点故障问题。
pokemon..
·
2024-09-15 12:33
mysql
数据库
大数据毕业设计
hadoop
+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。我先来介绍一下这些东西怎么用,文末抱走。(1)Python所有方向的学习路线(
2401_84572577
·
2024-09-15 10:20
程序员
大数据
hadoop
人工智能
【Linux 从基础到进阶】Kubernetes 集群搭建与管理
它提供了容器编排功能,能够管理大量的容器实例,并支持应用的自动扩展、
高可用
性和自愈能力。
爱技术的小伙子
·
2024-09-15 03:00
Linux从基础到进阶
linux
kubernetes
运维
Spark集群的三种模式
文章目录1、Spark的由来1.1
Hadoop
的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置
高可用
运行模式
MelodyYN
·
2024-09-15 01:16
#
Spark
spark
hadoop
big
data
Redis 集群
目录Redis主从复制Redis主从复制简介Redis主从复制的作用Redis主从复制流程搭建Redis主从复制master节点slave节点验证哨兵故障转移机制部署哨兵Redis集群作用数据分区
高可用
確定饿的猫
·
2024-09-14 23:36
redis
linux
月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线
申请到了校图书馆的考研专座,决定暂时放弃就业,先准备考研,买了数学和408的资料书3月9日-3月13日,因疫情原因,宿舍区暂封,这段时间在准备考研,发现内容特别多3月13日-3月19日,大部分时间在刷
Hadoop
「已注销」
·
2024-09-14 23:30
个人总结
hadoop
Redisson分布式锁实现原理和使用
redis单机模式分布式锁可靠,稳定性更高,支持集群模式,支持锁根据业务时长自动延迟释放redis普通分布式锁存在一定的缺陷——它加锁只作用在一个Redis节点上,如果通过sentinel和cluster保证
高可用
牧竹子
·
2024-09-14 22:25
springboot
#
redis
Redisson
redis
HBase介绍
HBase是GoogleBigtable的开源实现,它利用
Hadoop
HDFS作为其文件存储系统,利用
Hadoop
MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
mingyu1016
·
2024-09-14 21:47
数据库
Redis的持久化和
高可用
性
目录一、淘汰策略1、背景2、淘汰策略二、持久化1、背景2、fork进程写时复制机制3、Redis持久化方式1、aof2、rdb三、
高可用
1、主从复制2、Redis哨兵模式3、Rediscluster集群一
小辛学西嘎嘎
·
2024-09-14 21:44
redis
数据库
缓存
Java中的大数据处理框架对比分析
本文将重点介绍Apache
Hadoop
、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者
·
2024-09-14 20:41
java
开发语言
PostgreSQL进阶教程
进阶教程目录事务和并发控制事务事务隔离级别锁高级查询联合查询窗口函数子查询CTE(公用表表达式)数据类型自定义数据类型数组JSON高级索引部分索引表达式索引GIN和GiST索引性能调优查询优化配置优化备份与恢复物理备份逻辑备份扩展与插件PostGISpg_cron集群与
高可用
爱分享的码瑞哥
·
2024-09-14 19:05
postgresql
掌握检索技术:构建高效知识检索系统的架构与算法23
一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、
高可用
性和性能。比如需要考虑的基本点:分布式架构:水平扩展:采用分布式架构,将检索任务分布到多个节点上,实现水平扩展。
是小旭啊
·
2024-09-14 13:50
人工智能
掌握检索技术:构建高效知识检索系统的架构与算法21
一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、
高可用
性和性能。比如需要考虑的基本点:分布式架构:水平扩展:采用分布式架构,将检索任务分布到多个节点上,实现水平扩展。
是小旭啊
·
2024-09-14 12:18
人工智能
Hadoop
windows intelij 跑 MR WordCount
一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9
Hadoop
分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven
piziyang12138
·
2024-09-14 12:33
命令行工具部署达梦数据库 DMDPC(BP 多副本架构)
解达梦数据库DPC集群的主要使用场景:DMDPC关注和解决的是大数据、计算与存储分离、
高可用
、支持全部的SQL标准、拥有完整的事务处理能力和集群规模能够动态伸缩的业务场景:大量的复杂查询操作要求优化器能够生成优良的执行计划
百代繁华一朝都-绮罗生
·
2024-09-14 06:39
数据库
架构
网络
DM8 分布计算集群(DMDPC)Docker 命令行部署指南
它不仅保留了传统单机数据库的大部分功能,还提供了分布式计算集群所特有的
高可用
性、高扩展性、高性能、高吞吐量以及对用户透明等高级特性。本文借助命令行工具部署DPC集群。
69岁法外狂徒
·
2024-09-14 06:36
docker
容器
数据库
分布式
Hadoop
学习第三课(HDFS架构--读、写流程)
1010ml,瓶子的规格200ml=>需要6个瓶子装完块的大小规格,只要是需要存储,哪怕一点点,也是要占用一个块的块大小的参数:dfs.blocksize官方默认的大小为128M官网:https://
hadoop
.apache.org
小小程序员呀~
·
2024-09-14 03:53
数据库
hadoop
架构
big
data
hadoop
启动HDFS命令
启动命令:/
hadoop
/sbin/start-dfs.sh停止命令:/
hadoop
/sbin/stop-dfs.sh
m0_67401228
·
2024-09-14 03:49
java
搜索引擎
linux
后端
【HDFS主从集群】存在两个独立的问题和解决方案
主从集群存在两个独立的问题和解决方案单点“主”的两个独立的问题以下是解决方案HA
高可用
方案:解决单点故障导致集群整体不可用问题Federation联邦机制:解决NN压力过大问题总结一般很多技术都是主从结构
流辉fglow
·
2024-09-14 03:48
大数据
#
HDFS
hdfs
java
hadoop
大数据
分布式
学习
云原生应用——软件的未来
传统的软件部署模式已经难以满足现代企业对于敏捷性、可伸缩性和
高可用
性的需求。因此,云原生应用应运而生,它代表了软件开发和运维的新范式,预示着软件的未来。什么是云原生应用?
快乐非自愿
·
2024-09-14 01:37
云原生
二进制方式部署K8s
高可用
集群
1二进制方式部署K8s
高可用
集群1.1kubeadm和二进制安装k8s适用场景分析kubeadm是官方提供的开源工具,是一个开源项目,用于快速搭建kubernetes集群,目前是比较方便和推荐使用的。
麻辣头马头
·
2024-09-13 13:22
kubernetes
容器
云原生
运维
服务器
docker
网络
【计算机毕设-大数据方向】基于
Hadoop
的电商交易数据分析可视化系统的设计与实现
博主介绍:✌全平台粉丝5W+,高级大厂开发程序员,博客之星、掘金/知乎/华为云/阿里云等平台优质作者。【源码获取】关注并且私信我【联系方式】最下边感兴趣的可以先收藏起来,同学门有不懂的毕设选题,项目以及论文编写等相关问题都可以和学长沟通,希望帮助更多同学解决问题前言随着电子商务行业的迅猛发展,电商平台积累了海量的数据资源,这些数据不仅包括用户的基本信息、购物记录,还包括用户的浏览行为、评价反馈等多
程序员-石头山
·
2024-09-13 13:19
大数据实战案例
大数据
hadoop
毕业设计
毕设
Kafka 应用场景
数据复制:Kafka允许在多个集群之间实现无缝数据复制,确保
高可用
性和
zinuxer
·
2024-09-13 12:15
kafka
分布式
分布式离线计算—Spark—基础介绍
原文作者:饥渴的小苹果原文地址:【Spark】Spark基础教程目录Spark特点Spark相对于
Hadoop
的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor
测试开发abbey
·
2024-09-13 11:11
人工智能—大数据
spark常用命令
hadoop
@wyy:/app/
hadoop
/spark100$bin/spark-submit--
我是浣熊的微笑
·
2024-09-13 10:38
spark
spark启动命令
hadoop
启动:cd/root/toolssstart-dfs.sh,只需在
hadoop
01上启动stop-dfs.sh日志查看:cat/root/toolss/
hadoop
/logs/
hadoop
-root-datanode-
hadoop
03
学不会又听不懂
·
2024-09-13 10:36
spark
大数据
分布式
Redis
高可用
目录持久化主从复制哨兵Cluster集群RDB持久化手动触发自动触发RDB执行流程RDB载入AOF持久化执行流程命令追加文件写入和文件同步appendfsyncalwaysappendfsyncnoappendfsynceverysecond文件重写文件重写流程载入对比nginx、tomcat、mysql等服务都具有预防单点故障、提高整体性能和安全性的功能,当然,Redis也不例外在Redis中,
確定饿的猫
·
2024-09-13 04:20
redis
数据库
linux
编程常用命令总结
编程命令大全1.软件环境变量的配置JavaScalaSpark
Hadoop
Hive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523
·
2024-09-13 02:42
Linux
BigData
大数据
Redis7_16 高阶篇 第七章 Redis中的缓存预热/缓存雪崩/缓存击穿/缓存穿透问题详解
实现缓存雪崩定义引起缓存雪崩的原因规避/解决方案1.Redis中key设置为永不过期或过期时间错开2.Redis缓存集群实现
高可用
3.多缓存结合预防雪崩4.服务降级5.使用云服务缓存击穿定义引起缓存击穿的原因规避
孤尘Java
·
2024-09-13 01:32
Redis从小白到精通
缓存
缓存预热/雪崩/穿透/击穿
MySQL中的数据同步至Redis的过程2.缓存雪崩Redis主机出现故障,或有大量的key同时过期大面积失效导致Redis不可用Redis中key设置为永不过期,或者过期时间错开Redis缓存集群实现
高可用
多缓存结合预防雪崩服务降级
当归. z Z
·
2024-09-13 00:29
Redis
缓存
Hadoop
常见面试题整理及解答
Hadoop
常见面试题整理及解答一、基础知识篇:1.把数据仓库从传统关系型数据库转到
hadoop
有什么优势?答:(1)关系型数据库成本高,且存储空间有限。
叶青舟
·
2024-09-12 19:24
Linux
hdfs
大数据
hadoop
linux
Oracle数据库中的Oracle Real Application Clusters是什么
OracleRAC的核心特点包括:
高可用
性:如果任何一个节点发生故障,其他节点可以继续处理请求,从而保持应用程序的连续运行。数据库实例之间的负载均衡可以自动进行,减少单
2401_85812053
·
2024-09-12 16:05
数据库
oracle
Eureka介绍与使用,超级详细
Eureka介绍与使用指南Eureka是由Netflix开发的一个RESTful服务,主要用于中间层服务的发现,具有
高可用
性、可扩展性和容错性。
康斯坦丁·奥尔基耶维奇·洛夫斯基
·
2024-09-12 14:21
eureka
KVM+GFS分布式存储系统构建 KVM
高可用
一、案例分析本案例主要使用KVM及GlusterFS技术,结合起来从而实现KVM
高可用
。利用GlusterFs分布式复制卷,对KVM虚拟机文件进行分布存储和冗余。
wkysdhr
·
2024-09-12 00:53
分布式
2025毕业设计指南:如何用
Hadoop
构建超市进货推荐系统?大数据分析助力精准采购
⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于
hadoop
的超市进货推荐系
计算机编程指导师
·
2024-09-11 18:08
Java实战集
Python实战集
大数据实战集
课程设计
hadoop
数据分析
spring
boot
java
进货
python
数据库服务器运维最佳实践
以下将从硬件选择、操作系统和文件系统优化、数据库版本选择、参数优化、数据备份与恢复、性能监控与调优、安全管理以及
高可用
性和灾难恢复等方面详细介绍数据库服务器运维的最佳实践。
bigbig猩猩
·
2024-09-11 14:14
数据库
运维
服务器
eureka的多级缓存
采用的是AP的模式,更加注重数据的
高可用
2、服务端和客户端之间的服务注册信息获取服务端启动之后,客户端每隔30s会主动将自己的信息注册到服务端同时客户端也会每隔30s主动获取服务端(注册中心)的注册表,
chuixue24
·
2024-09-11 12:54
微服务
eureka
使用docker部署MongoDB数据库
最近由于工作需要搭建MongoDB数据库:将解析的车端采集的数据写入到数据库,由于MongoDB
高可用
、海量扩展、灵活数据的模型,因此选用MongoDB数据库;由于现公司只有服务器,因此考虑容器化部署MongoDB
数据小白的进阶之路
·
2024-09-11 10:45
数据库
docker
mongodb
【架构师之路】四、系统架构
高并发,大流量Google日均PV数35亿,日均IP访问数3亿微信在线用户数10亿天猫双十一活动一天交易额3000亿
高可用
系统7*24小时不间断服务。大型互联网站的宕机事件通常会成为新闻焦点。
蜗牛互联网
·
2024-09-11 10:44
架构
Java
数据库
运维
Hadoop
Common 之序列化机制小解
这不过此种序列化虽然跨病态兼容性强,但是因为存储过多的信息,但是传输效率比较低,所以
hadoop
弃用它。
猫君之上
·
2024-09-11 08:59
#
Apache
Hadoop
深入理解
hadoop
(一)----Common的实现----Configuration
一,
hadoop
的配置管理a,
hadoop
通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd
·
2024-09-11 08:59
深入理解----hadoop
【深入学习Redis丨第三篇】深入详解Redis
高可用
集群模式
前言本文我们将介绍Redis的四种模式及各自优缺点分析。Redis一共4种模式:1、主从复制模式2、(Sentinel)哨兵模式3、(Cluster)集群模式4、代理模式文章目录前言1.**主从模式****1.1简介****1.2工作机制**2.**哨兵模式****2.1简介****2.2工作机制****2.3注意点**3.**Cluster模式****3.1简介****3.2工作机制****3.
陈橘又青
·
2024-09-11 00:04
深入学习Redis
学习
redis
数据库
高可用
集群
【脚手架 第一篇章】介绍一下若依微服务版框架
它集成了众多微服务特性,如服务发现、配置管理、负载均衡等,适合需要高可扩展性和
高可用
性的企业级应用。二、技
蜗牛 | ICU
·
2024-09-10 23:27
脚手架专栏
微服务
架构
云原生
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他