分布式存储集群服务

rancher部署docker和k8s步骤

Rancher部署k8s集群服务器规划：建议起码四台机器用来部署，机器为centos7.7及以上，所有机器都需要安装docker一台机器用来作为rancher服务端，一台机器用来作为k8smaster节点
李李子-·2023-12-03 13:24

一致性hash

应用领域（数据分布式存储）数据缓存集群（redis、memcache）hadoopESearch分布式数据库演进产生的问题1.本地缓存image.png由于用户访问量的上升，DB的并发数增加，对数据库造成巨大压力
半数的年·2023-12-03 10:32

3、kubeadm初始化Kubernetes集群

kubernetes.io/docs/setup/independent/create-cluster-kubeadm/#prerequisites01安装方式关于安装方式，目前除去云服务商本身提供的K8S集群服务
Hellowongwong·2023-12-03 08:52

基于hadoop下的hbase安装

简介HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
necessary653·2023-12-03 05:45

BigTable：结构化数据的分布式存储系统

文章目录摘要1.简介2.数据模型2.1行2.2列族2.3时间戳3.API4.构成模块5.实现5.1分片位置5.2片分配5.3片服务器5.4压缩6.改进6.1位置分组6.2压缩6.3为读取性能缓存6.4布隆过滤器6.5提交日志实现6.6加快分片的恢复速度6.7利用不变性7.性能评估7.1单个片服务器性能7.2扩展性8.实际应用8.1GoogleAnalytics8.2GoogleEarth8.3Pe
涛声依旧（竞涛）·2023-12-03 03:10

区块链，他的特性你知道吗？这篇文章告诉你

基于分布式存储及P2P技术,区块链上每一个节点的信息传递都是点到点、都是平等的,都可以根据共识机制做到对数据的存储、记录和更新。
心态区块链·2023-12-02 22:19

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入
Yan_bigdata·2023-12-02 19:59

如何使用C++开发集群服务

开发集群服务需要掌握以下技术：分布式系统原理：了解集群的概念、工作原理、负载均衡、容错等相关概念。网络编程：掌握Socket编程和HTTP协议等。
SunkingYang·2023-12-02 01:21

大厂学院分布式存储极致性能Redis6

Shell变量定义变量时，变量名不加美元符号（$，PHP语言中变量需要），如：your_name="runoob.com"注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则：命名只能使用英文字母，数字和下划线，首个字符不能以数字开头。中间不能有空格，可以使用下划线_。不能使用标点符号。不能使用bash里的关键字（可用help命令查看保留关键字）
沃威2268731·2023-12-02 00:53

IPFS：下一代分布式文件系统(filenet)

在某些方面，IPFS类似于web,但web是中心化的，而IPFS是一个单一的Bittorrent群集，用git仓库分布式存储。
壹五叁说IPFS·2023-12-01 19:24

WebX实验室对话 Crust：波卡生态的分布式存储之路

今天带大家认识的是**波卡生态中第一个分布式存储赛道“选手”——CrustNetwork。
Crust分布式云·2023-12-01 18:28

SpringCloud微服务实战——搭建企业级开发框架（二十九）：集成对象存储服务MinIO+七牛云+阿里云+腾讯云

  微服务应用中图片、文件等存储区别于单体应用，单体应用可以放到本地读写磁盘文件，微服务应用必需用到分布式存储，将图片、文件等存储到服务稳定的分布式存储服务器。
全栈程序猿·2023-12-01 11:55

Flink on Kubernetes 计算和存储分离落地实践

在这种架构下，将计算和存储解耦，计算部分运行在Kubernetes上，而存储则使用HDFS等分布式存储系统。这样的架构优势在于可以根据实际情况独立调整计算和存储资源，从而提高整体的效率和弹性。
1661616sjsjsk·2023-12-01 07:51

HDFS详解

HDFS架构剖析HDFS，HadoopDistributeFileSystem（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。
liuhanyuu·2023-11-30 20:09

docker安装minio作为图床服务

minio官网：MinIO|高性能分布式存储，私有云存储适用于AI的高性能分布式云存储，MinIO提供高性能、与S3兼容的对象存储系统，让你自己能够构建自己的私有云储存服务。
气拔星·2023-11-30 16:59

【大数据学习笔记-1】大数据hadoop平台基本组件

行业描述：开源的分布式存储和计算框架，广泛用户海量数据的存储和处理，比如淘宝网的商品推送，爱奇艺视频的首页电影推送。Hadoop的主要组件：htt
工匠小能手·2023-11-30 15:19

数据仓库搭建

4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH/HDP/MapR）4.3第三方发行版的比较4.4版本选择5服务器选型6集群资源规划设计7测试集群服务器规划想学习架构师构建流程请跳转
赵广陆·2023-11-30 13:32

Hadoop-HDFS角色工作机制

一、角色职责介绍  HadoopDistributedFileSystem(HDFS,分布式文件系统):HDFS是Hadoop应用程序使用分布式存储，HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷·2023-11-30 10:33

论分布式存储系统架构设计

摘要2019年6月，我所在的公司中标某集团全国保险大数据平台搭建项目，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该集团大数据建设项目，实现该集团所有业务以及用户行为数据入库并解析，为集团提供精准营销、挖掘潜在客户等提供业务支撑，帮助集团实现快速的业务增长。我有幸作为此次项目的负责人以及架构师参与了项目的搭建以及开发过程。该项目时间紧任务重、涉及人员组织多，直接相关集团保险公司内部
mischen520·2023-11-30 08:36

kubernetes七层负载Ingress搭建(K8S1.23.5)

首先附上K8S版本及Ingress版本对照Ingress介绍NotePort：该方式的缺点是会占用很多集群机器的端口，当集群服务变多时，这个缺点就愈发的明显(srevice变多，需要的端口就需要多)LoadBalancer
赵唯一·2023-11-30 07:59

Kafka 集群 Golang 应用实例

搭建了拥有3节点kafka、3节点zookeeper的docker集群服务；分别创建了1个消息发布者和2个相同消费组的消息订阅者的docker应用；使用ab进行并发测试，验证该实例消息的订阅/发布功能；
reboot_xwa·2023-11-30 06:19

redis-cluster集群

redis-cluster集群是redis3.0引入的分布式存储方案集群由多个noede节点组成，redis数据分布在节点之中在进群中也分主节点和从节点集群模式中，主从一一对应，数据写入和读取与主从模式一样
91888888·2023-11-30 05:52

ELK日志分析系统

ELK是一套完整的日志集中处理方案，由三个开源的软件简称组成E【ElasticSearch（ES）】开源的分布式存储检索引擎。索引型的非关系型数据库。存储日志。Java代码开发。
91888888·2023-11-30 05:52

Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）

什么是mapreduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件
渣男程序员007·2023-11-30 05:13

redis 集群

redis-cluster集群：redis3.0引入的分布式存储方案集群由多个node节点组成，redis数据是分布在这写节点之中。在集群之中分为主节点和从节点。
weixin_51694382·2023-11-30 00:28

分布式存储ceph视频教程

└─视频容器-III-Storage-02-1-ceph-basic.mp4容器-III-Storage-02-2-ceph-installation.mp4容器-III-Storage-02-3-ceph-installation.mp4容器-III-Storage-02-4-ceph-internal.mp4容器-III-Storage-02-5-ceph-crushmap.mp4容器-III
CodeistheLaw·2023-11-29 22:51

大数据之Hbase（心得）

（2）HBase是一个高可靠性、高性能、面向列、可伸缩（可扩展）的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
宝宝不哭^_^·2023-11-29 20:30

Hbase的一点个人总结

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PCServer上搭建起大规模结构化存储集群。
vthinkwen·2023-11-29 15:33

hadoop安装

简介Hadoop是一个开源的分布式存储和计算框架，最初由Apache软件基金会开发。
necessary653·2023-11-29 14:11

ELK企业级日志分析系统

2.ELK组件ElasticSearch是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
pupcarrot·2023-11-29 09:46

Vsan数据恢复—Vsan分布式存储数据恢复案例

vSAN故障：一台存储采用了VSAN分布式存储架构，存储内共有24块硬盘存储数据。这台vSAN存储设备关机重启。
北亚数据恢复·2023-11-29 08:56

redis之cluster集群

1、redis-cluster集群：redis3.0引入的分布式存储方案2、集群：由多个node节点组成，redis数据分布在这些节点之中（1）在集群之中也分主节点和从节点（2）自带哨兵模式3、redis-cluster
海德Hyde·2023-11-29 07:01

分布式运用之ELK企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
Lachewuxian·2023-11-29 05:10

搭建ELK-B日志收集

FileBeat，是一个轻量型的日志收集处理工具，FileBeat占用的资源少，适合在各个服务器上搜集日志后传输给Logstash；Elasticsearch简称ES，是一个基于Lucene的、支持全文索引的分布式存储和索引引擎
争不恣游狂荡·2023-11-29 05:08

redis-cluster集群

redis-cluster集群redis3.0引入分布式存储方案集群是由多个node节点组成，redis的数据分布在这些节点当中。在集群当中也分为主节点和从节点。
Lad1129·2023-11-29 05:31

elk日志分析系统

ELK的概论elk是一套完整的日志集中处理方案，有三个开源的软件简称组成：E:ElasticSearchES是一个开源的，分布式存储检索引擎（索引型的非关系型数据库），存储日志。
Lad1129·2023-11-29 05:31

分布式存储系统Minio简介

区别于分布式存储系统，minio的特色在于简单、轻量级，对开发者友好，认为存储应该是一个开发问题而不是一个运维问题。Minio的相关操作Min
明算科·2023-11-28 22:16

minio分布式存储系统

目录拉取docker镜像minio所需要的依赖文件存放的位置手动上传文件到minio中工具类上传yml配置config类service类启动类测试类图片视频删除minio服务器的文件下载minio服务器的文件拉取docker镜像拉取稳定版本:dockerpullminio/minio:RELEASE.2021-06-17T00-10-46Z-28-gac7697426创建并运行容器：dockerr
春来我不先开口，哪个虫儿敢作声?·2023-11-28 22:45

hive总结

当处理的数据量非常大时，单一的MySQL数据库无法满足需求，需要使用分布式存储和处理工具，如Hadoop和Hive。
墨苏玩电脑·2023-11-28 18:26

校招专场 | 这些热招职位尚有「余票」，快上车！

云和恩墨在数据承载（分布式存储、数据持续保护）、管理（数据库基础软件、数据库云管平台、数据技术服务）、加工（应用开发质量管控、数据模型管控、数字化转型咨询）和应用（数据服务化管理平台、数据智能分析处理、
云和恩墨·2023-11-28 16:03

zData X 数据库一体机V3震撼上新，一张图读懂五大新体验

云和恩墨在数据承载（分布式存储、数据持续保护）、管理（数据库基础软件、数据库云管平台、数据技术服务）、加工（应用开发质量管控、数据模型管控、数字化转型咨询）和应用（数据服务化管理平台、数据智能分析处理、
云和恩墨·2023-11-28 16:32

Web3.0 技术介绍：从区块链到人工智能

前言Web3.0技术是互联网发展的重要趋势之一，它将互联网从中心化向去中心化转变，使用区块链、智能合约、加密货币、分布式存储和人工智能等前沿技术，实现更加安全、可靠、自由、创新的互联网体验。
Ai_robots·2023-11-28 12:02

StarRocks企业级数据库

第1章StarRocks简介1.1StarRocks介绍StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上
AllenGd·2023-11-28 11:30

python开发之FastDFS分布式存储系统整合Nginx部署重写Django项目文件传输行为

目录FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级分布式文件系统，主要用于海量数据存储，有方便的可拓展性，记录文件指纹防止重复文件上传占用容量，主要用于电商平台等文件数据量大的系统部署FastDFS第一步，安装FastDFS依赖包#下载
Pythonicc·2023-11-28 05:52

ELK日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
相遇蟹堡王，尽享蟹黄堡·2023-11-28 02:01

IPFS大咖谈（一）| 分布式系统模型及关键问题分析

2019年1月5日，分布式存储的创新与未来——首届亚太IPFS产业发展高峰论坛成功举办。作为一场产学研各界汇聚的行业交流盛会，现场多位嘉宾分享干货满满，获得与会者一致好评。
星际鑫航IPFS社区·2023-11-27 19:59

大型网站系统架构演化（Web）

大型网站系统架构演化大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis分布式存储方案Redis集群切片的常见方式Redis
早餐加个蛋·2023-11-27 10:59

分布式存储Ceph-octopus版本手动实践部署与运维管理

分布式存储Ceph-octopus版本手动实践部署与运维管理1.基础环境配置2.获取并安装Ceph软件包2.1.获取Ceph软件包2.2.安装Ceph软件包3.ceph-mon（monitor）服务部署
降世神童·2023-11-27 10:46

分布式存储ceph---ceph概念及原理（1）

一、Ceph简介：Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用ceph作为openstack的唯一后端存储来提高数据转发效率。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后
om林mo·2023-11-27 10:14

大数据中的HBase的选择题

A.爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里B.BigTable是一个分布式存储系统C.BigTable起初用于解决典型的互联网搜索问题D.网络搜索应用查询建立好的索引,
不想做程序猿的员·2023-11-27 09:58
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他