fastdfs分布式存储

【分布式存储】数据存储和检索～B+树

为什么数据存储结构重要在存储系统中，其实不管数据是什么样的，归根结底其实都还是取决于数据的底层存储结构，而主要常见的就是数据库索引结构，B+树、Redis中跳表、以及LSM、搜索引擎中的倒排索引。本质都是如何利用不用的数据结构，在性能和存储空间之间权衡。数据写的速度和读取数据。MySQL中索引如何用B+树实现的常用数据结构分析哈希表：哈希表以O（1）的查询效率著名，但是其本身是用空间换时间。并且不
qxlxi·2023-08-19 19:47

Django3+Vue Million商城项目的总结

文章目录项目说明主要环境搭建主要技术实现django的配置文件celery的使用（异步发送短信验证码和邮箱验证链接）容联云通讯短信平台QQ登录jwt实现加密解密验证实现数据的安全性FastDFS+Docker
码界索隆·2023-08-19 19:14

FastDFS文件管理知识点+案例分析

一介绍FastDFS原理FastDFS开源分布式文件系统由C语言编写实现,可以通过专有API访问，目前提供了C、Java和PHPAPI。
天雨编程·2023-08-19 17:36

学一点Ceph知识：初识Ceph

Ceph是一个开源的分布式存储系统，可大规模扩展、高性能、无单点故障，在普通的服务器上可以支持到PB级容量，商用机器上支持的容量可以达到EB级别。
清茶豆奶·2023-08-19 15:59

Zookeeper单机集群部署

目录一、伪集群搭建1、搭建准备2、开始搭建3、集群启动二、Zookeeper分布式存储1、Zookeeper存储模型2、zkCli客户端指令清单3、zk客户端1.zk官方java客户端api2.第三方的
天蝎座小小熊·2023-08-19 13:15

hadoop2的集群数据将副本存储在hadoop3

在Hadoop集群中，HDFS副本是分布式存储的，会存储在不同的节点上。
荣晓·2023-08-19 10:48

看一眼常见数据处理的产品

HadoopvsSparkHadoop是一个分布式存储和计算框架，而Spark是一个基于内存的分布式计算框架。Hadoop在存储大数据方面表现出色，而Spark在计算和处理大数据方面表现更快。
Walter Sun·2023-08-19 09:47

分布式存储Ceph技术

分布式存储ceph技术目录分布式存储ceph技术分布式存储什么是分布式存储分布式存储的特性存储的分类（不完善）cephceph简介ceph的优势ceph架构ceph的基本组件ceph结构ceph存储种类和应用场景块存储文件存储对象存储
Mr_Wzzzz·2023-08-19 06:05

【FastDFS】小伙伴们说在CentOS 8服务器上搭建FastDFS环境总报错？

写在前面在【冰河技术】微信公众号的【分布式存储】专题中，我们分别搭建了单节点FastDFS环境和高可用FastDFS集群环境。但是，之前的环境都是基于CentOS6.8服务器进行搭建的。
冰河团队·2023-08-18 21:25

Golang使用MinIO

最近在使用Golang做了一个网盘项目（学习），文件存储一直保存在本地（各厂商提供的oss贵），所以就在思考怎么来处理这些文件，类似的方案很对hdfs、fastdfs，但这其中MinIO是最近几年比较火热的一个项目
HumbleSwage·2023-08-18 19:51

一文解析SSD和Lightning SN 关系

LightningSN即闪电储存网络,是以固态硬盘区块链网络为分布式存储空间，以5G技术为网络带宽技术的区块链存储网络。
gaoguyu8504·2023-08-18 13:30

给 ES 插上向量检索的翅膀 | DataFunSummit 2023 峰会演讲内容速达

近日，由DataFun主办的DataFunSummit2023数据基础架构峰会圆满落下帷幕，本次峰会邀请了腾讯、百度、字节、极限科技、Zilliz等众多企业技术专家为大家带来分布式存储以及向量数据库的架构原理
·2023-08-18 09:04

2019-11-29

c.可拓展支持一主多从且扩容简易开源软件d.在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉了，也能自动进行数据恢复和主从切换。e.采用RestfulAP
9333d8baadce·2023-08-18 06:38

非常详细的 Ceph 介绍、原理、架构

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
大隐隐于野·2023-08-18 06:18

8月12日上课内容 综合配置详解 四层+七层代理

*分布式存储:ELK日志分析。kafka消息队列监控zabbixdocker:容器化部罢服务微服务。
m0_70766460·2023-08-17 22:42

IPSE星际搜索引擎

的搜索引擎https://ipse.io已关注IPSE黄皮书：下一代价值互联网的流量入口载入中15分钟作者：Silver，区块链开发工程师，Spark架构师，IPSE首席架构师背景时间到了2019年，分布式存储逐渐进入了落地阶段
慎独戒欺·2023-08-17 20:39

springboot打包成jar包部署，无法访问到fastDFS配置文件【已解决】

最近做了一个项目，包含文件上传功能，本地运行很正常，打成jar包部署到服务器上时，结果就报错了，花了几个小时的时间才发现是因为无法访问到fastDFS的配置文件dfds_client.conf，导致报错
笙之响往·2023-08-17 15:58

10 | 发号器：如何保证分库分表后ID的全局唯一性？

在前面两节课程中，我带你了解了分布式存储两个核心问题：数据冗余和数据分片，以及在传统关系型数据库中是如何解决的。
逗逼程序员·2023-08-17 10:44

apache doris和StarRocks的区别

StarRocks是一个分布式存储系统，它建立在ApacheHadoop之上，旨在为大型超级计算机提供结构化数据存储解决方案。StarRocks采用了列式存
6个日的梦想·2023-08-16 23:01

滴滴Ceph分布式存储系统优化之锁优化

摘自：https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A2020-09-0221:450.引言Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响
YoungerChina·2023-08-16 22:09

算法与数据结构-哈希算法

文章目录什么是哈希算法哈希算法的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储一致性哈希算法什么是哈希算法哈希算法的定义和原理非常简单，基本上一句话就可以概括了。
码农界的菜鸟·2023-08-16 19:05

九州云入选2022金融云TOP30

作为国内最早一批推动OpenStack在金融云架构上创新的企业，九州云先后助力搭建国内第一个基于OpenStack和分布式存储Ceph技术的金融大数据服务平台、针对互联网金融（IOF）行业的可信金融私有云
OpenInfra·2023-08-16 17:29

java fastdfs实现文件(图片)的上传下载

1、首先引入依赖、目录结构：com.github.tobatofastdfs-client1.26.52、在application.yml中添加如下配置spring:profiles:active:dev
jjw_zyfx·2023-08-16 17:04

存储圈秘史，细说“配额管理”的那些事儿

江湖乱战分布式存储圈管理者“配额管理”出手划天下各方数据混战之际管理员划分空间应接不暇不可避免的产生资源划分不合理等问题各路“配额管理”豪杰陆续上线，力求结束纷争一统江湖职场人所熟知的办公软件“共享盘”
大道云行TaoCloud·2023-08-16 10:58

将数据库文件压缩并上传到文件服务器

1.引入上传工具和压缩包工具org.springframeworkspring-testcom.zlpayzl-util-fastdfs0.0.1-SNAPSHOT2.组装需要上传的数据并压缩@AutowiredprivateFastDFSClientfastDFSClient
weixin_46949892·2023-08-16 08:57

API 设计的基本原则

1、分层：高层API要为业务服务，贴近服务：业务可以是一个真实的业务系统，也可是一个分布式存储系统总之。
旺财旺财·2023-08-16 00:40

Springboot实现文件上传

实现图片上传服务，需要有存储的支持，那么我们的解决方案有以下几种：1.直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难2.使用分布式文件系统进行存储(MinioFastDFS)优点：容易实现扩容缺点
·2023-08-15 16:16

C++ 网络编程项目fastDFS分布式文件系统（二）-redis部分

目录1.数据库类型1.1基本概念1.2关系/非关系型数据库搭配使用2.Redis2.1基本知识点2.2redis常用命令-String类型-List类型-Set类型-SortedSet类型-Hash类型Key相关的命令2.3redis配置文件2.4redis数据持久化3hiredis的使用1.数据库类型1.1基本概念1.关系型数据库-sql-操作数据必须要使用sql语句-数据存储在磁盘-存储的数据
cat_fish_rain·2023-08-15 03:41

C++ 网络编程项目fastDFS分布式文件系统（一）

目录1.项目架构图1.1一些概念1.2项目架构图2.分布式文件系统2.1传统文件系统2.2分布式文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS
cat_fish_rain·2023-08-15 03:10

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallel
蓦然_·2023-08-15 01:37

redis及fastDfs 数据迁移步骤

redis数据迁移：redis数据迁移比较危险，因为项目中很多的唯一性流水编码是直接存储在redis中的，而且客户对流水的连贯性要求较高，所以redis必须稳定的迁移到新环境中对于支持新节点直接访问redis服务器的情况，可以执行SLAVEOF命令或者设置slaveof选项，让新服务器去复制原服务器（主从同步）。在同步结束后，将原redis服务器停机（停止写入redis），然后调整应用服务器的指向
查无此人_chazz·2023-08-15 01:06

Ceph分布式存储系统

Ceph是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。
summer_west_fish·2023-08-14 11:18

Ceph入门到精通-分布式存储产品的测试实践

分布式存储产品的测试实践在分布式存储产品的测试过程中，测试到底做了些什么事情呢？一：测试工作内容需求，设计评审测试需要参与到每一个过程中在设计评审的时候就需要知道验收的标准，这是最重要的开始。
瓦哥架构实战·2023-08-14 11:17

2019-12-11

主要包括：基于多感知器和智能终端的健康医疗数据采集，基于云平台的分布式存储与并行计算、动态大数据的实时处理及非结构化数据处理，多元异构数据的
开心果川·2023-08-14 08:27

Ceph分布式存储系统优化分析

Ceph支持多种存储访问接口，现有的多种性能测试工具都可用于Ceph的性能测试，如测试块接口性能的fio，iometer等；测试CephFS接口的filebench，fio等;测试对象接口的cosbench等。Ceph有专用的基准测试集CBT，其包含radosbench，librbdfio，kvmrbdfio和rbdfio。radosbench基准测试使用cephcommon软件包附带的rados
YoungerChina·2023-08-14 07:57

如何让你的图片服务也有类似OSS的图片处理功能

原文链接前言有自己机房的公司一般都有一套存储系统用于存储公司的图片、视频、音频、文件等数据，常见的存储系统有以NAS、FASTDFS为代表的传统文件存储，和以Minio为代表的对象存储系统，随着云服务的兴起很多公司逐渐将数据迁移到以阿里云
赵侠客·2023-08-14 06:11

分布式文件存储系统-FastDFS

前言：FastDFS是一个分布式文件存储系统，主要用于存储和管理大规模的文件数据，如图片、视频、文档等，是淘宝前架构师为了存储图片用C语言开发出来的系统。
一路向东_·2023-08-14 05:15

滴滴李航：分布式存储 Ceph 介绍及原理架构分享

导读：本文主要从架构简介使用场景，以及内部IO流程、心跳机制、通信框架、CRUSH算法、QOS等多个方面逐渐介绍分布式存储系统Ceph的特性。希望对你有所帮助。
架构文摘·2023-08-13 21:39

分布式数据库设计

分库设计过程中常面临的问题：分布式存储后如何保证访问效率，举例：当要查询一个key的数据时，快速定位在哪个库，如何快速地查询出来。方案一般有下面两种方式：1.1专门开放一个库来
dongdong咚咚咚·2023-08-13 06:45

iSCSI的基本架构及操作简介

关于两者的区别，可以参考本号之前的文章（分布式存储与传统SAN、NAS相比，有什么优势与劣势？），本位不再赘述。本文今天主要介绍一下iSCSI的整体架构，以及在Linux平台上启动器端（可
SunnyZhang的IT世界·2023-08-13 04:16

Redis简述｜以及它能用于做什么？

Redis支持多种数据类型，包括字符串、哈希、列表、集合和有序集合，并且支持分布式存储和操作。Redis的特点包括快速、高可用和易扩展等，适用于各种应用场景。
猿某人、·2023-08-13 02:33

fastdfs无法获取服务端连接资源:can‘t create connection to/192.168.0.xxx:23000] with root cause

解决办法是：比如：（我的）vim/etc/fdfs/storage.conf在里边修改如图:修改tracker_server为宿主机的IP地址.再重启servicefdfs_storagedrestart/etc/init.d/fdfs_trackerdrestartOK！
huayal·2023-08-12 09:44

人工神经网络导论难学吗,人工神经网络导论教程

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是
wenangou·2023-08-11 18:17

IPFS/Filecoin真实数据存储，赋能实体经济！

现在一年产生的数据是过去100年产生数据的总和，全球最宝贵的资源不再是石油而是数据，而之前的中心化存储很难成为人类数据存储的永久载体，已暴露出传输速度慢、数据安全、数据冗余、费用昂贵等问题，因此，IPFS分布式存储
IPFS分布式存储及FIL介绍·2023-08-11 07:20

Polkadot 生态将集成NDN Protocol 数据预言服务-10-09

NDNProtocol是有NDN团队基于NDNLink网络的数据流量预言机和去中心化的分布式存储数据聚合器。除此之外，NDNProtocol还在加密货币网络之间传递价格信息。与传统
币圈三少·2023-08-11 07:44

阿里云服务器搭建FTP图片服务器[图文详解]

FastDFS是用c语言编写的一款开源的分布式文件系统。
油炸小波·2023-08-10 19:46

2019-07-10 fastdfs安装调试

https://hub.docker.com/r/qbanxiaoli/fastdfshttps://www.cnblogs.com/LiZhiW/p/4278452.htmlTrackerd的详细配置
Albert陈凯·2023-08-10 19:18

ES基础篇 常用API之搜索查询

，正如它的简介一样：Elasticsearchisareal-time,distributedstorage,search,andanalyticsengine(ElasticSearch是一个实时的分布式存储
Genterator·2023-08-10 18:21

MapReduce原理入门（附源码解析）

MapReduce是配合HDFS产生的，HDFS负责分布式存储，MapReduce负责分布式计算。
柏拉图学院·2023-08-10 18:19

MinIO部署&简单使用

前言前面我们做了分布式文件存储系统FastDFS的部署应用，其安装还是比较繁琐的，而且实际生产的应用限制较大，下面，介绍一款开源的文件系统——MinIO，它是一种对象存储解决方案，提供与AmazonWebServicesS3
雅俗共赏zyyyyyy·2023-08-10 11:49
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他