E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统搭建
Hadoop之HDFS的使用
分布式文件
管理系统有很多,HDFS只是其中一种实现注意:HDFS不适合存储小文件(几KB或几M的小文件)HDFS基础操作操作格式hdfsdfs-xxxschema://authority/path-xxx
帅帅的猪头
·
2023-10-05 05:10
大数据开发
hdfs
hadoop
big
data
minio
分布式文件
存储
基本介绍什么是MinIOMinIO是一款基于Go语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。基于ApacheLicensev2.0开源协议,虽然轻量,却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用,例如NodeJS、Redis、MySQL等。官网:www.minio.org.cn/MinIO特点高性能:作为高性能对象存储,在标准硬件条件
小月亮6
·
2023-10-04 22:36
gulimall
分布式
分布式
【译】Apache Hadoop 系列之三(用户指南)
目的该文档是用户使用Hadpoop
分布式文件
系统(HDFS)的起点,不管是作为hadoop集群的一部分来使用还是独立的通用
分布式文件
系统。
Kooola大数据
·
2023-10-04 16:02
BigData导论
发展历史2004年,Google三驾马车,
分布式文件
系统GFS、大数据分布式计算框架MapReduce、NoSQL数据库系统BigTable2006年,DougCutting(lucene的作者)根据论文原理初步实现了类似
Youth_C&B
·
2023-10-04 14:41
大数据
big
data
hadoop
mapreduce
hadoop面试题!这6个!经常问!
简而言之,Hadoop由以下部分组成:HDFS(Hadoop
分布式文件
系统):HDFS允许您以分布式和冗余的方式存储大量数据。
yoku酱
·
2023-10-03 17:41
GFS
分布式文件
系统
目录GlusterFS概述GlusterFS简介GlusterFS特点GlusterFS术语模块化堆栈式架构GlusterFS的工作流程弹性HASH算法GlusterFS的卷类型部署GlusterFS群集关闭防火墙磁盘分区,并挂载修改主机名,配置/etc/hosts文件安装、启动GlusterFS(所有node节点上操作)创建分布式卷创建条带卷创建复制卷创建分布式条带卷创建分布式复制卷部署Glus
风落成风寻未至
·
2023-10-03 17:12
服务器
数据库
大数据
mongoDB 入门指南、示例
介绍:MongoDB是一个基于
分布式文件
存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。特点:高性能、易部署、易使用,存储数据非常方便。
zp522123428
·
2023-10-03 15:51
数据库
转载:如何提升磁盘IO性能
FastDFS是一个开源且高效的
分布式文件
系统。它的初始实现,文件以散列模式随机分布到多个目录,后来又添加了顺序存储实践。通
微微笑_198111
·
2023-10-03 15:34
分布式文件
存储系统Minio实战
分布式文件
系统应用场景互联网海量非结构化数据的存储需求电商网站:海量商品图片视频网站:海量视频文件网盘:海量文件社交网站:海量图片1.Minio介绍MinIO是一个基于ApacheLicensev2.0
小鱼儿&
·
2023-10-03 08:53
分布式
工作小结(一)
基本上来说
系统搭建
好了之后,其他的就不是什么问题,按照系统进行布置或者拆分就好。但是实际上出现了两处问题,一处是漏掉了生活水泵房的电量。
Moothdear学画画
·
2023-10-03 05:52
架构师必读:
分布式文件
系统原理与架构
为了解决这一难题,
分布式文件
系统(DistributedFileSystem)应运而生。
分布式文件
系统是指将存储文件的方式从单个服务器扩展到多台服务器上,解决文件存储和处理的性能
禅与计算机程序设计艺术
·
2023-10-03 03:33
Python
机器学习
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
配置 FastDFS Java 客户端
学习完整课程请移步互联网Java全栈工程师本节视频【视频】Dubbo实现微服务架构-
分布式文件
系统-FastDFSJava客户端创建项目创建一个名为myshop-service-upload的服务提供者项目安装
撸帝
·
2023-10-03 02:31
MongoDB快速上手攻略
MongoDB快速上手攻略1.MongoDB概述1.1简介MongoDB是一个高性能,开源,无模式的,基于
分布式文件
存储的文档型数据库,由C++语言编写,是一种开源的文档数据库──NoSql数据库的一种
Do Re Mi
·
2023-10-02 09:49
数据库
MongoDB
[MongoDB]MongoDB快速上手
基于
分布式文件
存储的开源数据库系统,旨在为WEB应用提供可扩展的高性能数据存储解决方案,mongo将数据存储为一个文档,文档数据表示为BinaryJson格式MongoDB数据模型以下是关系型数据库与MongoDB
Makesths
·
2023-10-02 09:47
数据库
mongodb
组件分享之后端组件——一个简单且高度可扩展的
分布式文件
系统seaweedfs
组件分享之后端组件——一个简单且高度可扩展的
分布式文件
系统seaweedfs背景近期正在探索前端、后端、系统端各类常用组件与工具,对其一些常见的组件进行再次整理一下,形成标准化组件专题,后续该专题将包含各类语言中的一些常用组件
cn華少
·
2023-10-02 04:55
Gluster Fs(一)基础知识介绍
基础知识铺垫(什么是
分布式文件
系统?)
frederickhou
·
2023-10-02 02:33
gin-vue-admin零基础
系统搭建
教程
项目介绍一款Go语言基于Gin、Xorm、Vue、ElementUI、MySQL等框架精心打造的一款模块化、插件化、高性能的前后端分离架构敏捷开发框架,可快速搭建前后端分离后台管理系统,本着简化开发、提升开发效率的初衷,框架自研了一套个性化的组件,实现了可插拔的组件式开发方式,同时为了敏捷快速开发,框架特地集成了代码生成器,完全自主研发了自定义GO后端服务模板和前端Vue自定义模板,可以根据已建好
半城 风雨
·
2023-10-01 22:31
Gin
ElementUI
Vue
vue.js
gin
前端
制作配送外卖小程序商城的作用是什么
【雨科】是一款商城
系统搭建
平台,多样化的产品上架管理功能、订单、数据管理、会员运营、分销、营销、多商户进驻及商家直营模式等,现成多行业商城模板直接使用搭建,精美产品展示及信息呈现,完善的购物流程及活
宁夏雨科网
·
2023-10-01 20:17
小程序
配送小程序
小程序商城
商城系统
小程序制作
商城搭建
外卖小程序
Hadoop 系列(一)——
分布式文件
系统 HDFS
一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的
分布式文件
系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
heibaiying
·
2023-10-01 13:27
阿里云服务器的 webRTC
系统搭建
与验证
本篇内容是对本次实验过程记录,即可以备忘、也能给有需求朋友提供一些参考。环境说明:服务器环境:阿里云ecs的cetos7系统.虚拟机ip:inet172.26.43.146netmask255.255.240.0broadcast172.26.47.255公网IP:39.99.xx.xx房间与信令服务:SkyRTC,连接地址,https://github.com/dtltljb/webrtc_se
老理说的好
·
2023-10-01 12:17
#
WebRTC
原理应用
服务器
阿里云
webrtc
在腾讯云服务器上搭建fastdfs
分布式文件
存储服务器
下载所需压缩包二.安装安装tracker(FastDFS跟踪器)安装storage存储服务测试图片上传安装nginx浏览器访问图片附:Tracker和Storage的配置文件说明在腾讯云服务器上搭建fastdfs
分布式文件
存储服务器
西楚子羽
·
2023-10-01 12:16
linux
fastdfs
nginx
linux
MongoDB入门第一节 初始MongoDB
一:MongoDB简介MongoDB是一个基于
分布式文件
存储的数据库,由C++语言编写,旨意在为WEB应用提供可扩展的高性能的数据存储解决方案。
天之皓月
·
2023-10-01 03:52
基于夸克区块链的QKFile带来全新解决方案
QKFile的中文翻译为“夸克
分布式文件
系统”,是一种全新的超媒体分发协议,通过内容和标识来寻址,并支持创建完全分布式应用程序,旨在使全球网络更快,更安全,更开放。
少年已不年少201901
·
2023-10-01 03:27
Hadoop3.x组件HDFS入门
HDFS,全称HadoopDistributedFileSystem,即Hadoop
分布式文件
存储系统,是Hadoop核心组件之一,是大数据生态最底层的分布式存储服务。
文景大大
·
2023-09-30 21:06
kali linux攻击Metasploit_linux靶机
一、环境准备物理机:win11(需要安装nessuss工具:系统漏洞扫描与分析)虚拟机:kali2021;靶机metasploitable3-Linux)二、实验步骤(蜜罐
系统搭建
)(一)实验准备1、查看
我要上学啊
·
2023-09-30 16:16
linux
安全
运维
nodejs连接mongodb数据库
mongodb的简介:MongoDB是一个基于
分布式文件
存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
node_bin
·
2023-09-29 22:33
mongodb
数据库
js
mongodb
数据库
nosql
DAMA-DMBOK2重点知识整理CDGA/CDGP——第14章 大数据与数据科学
定义大数据战略和业务需求2.2选择数据源2.3获得和接收数据源2.4制定数据假设和方法2.5集成和调整数据进行分析2.6使用模型探索数据2.7部署和监控3、工具3.1大规模并行处理(MPP)3.2基于
分布式文件
的数据库
醉酒的戈多
·
2023-09-29 08:21
数据治理
数据仓库
大数据
云计算
大数据知识图谱笔记
没有什么是一张图解决不了的,如果有就再画一张目录1集成平台2
分布式文件
系统3Hadoop生态圈4Spark生态圈5数据存储访问6实时流处理7搜索引擎(Lucence)8文件格式9压缩
*沧海明月*
·
2023-09-29 06:59
大数据
hadoop
spark
大数据
hive
hdfs
介绍大数据处理架构Hadoop以及其生态系统
Hadoop简介Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台,它实现了MapReduce计算模型和
分布式文件
系统HDFS等功能,在业内得到了广泛的应用,同时也成为大数据的代名词,借助于
转身丶即天涯
·
2023-09-29 04:40
股票融资账户软件股票市场的致胜法宝
股票分仓资管软件,股票线上融资
系统搭建
,A股市随着小牛市的来临,不管是在新增的股民开户数还是一些老账户的活跃度都增加很多,股民的参与市场交易的信心也大大增加,横多股民又把投资重心回归到A股市场,好的行情也给提供股票融资咨询的公司带来希望
bingshangmayi
·
2023-09-29 03:32
独立站FP收款黑科技来啦!再也不用担心账户被封了~
最近很多卖家的FP独立站账号都挂掉了,无论是自己买服务器+开源
系统搭建
,还是说找建站服务商,FP产品一旦被平台检测到、或者被人举报就会立马被冻结封控。
老谭聊跨境
·
2023-09-28 22:05
科技
FastDFS详解
FastDFS是一个开源的高性能
分布式文件
系统(DFS),主要解决海量数据存储问题,特别适合中小文件(建议范围:400K~500M)为载体的在线服务。
hadoop_a9bb
·
2023-09-28 21:35
2023年职业院校技能大赛中职组----大数据应用与服务赛项任务书试题
2023年职业院校技能大赛中职组----大数据应用与服务赛项任务书试题模块一:数据库系统运维(25分)任务一:数据库
系统搭建
(10分)任务二:房源数据库系统运维(15分)模块二:数据采集与处理(30分)
落寞的魚丶
·
2023-09-28 18:34
网络空间安全(职业技能大赛)
全国职业技能大赛
中职组
大数据应用与服务赛项
数据处理
Python
分享55个C源码源代码总有一个是你想要的
pwd=8888提取码:88881.项目名称apachesubversion版本控制系统v1.10.3Ceph
分布式文件
系统v17.2.5clip命令行插图处理器v0.8curve分布式存储系统v1.2.6curve
zdh13370188237
·
2023-09-28 14:34
源码
开发语言
分享55个C源码源代码总有一个是你想要的
pwd=8888提取码:88881.项目名称apachesubversion版本控制系统v1.10.3Ceph
分布式文件
系统v17.2.5clip命令行插图处理器v0.8curve分布式存储系统v1.2.6curve
zdh13370188237
·
2023-09-28 14:34
c语言
开发语言
go-fastdfs
分布式文件
存储集群搭建和测试
一、官方文件https://sjqzhang.github.io/go-fastdfs/#character2、集群原理小集群原理:大集群原理二、服务端集群部署1、在集群每个节点机器上下载安装包(建议使用最新稳定版本)wget--no-check-certificatehttps://github.com/sjqzhang/go-fastdfs/releases/download/v1.4.5/f
SuperPurse
·
2023-09-28 11:18
golang
分布式
开发语言
minio之阿里云服务器安装
写在前面Minio是一个开源的
分布式文件
存储系统,当然你可以直接购买阿里云的OSS对象存储服务,也不是很贵,但我这里纯粹自己拿来玩所以就自己安装这个Minio服务。
莫等闲,白了少年头
·
2023-09-28 09:11
日常练习
Minio
云服务器
文件存储
分布式
centos
官方AI语音系统电销机器人
系统搭建
|AI智能|电话机器人源码|最新电销外呼系统多服务器版本七牛科大免费识别阿里免费识别科大识别阿里识别电话机器人
端是VUE后端是java还有CC++4台服务器组成nginx,kafka,mysql数据库,fs。支持大并发,通话录音存储七牛云可以自定义录音存储时长不用担心录音多影响系统硬盘存储空间可自定义删除录音存留时间。市面上的都是单服务器然后加挂大数据盘存录音并发大了服务器就挂反应速度也慢,为了保证存储不能长时间保存录音能容语音识别翻译可以对接科大和阿里云的免费语音翻译,还会提供无线免费翻译注册方法。可视
m0_52165567
·
2023-09-28 05:47
电销系统
语音机器人
语音系统
人工智能
机器人
服务器
大数据之Hadoop-HDFS
产出背景及定义1.1.1HDFS产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是
分布式文件
管理系统
jackyan163
·
2023-09-28 02:50
大数据
大数据
hadoop
hdfs
一、大数据技术基础——
分布式文件
系统HDFS
目录1.引入1.1.传统存储系统面临的难题1.2.解决之道2.Hadoop集群架构3.HDFS1.03.1.概念3.2.Block块3.3.NameNode维护文件:fsimage与editlog3.4.DataNode3.5.HDFS1.0架构的局限性3.6.SecondaryNamenode4.HDFS2.04.1.HA架构4.2.联邦架构5.HDFS读写入数据流程5.1.写入数据流程5.2.
百颂伊
·
2023-09-28 02:48
大数据技术基础学习笔记
hadoop
大数据
processflow基于私有云存储的多人实时协作尝试
后面便萌生了基于一些开源的
分布式文件
多版本存储系统代替oneDrive的功能,经历了一个多月的尝试,最终得到了我想要的结果。实现
processflow流程图
·
2023-09-27 21:26
spring
boot
processflow多人协作
drawio多人协作
流程图实时协作功能
HDFS 基础
HDFSHDFShadoop
分布式文件
系统解决目标超大文件流式数据访问商用软件(兼容廉价的硬件设备/强大的跨平台兼容性)HDFS局限性不适合低延迟数据访问(实时性不高)无法高效存储大量小文件(索引结构庞大后搜索效率降低
JM68
·
2023-09-27 13:44
Hadoop笔记(一)
在大数据领域提出了两个概念:
分布式文件
系统,用于存储大量的数据分布式计算框架MapReduce,高效地分析数据以上两个概念组成了一个名词叫HadoopHadoop的起源谷歌发布了三篇论文:GFS分布式存储系统
lew1sss
·
2023-09-27 08:50
云计算与大数据第12章 商用云计算平台习题带答案
第12章商用云计算平台习题选择题1、下面不属于AWS云计算平台的组件的是(D)A.Amazon弹性计算云B.
分布式文件
系统DynamoC.简单存储服务S3D.PolarDB数据库2、AWS云计算平台中的组件
高校知识店铺合集汇总
·
2023-09-27 07:17
云计算
数据库
java
HDFS数据读写过程及编程实例
1°FileSystem被
分布式文件
系统HDFS继承,实现DistributedFileSystem子类;2°通过Http的方式去访问相关文件;3°通过FTP的方式去读写文件。
浅沫~
·
2023-09-27 06:15
hdfs
hadoop
big
data
【大数据存储与处理】1. hadoop单机伪分布安装和集群安装
Hadoop实现了一个
分布式文件
系统(DistributedFileSystem),其中一个组件是HDFS(Hadoop
唐生一
·
2023-09-27 02:59
大数据存储与处理
大数据
hadoop
分布式
hadoop安装
基于新浪云手动构建node+nginx应用之(二)centos
系统搭建
nginx
Node搞定以后配置nginx,安装nginx很简单第一步,先安装nginx存储库=>>yuminstallepel-release第二步,安装nginx=>yuminstallnginx,对提示回答yes依旧,出现版本号说明安装成功了nginx安装成功然而nginx最难得地方不是安装,是我不明白要怎么用.....在捣鼓了N久以后,我终于迷迷糊糊有些明白了.安装好node,nginx后,直接点击应
我是你的阿周哇
·
2023-09-26 23:09
分布式文件
存储系统minio、大文件分片传输
上传大文件1、Promise对象Promise对象代表一个异步操作,有三种状态:pending:初始状态,不是成功或失败状态。fulfilled:意味着操作成功完成。rejected:意味着操作失败。只有异步操作的结果,可以决定当前是哪一种状态,任何其他操作都无法改变这个状态有了Promise对象,就可以将异步操作以同步操作的流程表达出来,避免了层层嵌套的回调函数//定义异步操作varpromis
£小羽毛
·
2023-09-26 20:51
学习
ceph分布式存储
特点:1.统一存储虽然ceph底层是一个
分布式文件
系统,但由于在上层开发了支持对象和块的接口。所以在开源存储软件中,能够一统江湖。至于能不能千秋万代,就不知了。2.高扩展性扩容方便、容量大。
欢愉的猫
·
2023-09-26 15:43
ceph
分布式
大数据分析的几种方法
适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、
分布式文件
系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
中琛源科技
·
2023-09-26 08:57
数据分析
big
data
大数据
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他