E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统搭建
2023.11.10 hadoop,hive框架概念,基础组件
目录分布式和集群的概念:hadoop架构的三大组件:Hdfs,MapReduce,Yarn1.hdfs
分布式文件
存储系统HadoopDistributedFileSystem2.MapReduce分布式计算框架
白白的wj
·
2023-11-11 01:08
hadoop
hive
大数据
2023.11-9 hive数据仓库,概念,架构
)优点2)缺点四.Hive和数据库比较1)查询语言2)数据更新3)执行延迟4)数据规模五.hive架构流程六.MetaStore元数据管理三种模式一.HDFS、HBase、Hive的区别1、HDFS(
分布式文件
系统
白白的wj
·
2023-11-11 01:36
数据仓库
hive
hadoop
SpringCloud-Alibaba之OSS对象存储服务
阿里云的OSS服务进行云端的文件存储用户认证需要上传图片、首页轮播需要上传图片,OSS
分布式文件
服务系统可以提供服务。
A尘埃
·
2023-11-10 06:54
spring
cloud
spring
后端
阿里云OOS
分布式软件开发的相关技术
分布式存储系统:了解分布式存储的概念和常见的分布式存储系统,如
分布式文件
系统、分布式数据库、NoSQL数据库等。分布式数据处理:熟悉大数据处理和分布式数据处理框架,如ApacheHa
假装得大佬
·
2023-11-10 06:05
分布式
django+drf+vue 简单
系统搭建
(2) - drf 应用
按照本系统设置目的,是为了建立一些工具用来处理简单的文件。1.准备djangorestframework关于drf的说明请参见:DjangoRESTFramework教程|大江狗的博客本系列直接使用drf的序列化等其他功能。安装condainstalldjangorestframeworkcondainstalldjango-filter2.创建工具的apppythonmanage.pystart
此间的少年1128
·
2023-11-09 16:23
django_drf_vue
django
python
后端
麒麟服务器
系统搭建
nfs共享
麒麟服务器
系统搭建
nfs共享1.NFS介绍NFS(NetworkFileSystem,网络文件存储系统)最早是由Sun公司发展出来的,也是FreeBSD支持的文件系统中的一个,它允许网络中的计算机之间通过
zhajianting
·
2023-11-09 10:55
kylin
linux
kylin
服务器
运维
银河麒麟高级服务器部署glusterfs
前言GFS是一个可扩展的
分布式文件
系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。
yuchen008
·
2023-11-09 10:25
linux
运维
服务器
kylin
分布式
MongoDB 备忘清单_开发速查表分享
MongoDB备忘清单MongoDB是一个基于
分布式文件
存储[1]的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
菜鸟一记
·
2023-11-09 08:24
笔记
基于PHP语言的会员
系统搭建
(Docker版)
1、操作系统ubuntu222、安装Docker#AddDocker'sofficialGPGkey:sudoapt-getupdatesudoapt-getinstallca-certificatescurlgnupgsudoinstall-m0755-d/etc/apt/keyringscurl-fsSLhttps://download.docker.com/linux/ubuntu/gpg|
IT东东歌
·
2023-11-09 02:40
php
docker
容器
nginx
版本控制工具之TFS的使用
TFS是微软下面得一款版本控制工具,百度百科说其优点是高可扩展、高可用、高性能、面向互联网服务的
分布式文件
系统。(然鹅我并不懂)现在记录一下怎么使用吧。
C#ToJava
·
2023-11-08 22:50
版本控制
TFS
git
java笔记:
分布式文件
系统+FastDFS+Nginx
java笔记:
分布式文件
系统+FastDFS+Nginx
分布式文件
系统概述什么是文件系统?
m0_49234730
·
2023-11-08 12:05
java学习笔记
java
分布式系统
分布式
分布式设计
(集群)FastDFS集群 + Nginx负载 安装部署流程
FastDFS简介FastDFS是一个开源的轻量级
分布式文件
系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
IT界的一颗新星
·
2023-11-08 12:01
Linux
linux
centos
nginx
django+drf+vue 简单
系统搭建
(1) - django创建项目
本系列文章为了记录自己第一个系统生成过程,主要使用django,drf,vue。本人非专业人士,此文只为记录学习,若有部分描述不够准确的地方,烦请指正。建立这个系统的原因是因为,在生活中,很多觉得可以一两行代码解决的问题,可能对于不适用代码的人需要比较长时间去处理,由此便想到将py处理的工具放在线上,可以帮助别人处理文件。主要逻辑就是用户提交一个文件,选择要使用的py工具,返回一个文件给用户。相关
此间的少年1128
·
2023-11-07 10:20
django_drf_vue
django
python
后端
Haddop,HDFS和MapDeduce简单理论
HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件:HDFS:
分布式文件
系统,存储海量数据。
杰KaMi
·
2023-11-07 06:25
linux
hadoop
大数据
Spark基础知识点
分布式文件
系统(HadoopDistributedFileSystem)当数据集达到一定规模,单机无法处理把数据分布到各个独立的机器上(多机器共同协作)网络HDFS优缺点优点:构建在廉价的机器上使用大数据处理高容错硬件错误流式数据访问大规模数据集简单的一致性模型
蛋炒双黄蛋
·
2023-11-07 05:04
Spark
数据库
Vue3+Vite+Pinia+Naive后台管理
系统搭建
之四:Naive UI 组件库的安装和使用
前言如果对vue3的语法不熟悉的,可以移步Vue3.0基础入门Vue3.0基础入门快速入门。UI组件请参考官网:NaiveUi官网为什么选择naiveui不继续用elementui,因为尤大大推荐,可以尝试下,而且naiveui更贴近vue3的语法,当然易上手还是elementui好一点。github开源库:Vue3-Vite-Pinia-Naive-Jsgitee开源库:Vue3-Vite-Pi
yqcoder
·
2023-11-07 02:30
vue.js
前端
javascript
大数据组件 in K8S
大数据的发展历史大数据技术起源于Google在2004年前后发表的三篇论文,
分布式文件
系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable,俗称"三驾马车"。
无精疯
·
2023-11-06 23:22
【数据开发】大数据平台架构,Hive / THive介绍
其中,Hive是一种基于Hadoop的数据仓库工具,可以将结构化的数据映射到Hadoop的
分布式文件
系统上,并提供类SQL查询功能。
小哈里
·
2023-11-06 23:12
#
后端开发
大数据
架构
hive
创建Ceph文件系统
创建Ceph文件
系统搭建
Ceph集群过程省略,参考如下:https://blog.csdn.net/mengshicheng1992/article/details/1205671171、创建Ceph文件系统
mengshicheng1992
·
2023-11-06 18:11
Ceph
ceph
【大数据处理框架】Hadoop大数据处理框架,包括其底层原理、架构、编程模型、生态圈
文章目录底层原理架构编程模型生态圈Hadoop是一个开源的大数据处理框架,它包含了底层的
分布式文件
系统和分布式计算资源管理系统,以及高级的数据处理编程接口。
我是廖志伟
·
2023-11-06 15:41
#
大数据开发
hadoop
架构
大数据
vue全家桶+Echarts+百度地图,搭建数据可视化系统(【续】接口篇)
1.2业务分析上一篇分析的步骤大致有:
系统搭建
vue-clivuex记录登录信息vue-router路由跳转3个维度的页面,提取出共用的组件各个组件开发调节样式,增加UI加入后台接口数据优化显示测试上线上一篇介绍了
xrkffgg
·
2023-11-06 15:57
阿里终面:10亿数据如何快速插入MySQL
假设和面试官明确后,有如下约束10亿条数据,每条数据1Kb数据内容是非结构化的用户访问日志,需要解析后写入到数据库数据存放在Hdfs或S3
分布式文件
存储里10亿条数据并不是1个大文件,而是被近似切分为100
TNT报社
·
2023-11-06 13:49
mysql
数据库
大数据量
批量插入
Hadoopo-MapReduce(数据处理)
以Hadoop
分布式文件
系统(HadoopDistrributedFileSystem,HDFS)和MapReduce(GoogleMapReduce的开源实现)为核心的Hadoop,为用户提供了系统底层细节透明的分布式基
qq_42601983
·
2023-11-06 05:53
【基础篇】大数据学习笔记(4)相关名词解释
GFS:GoogleFileSystemGoogle文件系统HDFS:HadoopDsitributedFileSystemHadoop
分布式文件
系统Zookeeper:分布式应用程序协调服务,是Hadoop
风也醉
·
2023-11-06 02:54
MongoDB的简单了解
一、背景介绍MongoDB是由C++语言编写的,是一个基于
分布式文件
存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。
最不闪亮的那颗星
·
2023-11-06 02:38
vue+element 后台
系统搭建
实践
登录页项目说明:一个微信小程序的后台配置系统页面框架:vue+element-ui相关技术:vue2.0,element,webpack,vuerouter等资料参考:vue语法和用法http://t.cn/RaQp8eMvuerouter用法和语法http://t.cn/R1zW62Kelement组件用法http://t.cn/Rm7k76j搭建步骤:step1本地安装nodejs,npm[安
Ever月亮
·
2023-11-06 02:46
编程实现Hadoop按日期统计访问次数
一、实训目标(1)编程实现按日期统计访问次数二、实训环境(1)使用CentOSdLinux操作
系统搭建
的3个节点(2)使用JDK(3)使用Hadoop三、实训内容(1)统计用户在2016年度每个自然日的总访问次数
鸷鸟之不群
·
2023-11-05 23:20
Hadoop相关
hadoop
大数据
大数据技术中的数据存储
分布式文件
系统(DistributedFileSystem)
分布式文件
系统是大数据存储的基础。它能够将数据分布在不同的节点上,实现数据的分布式存储和访问。Hadoop
分布式文件
系统(HadoopDi
幻想世界中的绚丽色彩
·
2023-11-05 22:58
大数据
第3章.微服务网关鉴权JWT
第3章微服务网关限流&鉴权课程目标掌握微服务网关Gateway的
系统搭建
掌握网关限流的实现能够使用BCrypt实现对密码的加密与验证了解加密算法能够使用JWT实现微服务鉴权1.微服务网关Gateway1.1
快乐的狗蛋
·
2023-11-05 20:14
微服务网关鉴权:gateway使用、网关限流使用 用户密码加密 JWT鉴权
目标掌握微服务网关Gateway的
系统搭建
掌握网关限流的实现能够使用BCrypt实现对密码的加密与验证了解加密算法能够使用JWT实现微服务鉴权1.微服务网关Gateway1.1微服务网关概述不同的微服务一般会有不同的网络地址
Java佳佳
·
2023-11-05 20:42
程序员
java
编程
微服务
gateway
java
AI数字人直播
系统搭建
速成指南,部署源码详解!
随着直播行业的不断发展与创新,更多的商家,网红进军直播行列,他们看到了直播的大蛋糕,都想往里分一杯羹。AI数字人直播是一项革命性的媒体体验,通过结合人工智能和虚拟现实技术,为观众带来无与伦比的直播体验。这项技术不仅能够模拟真实的主持人形象,还能处理观众的提问,并提供高度个性化的参与体验。AI数字人直播能够生成栩栩如生的虚拟主持人形象,通过使用深度学习和计算机视觉技术,使得这些数字人看起来几乎和真实
互联网资讯
·
2023-11-05 19:20
数字人
人工智能
linux kvm集群 漂移,KVM虚拟化集群技术概述
笔者在生产环境使用的集群有两种存储方式,基于商业存储和基于开源
分布式文件
系统
weixin_39587822
·
2023-11-05 17:07
linux
kvm集群
漂移
大数据入门:Hadoop HDFS存储原理
HDFS即Hadoopdistributedfilesystem(hadoop
分布式文件
系统),在Hadoop当中负责分布式存储阶段的任务,它是一个分布式的文件
成都加米谷大数据
·
2023-11-05 16:35
基于tensorflow-gpu的果蔬识别
系统搭建
过程及遇到的问题
基于tensorflow-gpu的果蔬识别
系统搭建
过程及遇到的问题1简介2环境搭建2.1Pycharm安装2.2Conda安装2.3Tensorflow-gpu安装2.3.1cuda安装2.3.2cuDNN
陈星繁
·
2023-11-05 13:43
tensorflow
python
人工智能
深度学习
conda
MinIO
分布式文件
(对象)存储
简介MinIO是高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。在中国:阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品官网地址:http://www.minio.org.cn/下载官网下载(8.4.3版本):http://www.minio.org.cn/download.shtml1、拉取镜像(https://hub.docker.co
myprince003
·
2023-11-05 10:17
springcloud
分布式
MinIO
MongoDB基础操作
MongoDB是什么MongoDB是一个基于
分布式文件
存储的数据库。有C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。
魔炫Max
·
2023-11-05 10:10
FastFS OSS MinIO 区别
FastFS是一个
分布式文件
系统,它提供了高性能、高可靠性的文件存储和访问服务。它主要用于大规模数据存储和处理,适用于需要频繁读写大文件的场景。
李昊哲小课
·
2023-11-05 02:54
Java
java
linux
node教程(四)Mongodb+mongoose
Mongodb是一个基于
分布式文件
存储的数据库1.2数据库
释怀°Believe
·
2023-11-04 23:43
#
Node
mongodb
数据库
大数据中的
分布式文件
系统MapReduce的选择题
一.选择题一.单选题(共9题,49.5分)(单选题)下列传统并行计算框架,说法错误的是哪一项?A.刀片服务器、高速网、SAN,价格贵,扩展性差上B.共享式(共享内存/共享存储),容错性好C.编程难度高D.实时、细粒度计算、计算密集型正确答案:B:共享式(共享内存/共享存储),容错性好;5.5分(单选题)下列关于MapReduce模型的描述,错误的是哪一项?A.MapReduce采用“分而治之”策略
不想做程序猿的员
·
2023-11-04 22:39
大数据
mapreduce
树莓派4B搭建Ubuntu20.04系统实现网站部署(系统安装篇)
树莓派4B搭建Ubuntu20.04系统前言第一章下载
系统搭建
所需软件一、下载Ubuntu20.04服务器版本二、下载RaspberryPiImager树莓派镜像和ssh工具第二章安装Ubuntu服务器
深联微科
·
2023-11-04 14:38
树莓派4B
ubuntu
服务器
linux
【Hadoop】一、Apache Hadoop、 HDFS
用java语言实现,开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件HadoopHDFS(
分布式文件
存储系统):解决海量数据存储HadoopYARN(集群资源管理和任务调度框架
陌上人如玉এ
·
2023-11-04 11:55
大数据
hadoop
hdfs
apache
10亿数据如何快速插入MySQL?
假设和面试官明确后,有如下约束10亿条数据,每条数据1Kb数据内容是非结构化的用户访问日志,需要解析后写入到数据库数据存放在Hdfs或S3
分布式文件
存储里10亿条数据并不是1个大文件,而是被近似切分为100
yue_stack
·
2023-11-04 05:42
后端
windwos10搭建我的世界服务器,并通过内网穿透实现联机游戏Minecraft
6.创建隧道映射内网端口7.测试公网远程联机8.配置固定TCP端口地址8.1保留一个固定tcp地址8.2配置固定tcp地址9.使用固定公网地址远程联机今天和大家分享一下只需简单几步即可在windwos
系统搭建
我的世界服务器
虎头金猫
·
2023-11-03 19:57
IDEA
证书制作
博客之星
服务器
游戏
运维
elk分布式日志管理
系统搭建
elk分布式日志管理
系统搭建
一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统
准将
·
2023-11-03 17:26
大数据
数据库
big
data
elk
用CentOS搭建hadoop
hadoop是一个开源的大数据框架;hadoop是一个的分布式计算的解决方案;hadoop=HDFS(
分布式文件
操作系统)+MapReduce(分布式计算)。
我一定要研究生毕业.
·
2023-11-03 15:09
hadoop
centos
hdfs
mapreduce
centos安装配置hadoop超详细过程(含故障排除)
以Hadoop
分布式文件
系统(HDFS,HadoopDistributedFilesystem)和MapReduce(GoogleMapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构
格格巫 MMQ!!
·
2023-11-03 15:09
liunx
centos
Thingsboard搭建本地开发环境说明
JDK1.8+Maven3.6.1+NodeJs10.16.0+Gradle5.5.1+前提要求项目已经可以顺利build成功当前示例为Mac,windows与Mac的配置基本一致,建议使用类linux
系统搭建
第三方组件由于是开发环境
blogify
·
2023-11-03 13:22
ThingsBoard
Windows
系统搭建
网盘神器filebrowser结合内网穿透实现公网访问
Windows
系统搭建
网盘神器filebrowser结合内网穿透实现公网访问文章目录Windows
系统搭建
网盘神器filebrowser结合内网穿透实现公网访问前言1.下载安装FileBrowser2.
徐徐同学
·
2023-11-03 12:19
filebrowser
内网穿透
网络
OpenCloudOS9操作
系统搭建
Confluence8.0.4+Jira企业级WIKI
OpenCloudOS9操作
系统搭建
Confluence8.0.4+Jira企业级WIKI1.概要2.系统基础环境配置3.安装并配置MySQL3.1.安装MySQL3.2.MySQL基本配置3.3.创建
降世神童
·
2023-11-03 10:49
高级IT运维技术专栏
linux
系统架构
服务器
福建先壹金融简介,先壹金融洪俊杰!
全国招商,代理商享有独立后台,成为公司核心代理商后,免费传授公司专业
系统搭建
,金融财商商学院培训等业务。正规一清品牌,机器价格亲民,分润可观,支持携机入网,免加盟
心花怒放艺红
·
2023-11-03 08:04
上一页
10
11
12
13
14
15
16
17
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他