E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop云计算
云计算
基础-虚拟化概述
虚拟化概述虚拟化是一种资源管理技术,能够将计算机的各种实体资源(如CPU、内存、磁盘空间、网络适配器等)予以抽象、转换后呈现出来并可供分割、组合为一个或多个逻辑上的资源。这种技术通过在计算机硬件上创建一个抽象层,将单台计算机的硬件元素(处理器、内存、存储等)分成多个虚拟计算机(通常称为虚拟机(VM))。每个虚拟机都会运行自己的操作系统(OS),其行为就像一台独立的计算机,即使它只在一部分实际底层计
比特微联
·
2024-02-19 13:28
云计算
云计算
基础-
云计算
概念
云计算
定义
云计算
是一种基于互联网的计算方式,通过这种计算方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。
云计算
依赖资源共享以达成规模经济,类似基础设置(如电力网)。
比特微联
·
2024-02-19 13:27
云计算
笔记
云计算
基础-存储基础
存储概念什么是存储:存储就是根据不同的应用程序环境,通过采取合理、安全、有效的方式将数据保存到某些介质上,并能保证有效的访问,存储的本质是记录信息的载体。存储的特性:数据临时或长期驻留的物理介质需要保证数据能够及时的被读取或者保存需要保证数据完整安全有效什么是文件系统:文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NANDFlash的固态硬盘)或分区上的文件的方法和数据结构,即在存储设
比特微联
·
2024-02-19 13:27
云计算
云计算
----虚拟化概述、CPU虚拟化、内存虚拟化、IO虚拟化、aSV虚拟化、aSAN等技术原理
1、虚拟化概述(1)虚拟化的几个概念GuestOS:运行在虚拟机之上的操作系统GuestMachine:虚拟出来的虚拟机Hypervisor(VirtualMachineMonitor):虚拟化软件层/虚拟机监控器HostOS:运行在物理机之上的OSHostMachine:物理机(2)Hypervisor架构TYPE-II(宿主型、高居型):VMM之下还有一层宿主操作系统,GuestOS对硬件资源
冷鞘
·
2024-02-19 13:53
云计算
云计算
基础-存储虚拟化(深信服aSAN分布式存储)
什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘,实现服务器存储资源的统一整合、管理及调度,最终向上层提供NFS、ISCSI存储接口,供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。存储中的基本概念IOPS每秒钟的IOPS数,该指标主要用于评价小块IO性能,体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值
比特微联
·
2024-02-19 13:19
云计算
Sqoop 入门基础
简介Sqoop(SQLto
Hadoop
)是一个开源工具,用于在关系型数据库和
Hadoop
之间传输数据。
香菜的开发日记
·
2024-02-19 13:17
sqoop
hadoop
hive
hadoop
硬件配置 高可用 datanode namenode硬件配置
每个分布式文件系统分块在NameNode的内存中大小约为250个字节,此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小(64MB)同时副本因子为3,5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息,这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy
·
2024-02-19 13:07
HADOOP
K8S
hadoop硬件
田尚滨
ACK One:构建混合云同城容灾系统
作者:蔡靖对于当前业务运行在IDC内的Kubernetes集群中,希望通过
云计算
为云下业务提供同城灾备的高可用冗余能力,可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理,实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·
2024-02-19 12:35
从互联网到
云计算
再到 AI 原生,百度智能云数据库的演进
1数据库行业发展概述如果说今年科技圈什么最火,我估计大家会毫不犹豫选择ChatGPT。ChatGPT是2022年11月30日由OpenAI发布的聊天应用。它创造了有史以来用户增长最快的纪录:自11月30日发布起,5天就拥有了100万活跃用户,两个月就达到了一亿用户。对比其他热门应用,同样达到一亿用户量级,TikTok花了九个月,而像Instagram,Whatsapp等应用则超过了两年时间。Cha
·
2024-02-19 12:33
人工智能云原生云计算百度
ACK One:构建混合云同城容灾系统
作者:蔡靖对于当前业务运行在IDC内的Kubernetes集群中,希望通过
云计算
为云下业务提供同城灾备的高可用冗余能力,可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理,实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·
2024-02-19 12:31
【大数据】
HADOOP
-YARN-ContainerExecutor容器启动器详解
在NodeManager中,有三种运行Container的方式,它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中,我们就能看得出来,默认情况下,一定使用的是DefaultContainerExecutor。而一般情况下,DefaultContainerExecutor也确实能够满足我
笑起来贼好看
·
2024-02-19 11:38
Hadoop
大数据
hadoop
大数据
linux
学习篇-
Hadoop
-YARN-环境搭建
文章目录一、
Hadoop
-YARN-环境搭建一、
Hadoop
-YARN-环境搭建官网参考:https://
hadoop
.apache.org/docs/stable/
hadoop
-project-dist
东东爱编码
·
2024-02-19 11:08
hadoop
大数据
hadoop
【大数据】
HADOOP
-Yarn集群界面UI指标项详解(建议收藏哦)
目录首页(Cluster)节点信息SchedulerMetrics:集群调度信息节点信息详解(Nodes)应用列表信息(applications)队列详情页(Scheduler)指标详细说明(非常重要)首页(Cluster)集群监控信息指标详解AppsSubmitted:已提交的应用AppsCompleted:已完成的应用AppsRunning:正在运行的应用ContainersRunning:正
笑起来贼好看
·
2024-02-19 11:08
Hadoop
大数据
服务运维部署
大数据
hadoop
分布式
yarn
Hadoop
-Yarn-NodeManager都做了什么
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星
·
2024-02-19 11:00
hadoop
大数据
分布式
【2019-04-28】
Hadoop
分布式文件系统
Hadoop
自带HDFS(
hadoop
distributefilesystem)。HDFS默认数据块128M。
BigBigFlower
·
2024-02-19 11:56
Hadoop
搭建之 start-yarn.sh 报错
在搭建伪分布式的
Hadoop
集群环境时,在配置基础环境了并成功开启了HDFS组件后,jps查看已运行的名称节点和数据节点进程,[
hadoop
@master
hadoop
]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
hadoop
-2.7.4-nodemanager无法启动问题解决方案
近期新配了
hadoop
-274版本的集群,发现有一个小问题,DataNode无法顺利启动。
半肉哥
·
2024-02-19 11:27
hadoop
hadoop
-yarn资源分配介绍-以及推荐常用优化参数
如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为
Hadoop
2.x的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。
Winhole
·
2024-02-19 11:26
hadoop
Linux
Hadoop
-Yarn-NodeManager如何计算Linux系统上的资源信息
NodeResourceMonitorImpl)时只是提了下SysInfoLinux,下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.
hadoop
.util
隔着天花板看星星
·
2024-02-19 11:48
hadoop
大数据
linux
node命令yarn --version指向了java
问题描述本地安装了java、
hadoop
和nodejs,并配置了环境变量,但是
hadoop
的bin目录下存在yarn命令,所以使用nodejs的yarn命令启动项目会出现找不到类,此时键入yarn-version
码学弟
·
2024-02-19 11:43
前端
node.js
yarn
如何抓住游戏背后的
云计算
机遇?
导语|2024年伊始,《幻兽帕鲁》的火热就为新一年的游戏市场带来了极高的热度,无论是超千万份的销量还是关于游戏“缝合”与“借鉴”的争议,都使得开年游戏市场的销售前景与话题度拉满。而在游戏市场之外,云服务市场尤其是其面向个人或小团队的服务器租用服务,也意外凭借《幻兽帕鲁》的走红而完成了一次破圈。今天,我们特邀了中国信通院低代码/无代码推进中心技术专家沈欣老师,他将带我们解读从《幻兽帕鲁》游戏爆火聊聊
·
2024-02-19 11:24
程序员人工智能云计算
阿里
云计算
平台大数据基础工程技术团队直聘!!!
大数据基础工程技术团队,隶属于阿里云智能集团计算平台事业部,是一支负责阿里集团、公共云和混合云场景计算平台大数据&AI产品的稳定性建设、架构&成本优化、运维产品ABM(ApsaraBigdataManager)研发和售后技术专家支持的团队。通过软件工程,数据智能化的方法论,围绕数据系统化建设运维智能工具链,打造飞天大数据&AI运维管控平台ABM,解决超大规模分布式集群运维管理问题,提升产品的稳定性
·
2024-02-19 11:20
大数据
企业级大数据安全架构(一)平台安全隐患
1缺乏统一的访问控制机制大数据平台由
Hadoop
生态体系众多组件组成,而每个组件都会提供相应的WebUI界面和RESTful接口,例如Nam
·
2024-02-19 11:48
大数据企业级安全性
“数智乡村”数字人源码助力乡村振兴!
“数字乡村”强调数字技术在乡村振兴过程中的应用,“数智乡村”则指综合利用人工智能、大数据、区块链、
云计算
、物联网等数智技术,建设以乡村数智操作系统为代表的乡村新型基础设施,推动乡村产业数智化、乡村治理现代化
·
2024-02-19 11:13
人工智能
U盘版便携式Linux制作, casper-rw 解析
现在的
云计算
技术可以部分解决这个问题,但是远远不够。我的理想境界是,无论身处何地,一开机,看到的就是自己的电脑,或者相当于自己的电脑!
叶广明_微信ye_guangming
·
2024-02-19 11:59
linux
智慧公厕的主要应用
智慧公厕运用物联网、互联网、大数据、
云计算
和自动化控制等技术,实现了对公厕内部各方面情况的全面监测和精细管理。
中期科技ZONTREE
·
2024-02-19 10:52
智慧厕所
智慧公厕
中期科技
智慧城市与数字孪生:实现城市可持续发展的关键
二、智慧城市:可持续发展的技术支撑智慧城市通过运用物联网、
云计算
、
方案365
·
2024-02-19 10:11
数字孪生
智慧城市
人工智能
智慧城市
人工智能
数字孪生
嵌入式系统在智慧城市建设中的关键角色与挑战
它利用各种信息传感器,通过物联网、
云计算
、大数据等技术手段,实现城市管理的智能化、精细化。在这一过程中,嵌入式系统扮演着至关重要的角色。本文将探讨嵌入式系统在智慧城市建设中的关键作用及其面临的挑战。
科联学妹
·
2024-02-19 10:10
智慧城市
人工智能
MapReduce
MapReduce定义mapReduce是一个分布式运算程序的编程框架,是用户开发基于
hadoop
的数据分析应用的核心框架。
诺冰1314
·
2024-02-19 10:46
大数据
haoop
MapReduce
hadoop
mapreduce
大数据
低代码平台+阿里云存储:让业务开发更简单,数据存储更安全
前言随着
云计算
技术的不断发展,越来越多的企业开始将业务数据存储到云端。阿里云作为国内领先的
云计算
服务提供商,其云存储服务备受用户信赖。
·
2024-02-19 10:33
低代码阿里云
golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器
Golang是一种快速、高效的编程语言,它在
云计算
和分布式系统中广泛使用。随着软件工程越来越复杂,RPC(远程过程调用)框架成为了重要的组件之一。
SMILY12138
·
2024-02-19 10:32
golang
rpc
开发语言
Hive入门,Hive是什么?
它是建立在
Hadoop
生态系统之上的,利用
Hadoop
的分布式存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
优秀网络安全运营专家的成长之路
掌握必要的网络安全运营技能1、了解网络系统2、网络安全监控3、网络流量分析4、日志分析和搜索能力5、端点安全保护6、加入活跃的网络和安全社区7、紧跟最新的行业咨询二、中级阶段:更深入地了解网络威胁1、情报分析能力2、
云计算
安全
岛屿旅人
·
2024-02-15 10:35
网络安全
web安全
安全
大数据
网络
人工智能
Hive on Spark配置
pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-
hadoop
.tgz进入安装包所在目录cd/opt
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置hive on spark
hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件,添加如下配置:spark.yarn.jarshdfs://
hadoop
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on spark配置经验
常规配置配置完,开启
hadoop
,开启spark(如果在hdfs上上传了纯净版的spark则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为
hadoop
长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
IDC:中国
云计算
市场排名 阿里云占市场近半份额
权威研究机构IDC发布了2017年上半年中国公共云IaaS市场份额调研结果。数据显示,阿里云市场份额比2016年底上升7个百分点,市场份额扩大至47.6%,领先优势不断扩大。同期,市场第2至5位云服务商市场份额分别为9.6%、6.5%、6%和5.5%。其中,2017年上半年IaaS营收5亿美元,占据47.6%中国市场份额;云位居第二,营收约1亿美元左右,份额为9.6%;金山云位居第三,营收6839
weixin_34150224
·
2024-02-15 09:14
2017全球十大
云计算
平台市场占有率排行榜
从Google首席执行官埃里克·施密特(EricSchmidt)首次提出“
云计算
”(cloudcomputing)的概念到现在,
云计算
已经走过了炒作期和实践期,已经处于成熟期。
weixin_34418883
·
2024-02-15 09:14
java
数据库
中国
云计算
市场排名_中国
云计算
市场排名第一
百度智能云位列中国
云计算
市场前四|美通社在Canalys发布中国
云计算
市场2021年第二季度报告中,百度智能云排名前四,Q2环比增速高于整个市场水平。
菜菜菜菜菜菜艾迪
·
2024-02-15 09:14
python
巨大的市场潜力,细数2019国内
云计算
新排名
从国际环境看,
云计算
在全球都有稳定增长的市场。而在国内人口众多的背景下,
云计算
拥有着巨大的市场潜力。今天来盘点一下国内发展靠前的
云计算
排名。
z荒野求生
·
2024-02-15 09:14
云计算
行业客户信息
阿里巴巴首次跻身全球
云计算
市场前五 IBM份额下滑
据国外调研机构SynergyResearch最新发布的数据显示,在第四季度云收入增长104%的情况下,阿里巴巴首次进入了全球
云计算
市场前五的行列。
weixin_33724046
·
2024-02-15 09:44
数据库
2018年的全球
云计算
市场的情况是怎么样的
该报告显示,2018年全球
云计算
市场规模突破800亿美元,达到804亿美元,同比大幅增长46.5%;其中,2018年第四季度,全球
云计算
市场规模达到227亿美元,同比增长45.6%。
weixin_44370833
·
2024-02-15 09:44
云计算
力压国际云巨头,阿里云成为全球
云计算
市场领军者 ...
近日,国际调查机构Canalys发布了企业2018年全球
云计算
市场份额排名,数据显示,阿里巴巴力压IBM云,位列全球
云计算
市场第四名,并且也是唯一一家跻身前五的中国企业。
weixin_33985679
·
2024-02-15 09:14
大数据
忆享聚焦|全球
云计算
市场份额、数字虚拟人、“元宇宙”实体店……近期行业热点速览
“忆享聚焦”栏目第四期来啦!本栏目汇集近期互联网最新资讯,聚焦前沿科技,关注行业发展动态,筛选高质量讯息,拓宽用户视野,让您以最低的时间成本获取最有价值的行业资讯。1.工信部:增强新基建,适度超前推进网络、平台、安全三大体系建设工信部新闻发言人赵志国在国新办新闻发布会上表示,增强新基建,下好数字经济的“先手棋”。适度超前推进网络、平台、安全三大体系建设,提升工业互联网大数据中心、标识解析体系、安全
忆享科技
·
2024-02-15 09:13
devops
云计算
运维
自动化
物联网
阿里巴巴首次跻身全球
云计算
市场前五行列
据国外调研机构SynergyResearch最新发布的数据显示,在第四季度云收入增长104%的情况下,阿里巴巴首次进入了全球
云计算
市场前五的行列。
ctkx13896
·
2024-02-15 09:13
数据库
Q3全球
云计算
市场增速放缓 头部公司优势扩大
SynergyResearch公布了2018年第三季度全球
云计算
市场数据。报告显示,第三季度全球云基础设施服务花费同比增长45%,较今年前两个季度,本季度增速有所放缓。
大数网
·
2024-02-15 09:42
2023全球
云计算
市场份额排名
最近Synergy研究院发布了最新的全球
云计算
市场份额排名。亚马逊依旧是以31%的的市场份额排名第一,微软azure24%排名第二,Google云11%排名第三,阿里云4%排名第四。
#卢松松#
·
2024-02-15 09:10
云计算
(三十八)大数据实战——Atlas元数据管理平台的部署安装
本节内容是关于ApacheAtlas的部署安装,在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件,如
hadoop
、zo
厉害哥哥吖
·
2024-02-15 09:09
大数据
大数据
探访双十一活动大咖成长史:全职云大使讲述他的上云经验
随着越来越多大使的加入,云大使已经成为我们这些推广
云计算
人的代名词,今日小编有幸采访到拼团活动
阿里云大使社区
·
2024-02-15 08:08
广电智能|智慧监所解决方案!
智慧监所解决方案一、建设背景当前,全球新一轮科技革命方兴未艾,大数据、
云计算
、人工智能、移动互联、物联网等信息技术迅猛发展,正广泛而深刻的渗透和影响着人类生活,成为推动经济社会发展的强大引擎和提升国家治理能力的
广而电之
·
2024-02-15 07:15
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他