Hadoop云计算

云计算基础-华为存储实验

存储配置流程创建硬盘域（CK，包括热备CK）创建存储池（CKG、Extent）创建LUN、LUN组、将LUN加入LUN组创建主机、主机组、将主机加入主机组创建映射视图（LUN组和主机组的映射）1.创建CK创建硬盘域就是创建CK，CK可以包含各种不同类型的硬盘一个硬盘域可以创建多个存储池热备策略：预留多少空间当热备空间硬盘域创建成功后可以看到该CK的状态等信息2.创建CKG及extent(图片为视频
比特微联·2024-02-19 13:28

云计算基础-大页内存

大页内存功能概述什么是大页内存简单来说，就是通过增大操作系统页的大小来减小页表，从而避免快表缺失主要应用场景主要运用于内存密集型业务的虚拟机，比如对于运行数据库系统的虚拟机，采用HugePages(大页)后，可以提升数据库的整体性能(越20%)，并有效减小性能抖动内存基本概念CPU访问内存时，是去通过寻址去访问内存的，寻址最终寻的是内存的物理地址，物理地址是通过虚拟地址映射出去的，在这里引入了一个
比特微联·2024-02-19 13:58

云计算基础-快照与克隆

快照及克隆什么是快照快照是数据存储的某一时刻的状态记录，也就是把虚拟机当前的状态保存下来(快照不是备份，快照保存的是状态，备份保存的是副本)快照优点速度快，占用空间小快照工作原理在了解快照原理前，首先需要知道两个概念：索引/数据和差分盘索引和数据（indexnode/datablock）首先要了解，每一个文件系统都是有两部分组成的：索引和数据（indexnode/datablock）,索引有时候也
比特微联·2024-02-19 13:28

云计算基础-虚拟机迁移原理

什么是虚拟机迁移虚拟机迁移是指将正在运行的虚拟机实例从一个物理服务器（或主机）迁移到另一个物理服务器（或主机）的过程，而不会中断虚拟机的运行。虚拟机拟机迁移分类虚热迁移：开机状态下迁移冷迁移：关机状态下迁移虚拟机可以迁移哪些东西？1.虚拟机的配置文件2.虚拟机的内存呢3.虚拟机的磁盘文件虚拟机配置文件迁移虚拟机配置文件迁移就是从主机A将虚拟机的配置文件移动至主机B的过程首先看配置文件，在执行迁移前
比特微联·2024-02-19 13:28

云计算基础-备份和容灾

什么是备份？什么是容灾？备份：备份是容灾的基础，通常指在数据中新内，将全部或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质的过程。备份的本质就是存储数据的“复制”，目的是以外发生后的数据恢复备份本质是把一份数据复制到另一份数据上，比如把生产存储的数据复制到其他地方(备份存储等)，当生产存储故障了，可以用备份的存储数据恢复或使用备份存储顶替生产存储容灾：容灾系统是指在相隔较远的异地，建立两套或
比特微联·2024-02-19 13:28

云计算基础-计算虚拟化-CPU虚拟化

CPU指令系统在CPU的工作原理中，CPU有不同的指令集，如下图，CPU有4各指令集：Ring0-3，指令集是在服务器上运行的所有命令，最终都会在CPU上执行，但是CPU并不是说所有的命令都是一视同仁的，它会把命令分为不同的指令集Ring0指令集称之为内核态指令集，改啊指令集里面啊运行的主要是操作系统访问硬件、关键数据结构，运行中断等。Ring1-2指令集主要运行的是设备驱动的命令Ring3指令集
比特微联·2024-02-19 13:58

云计算基础 -NUMA

UMAUMA中文翻译叫：一致性内存访问多个CPU通过同一根前端总线（FSB）来访问内存（所有的内存访问都需要通过北桥芯片来完成），若多个CPU访问内存的不同内存单元还是相同内存单元，同一时刻，只有一个CPU能够访问内存随着CPU内核越来越多，性能越来越强，现在已经有双路、四路的服务器，若是UMA架构的话，前端总线很容易造成瓶颈NUMANUMA中文翻译：非一致性内存访问NUMA解决了UMA架构所有C
比特微联·2024-02-19 13:58

云计算基础-虚拟化概述

虚拟化概述虚拟化是一种资源管理技术，能够将计算机的各种实体资源（如CPU、内存、磁盘空间、网络适配器等）予以抽象、转换后呈现出来并可供分割、组合为一个或多个逻辑上的资源。这种技术通过在计算机硬件上创建一个抽象层，将单台计算机的硬件元素（处理器、内存、存储等）分成多个虚拟计算机（通常称为虚拟机(VM)）。每个虚拟机都会运行自己的操作系统(OS)，其行为就像一台独立的计算机，即使它只在一部分实际底层计
比特微联·2024-02-19 13:28

云计算基础-云计算概念

云计算定义云计算是一种基于互联网的计算方式，通过这种计算方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算依赖资源共享以达成规模经济，类似基础设置(如电力网)。
比特微联·2024-02-19 13:27

云计算基础-存储基础

存储概念什么是存储：存储就是根据不同的应用程序环境，通过采取合理、安全、有效的方式将数据保存到某些介质上，并能保证有效的访问，存储的本质是记录信息的载体。存储的特性：数据临时或长期驻留的物理介质需要保证数据能够及时的被读取或者保存需要保证数据完整安全有效什么是文件系统：文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NANDFlash的固态硬盘）或分区上的文件的方法和数据结构，即在存储设
比特微联·2024-02-19 13:27

云计算----虚拟化概述、CPU虚拟化、内存虚拟化、IO虚拟化、aSV虚拟化、aSAN等技术原理

1、虚拟化概述（1）虚拟化的几个概念GuestOS：运行在虚拟机之上的操作系统GuestMachine：虚拟出来的虚拟机Hypervisor(VirtualMachineMonitor)：虚拟化软件层／虚拟机监控器HostOS：运行在物理机之上的OSHostMachine：物理机（2）Hypervisor架构TYPE-II(宿主型、高居型）：VMM之下还有一层宿主操作系统，GuestOS对硬件资源
冷鞘·2024-02-19 13:53

云计算基础-存储虚拟化（深信服aSAN分布式存储）

什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。存储中的基本概念IOPS每秒钟的IOPS数，该指标主要用于评价小块IO性能，体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能，该值
比特微联·2024-02-19 13:19

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:35

从互联网到云计算再到 AI 原生，百度智能云数据库的演进

1数据库行业发展概述如果说今年科技圈什么最火，我估计大家会毫不犹豫选择ChatGPT。ChatGPT是2022年11月30日由OpenAI发布的聊天应用。它创造了有史以来用户增长最快的纪录：自11月30日发布起，5天就拥有了100万活跃用户，两个月就达到了一亿用户。对比其他热门应用，同样达到一亿用户量级，TikTok花了九个月，而像Instagram，Whatsapp等应用则超过了两年时间。Cha
·2024-02-19 12:33

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:31

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

如何抓住游戏背后的云计算机遇？

导语|2024年伊始，《幻兽帕鲁》的火热就为新一年的游戏市场带来了极高的热度，无论是超千万份的销量还是关于游戏“缝合”与“借鉴”的争议，都使得开年游戏市场的销售前景与话题度拉满。而在游戏市场之外，云服务市场尤其是其面向个人或小团队的服务器租用服务，也意外凭借《幻兽帕鲁》的走红而完成了一次破圈。今天，我们特邀了中国信通院低代码/无代码推进中心技术专家沈欣老师，他将带我们解读从《幻兽帕鲁》游戏爆火聊聊
·2024-02-19 11:24

阿里云计算平台大数据基础工程技术团队直聘！！！

大数据基础工程技术团队，隶属于阿里云智能集团计算平台事业部，是一支负责阿里集团、公共云和混合云场景计算平台大数据&AI产品的稳定性建设、架构&成本优化、运维产品ABM（ApsaraBigdataManager）研发和售后技术专家支持的团队。通过软件工程，数据智能化的方法论，围绕数据系统化建设运维智能工具链，打造飞天大数据&AI运维管控平台ABM，解决超大规模分布式集群运维管理问题，提升产品的稳定性
·2024-02-19 11:20

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

“数智乡村”数字人源码助力乡村振兴！

“数字乡村”强调数字技术在乡村振兴过程中的应用，“数智乡村”则指综合利用人工智能、大数据、区块链、云计算、物联网等数智技术，建设以乡村数智操作系统为代表的乡村新型基础设施，推动乡村产业数智化、乡村治理现代化
·2024-02-19 11:13

U盘版便携式Linux制作, casper-rw 解析

现在的云计算技术可以部分解决这个问题，但是远远不够。我的理想境界是，无论身处何地，一开机，看到的就是自己的电脑，或者相当于自己的电脑！
叶广明_微信ye_guangming·2024-02-19 11:59

智慧公厕的主要应用

智慧公厕运用物联网、互联网、大数据、云计算和自动化控制等技术，实现了对公厕内部各方面情况的全面监测和精细管理。
中期科技ZONTREE·2024-02-19 10:52

智慧城市与数字孪生：实现城市可持续发展的关键

二、智慧城市：可持续发展的技术支撑智慧城市通过运用物联网、云计算、
方案365·2024-02-19 10:11

嵌入式系统在智慧城市建设中的关键角色与挑战

它利用各种信息传感器，通过物联网、云计算、大数据等技术手段，实现城市管理的智能化、精细化。在这一过程中，嵌入式系统扮演着至关重要的角色。本文将探讨嵌入式系统在智慧城市建设中的关键作用及其面临的挑战。
科联学妹·2024-02-19 10:10

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

低代码平台+阿里云存储：让业务开发更简单，数据存储更安全

前言随着云计算技术的不断发展，越来越多的企业开始将业务数据存储到云端。阿里云作为国内领先的云计算服务提供商，其云存储服务备受用户信赖。
·2024-02-19 10:33

golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器

Golang是一种快速、高效的编程语言，它在云计算和分布式系统中广泛使用。随着软件工程越来越复杂，RPC（远程过程调用）框架成为了重要的组件之一。
SMILY12138·2024-02-19 10:32

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

优秀网络安全运营专家的成长之路

掌握必要的网络安全运营技能1、了解网络系统2、网络安全监控3、网络流量分析4、日志分析和搜索能力5、端点安全保护6、加入活跃的网络和安全社区7、紧跟最新的行业咨询二、中级阶段：更深入地了解网络威胁1、情报分析能力2、云计算安全
岛屿旅人·2024-02-15 10:35

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

IDC：中国云计算市场排名 阿里云占市场近半份额

权威研究机构IDC发布了2017年上半年中国公共云IaaS市场份额调研结果。数据显示，阿里云市场份额比2016年底上升7个百分点，市场份额扩大至47.6%，领先优势不断扩大。同期，市场第2至5位云服务商市场份额分别为9.6%、6.5%、6%和5.5%。其中，2017年上半年IaaS营收5亿美元，占据47.6%中国市场份额；云位居第二，营收约1亿美元左右，份额为9.6%；金山云位居第三，营收6839
weixin_34150224·2024-02-15 09:14

2017全球十大云计算平台市场占有率排行榜

从Google首席执行官埃里克·施密特(EricSchmidt)首次提出“云计算”(cloudcomputing)的概念到现在，云计算已经走过了炒作期和实践期，已经处于成熟期。
weixin_34418883·2024-02-15 09:14

中国云计算市场排名_中国云计算市场排名第一

百度智能云位列中国云计算市场前四|美通社在Canalys发布中国云计算市场2021年第二季度报告中,百度智能云排名前四,Q2环比增速高于整个市场水平。
菜菜菜菜菜菜艾迪·2024-02-15 09:14

巨大的市场潜力，细数2019国内云计算新排名

从国际环境看，云计算在全球都有稳定增长的市场。而在国内人口众多的背景下，云计算拥有着巨大的市场潜力。今天来盘点一下国内发展靠前的云计算排名。
z荒野求生·2024-02-15 09:14

阿里巴巴首次跻身全球云计算市场前五 IBM份额下滑

据国外调研机构SynergyResearch最新发布的数据显示，在第四季度云收入增长104%的情况下，阿里巴巴首次进入了全球云计算市场前五的行列。
weixin_33724046·2024-02-15 09:44

2018年的全球云计算市场的情况是怎么样的

该报告显示，2018年全球云计算市场规模突破800亿美元，达到804亿美元，同比大幅增长46.5%；其中，2018年第四季度，全球云计算市场规模达到227亿美元，同比增长45.6%。
weixin_44370833·2024-02-15 09:44

力压国际云巨头，阿里云成为全球云计算市场领军者 ...

近日，国际调查机构Canalys发布了企业2018年全球云计算市场份额排名，数据显示，阿里巴巴力压IBM云，位列全球云计算市场第四名，并且也是唯一一家跻身前五的中国企业。
weixin_33985679·2024-02-15 09:14
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他