云计算云存储分布式高性能云原生

Apache Flink连载（二十六）：TaskSlot任务槽-（1）-TaskSlot&SlotSharingGroup

豹哥教你学编程个人主页-哔哩哔哩视频提交到集群中的Flink程序最终会转换成一个个的Subtask，Subtask是Flink任务调度的基本单元，这些task最终被发送到不同的TaskManager节点上分布式执行
IT贫道·2024-02-19 13:41

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是
技术武器库·2024-02-19 13:10

极狐GitLab 与 Flux 集成实现 GitOps

关于GitOps的更多详细内容可以查看本公众号过往的文章：云原生时代，你还不懂GitOps？让KAS给GitOps插上腾飞的翅膀极狐GitLab和ArgoCD
·2024-02-19 13:11

[Flink02] Flink架构和原理

1、运行模式Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为FlinkOnYARN模式；还可以使用Flink自带的资源调度系统
YoungerChina·2024-02-19 13:32

Go应用性能分析实战

Go很适合用来开发高性能网络应用，但仍然需要借助有效的工具进行性能分析，优化代码逻辑。本文介绍了如何通过gotestbenchmark和pprof进行性能分析，从而实现最优的代码效能。
·2024-02-19 13:07

云计算实训室建设方案2024

云计算课程体系云计算实训课程体系设计依据一、培养目标唯众公司提供创新技术教育和服务的目标，旨在提高人才培养质量，扩大就业创业，推动经济转型升级，以及培育新的经济发展动能。
武汉唯众智创·2024-02-19 13:00

云计算基础-华为存储实验

存储配置流程创建硬盘域（CK，包括热备CK）创建存储池（CKG、Extent）创建LUN、LUN组、将LUN加入LUN组创建主机、主机组、将主机加入主机组创建映射视图（LUN组和主机组的映射）1.创建CK创建硬盘域就是创建CK，CK可以包含各种不同类型的硬盘一个硬盘域可以创建多个存储池热备策略：预留多少空间当热备空间硬盘域创建成功后可以看到该CK的状态等信息2.创建CKG及extent(图片为视频
比特微联·2024-02-19 13:28

云计算基础-大页内存

大页内存功能概述什么是大页内存简单来说，就是通过增大操作系统页的大小来减小页表，从而避免快表缺失主要应用场景主要运用于内存密集型业务的虚拟机，比如对于运行数据库系统的虚拟机，采用HugePages(大页)后，可以提升数据库的整体性能(越20%)，并有效减小性能抖动内存基本概念CPU访问内存时，是去通过寻址去访问内存的，寻址最终寻的是内存的物理地址，物理地址是通过虚拟地址映射出去的，在这里引入了一个
比特微联·2024-02-19 13:58

云计算基础-快照与克隆

快照及克隆什么是快照快照是数据存储的某一时刻的状态记录，也就是把虚拟机当前的状态保存下来(快照不是备份，快照保存的是状态，备份保存的是副本)快照优点速度快，占用空间小快照工作原理在了解快照原理前，首先需要知道两个概念：索引/数据和差分盘索引和数据（indexnode/datablock）首先要了解，每一个文件系统都是有两部分组成的：索引和数据（indexnode/datablock）,索引有时候也
比特微联·2024-02-19 13:28

云计算基础-虚拟机迁移原理

什么是虚拟机迁移虚拟机迁移是指将正在运行的虚拟机实例从一个物理服务器（或主机）迁移到另一个物理服务器（或主机）的过程，而不会中断虚拟机的运行。虚拟机拟机迁移分类虚热迁移：开机状态下迁移冷迁移：关机状态下迁移虚拟机可以迁移哪些东西？1.虚拟机的配置文件2.虚拟机的内存呢3.虚拟机的磁盘文件虚拟机配置文件迁移虚拟机配置文件迁移就是从主机A将虚拟机的配置文件移动至主机B的过程首先看配置文件，在执行迁移前
比特微联·2024-02-19 13:28

云计算基础-备份和容灾

什么是备份？什么是容灾？备份：备份是容灾的基础，通常指在数据中新内，将全部或部分数据集合从应用主机的硬盘或阵列复制到其他存储介质的过程。备份的本质就是存储数据的“复制”，目的是以外发生后的数据恢复备份本质是把一份数据复制到另一份数据上，比如把生产存储的数据复制到其他地方(备份存储等)，当生产存储故障了，可以用备份的存储数据恢复或使用备份存储顶替生产存储容灾：容灾系统是指在相隔较远的异地，建立两套或
比特微联·2024-02-19 13:28

云计算基础-计算虚拟化-CPU虚拟化

CPU指令系统在CPU的工作原理中，CPU有不同的指令集，如下图，CPU有4各指令集：Ring0-3，指令集是在服务器上运行的所有命令，最终都会在CPU上执行，但是CPU并不是说所有的命令都是一视同仁的，它会把命令分为不同的指令集Ring0指令集称之为内核态指令集，改啊指令集里面啊运行的主要是操作系统访问硬件、关键数据结构，运行中断等。Ring1-2指令集主要运行的是设备驱动的命令Ring3指令集
比特微联·2024-02-19 13:58

云计算基础 -NUMA

UMAUMA中文翻译叫：一致性内存访问多个CPU通过同一根前端总线（FSB）来访问内存（所有的内存访问都需要通过北桥芯片来完成），若多个CPU访问内存的不同内存单元还是相同内存单元，同一时刻，只有一个CPU能够访问内存随着CPU内核越来越多，性能越来越强，现在已经有双路、四路的服务器，若是UMA架构的话，前端总线很容易造成瓶颈NUMANUMA中文翻译：非一致性内存访问NUMA解决了UMA架构所有C
比特微联·2024-02-19 13:58

云计算基础-虚拟化概述

虚拟化概述虚拟化是一种资源管理技术，能够将计算机的各种实体资源（如CPU、内存、磁盘空间、网络适配器等）予以抽象、转换后呈现出来并可供分割、组合为一个或多个逻辑上的资源。这种技术通过在计算机硬件上创建一个抽象层，将单台计算机的硬件元素（处理器、内存、存储等）分成多个虚拟计算机（通常称为虚拟机(VM)）。每个虚拟机都会运行自己的操作系统(OS)，其行为就像一台独立的计算机，即使它只在一部分实际底层计
比特微联·2024-02-19 13:28

云计算基础-云计算概念

云计算定义云计算是一种基于互联网的计算方式，通过这种计算方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算依赖资源共享以达成规模经济，类似基础设置(如电力网)。
比特微联·2024-02-19 13:27

云计算基础-存储基础

存储概念什么是存储：存储就是根据不同的应用程序环境，通过采取合理、安全、有效的方式将数据保存到某些介质上，并能保证有效的访问，存储的本质是记录信息的载体。存储的特性：数据临时或长期驻留的物理介质需要保证数据能够及时的被读取或者保存需要保证数据完整安全有效什么是文件系统：文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NANDFlash的固态硬盘）或分区上的文件的方法和数据结构，即在存储设
比特微联·2024-02-19 13:27

云计算----虚拟化概述、CPU虚拟化、内存虚拟化、IO虚拟化、aSV虚拟化、aSAN等技术原理

1、虚拟化概述（1）虚拟化的几个概念GuestOS：运行在虚拟机之上的操作系统GuestMachine：虚拟出来的虚拟机Hypervisor(VirtualMachineMonitor)：虚拟化软件层／虚拟机监控器HostOS：运行在物理机之上的OSHostMachine：物理机（2）Hypervisor架构TYPE-II(宿主型、高居型）：VMM之下还有一层宿主操作系统，GuestOS对硬件资源
冷鞘·2024-02-19 13:53

云计算基础-存储虚拟化（深信服aSAN分布式存储）

什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间
比特微联·2024-02-19 13:19

300分钟吃透分布式缓存-02讲：如何根据业务来选择缓存模式和组件？

缓存读写模式如下图，业务系统读写缓存有3种模式：&CacheAside（旁路缓存）&Read/WriteThrough（读写穿透）&WriteBehindCaching（异步缓存写入）CacheAside如上图所示，CacheAside模式中，业务应用方对于写，是更新DB后，直接将key从cache中删除，然后由DB驱动缓存数据的更新；而对于读，是先读cache，如果cache没有，则读DB，同时
机智阳·2024-02-19 13:12

31、商城系统（十三）：缓存：springboot集成redis，使用redisson用作分布式锁，缓存一致性解决方案，集成SpringCache，并自定义过期时间、序列化

目录一、集成redis（有问题版本）1.引入依赖2.配置redis的ip端口3.修改之前的查询接口
鹏哥哥啊Aaaa·2024-02-19 13:10

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。
xcagy·2024-02-19 13:07

云原生之容器编排实践-在K8S集群中使用Registry2搭建私有镜像仓库

背景基于前面搭建的3节点Kubernetes集群，今天我们使用Registry2搭建私有镜像仓库，这在镜像安全性以及离线环境下运维等方面具有重要意义。Note:由于是测试环境，以下创建了一个local-storage的StorageClass，并使用本地磁盘的方式创建使用PV，实际建议使用NFS。虚机资源共用到了三台虚机，1台作为Master节点，2台Worker节点。主机名IP说明k8s-mas
Heartsuit·2024-02-19 13:01

云原生之容器编排实践-基于CentOS7搭建三个节点的Kubernetes集群

背景前面采用minikube作为Kubernetes环境来体验学习Kubernetes基本概念与操作，这样避免了初学者在裸金属主机上搭建Kubernetes集群的复杂度，但是随着产品功能的逐渐完善，我们需要过渡到生产环境中的K8S集群模式；而在实际上生产环境之前，我们先在本地虚拟机上进行了环境搭建与流程验证，作为新的起点，今天就先搭建一个3节点的Kubernetes集群。虚机资源共用到了三台虚机，
Heartsuit·2024-02-19 13:31

spring cloud和dubbo比较

DubboDubbo是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的RPC实现服务的输出和输入功能，可以和Spring框架无缝集成。
爱宝宝n·2024-02-19 12:17

渲染效果图为什么都选择使用云渲染，优势有哪些？

一、云渲染与本地渲染的比较1.渲染速度云渲染可以利用分布式渲染技术，同时调用多台高性能服务器进行渲染，大大缩短了渲染时间，比本地渲染节省了几十
小白的建模·2024-02-19 12:09

探索XGBoost：深度集成与迁移学习

模型集成模型集成是一种通过组合多个模型来提高性能的技术。XGBoost提供了集成多个弱学习器的功能，可以通过设置booster参数来选择集成模型。以下是一个简单的示例：i
Echo_Wish·2024-02-19 12:34

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:35

精彩回顾 I DatenLord Hackathon 2023圆满结束！

达坦科技基于其跨云分布式文件系统DatenLord项目，结合AI大模型时代背景，搭建了擂台。我们邀请参赛者为DatenLord的极端场景设计并实现缓存p2p传输和同步模块。
·2024-02-19 12:34

阿里云参编业内首个代码大模型标准丨云原生 2024 年 1 月产品技术动态

云原生月度动态云原生是企业数字创新的最短路径。《阿里云云原生每月动态》，从趋势热点、产品新功能、服务客户、开源与开发者动态等方面，为企业提供数字化的路径与指南。
·2024-02-19 12:34

从互联网到云计算再到 AI 原生，百度智能云数据库的演进

1数据库行业发展概述如果说今年科技圈什么最火，我估计大家会毫不犹豫选择ChatGPT。ChatGPT是2022年11月30日由OpenAI发布的聊天应用。它创造了有史以来用户增长最快的纪录：自11月30日发布起，5天就拥有了100万活跃用户，两个月就达到了一亿用户。对比其他热门应用，同样达到一亿用户量级，TikTok花了九个月，而像Instagram，Whatsapp等应用则超过了两年时间。Cha
·2024-02-19 12:33

阿里云 ACR 制品中心 AI/大数据镜像专场上新推荐榜

同时，开发人员在考虑如何通过云原生技术，以统一架构、统一技术堆栈支撑更多类型的工作负载，从而进一步降低企业服务的运维成本。
·2024-02-19 12:02

2.16日学习打卡----初学Dubbo(一)

2.16日学习打卡目录:2.16日学习打卡一.什么是分布式？二.什么是RPC?
中北萌新程序员·2024-02-19 12:54

ACK One：构建混合云同城容灾系统

作者：蔡靖对于当前业务运行在IDC内的Kubernetes集群中，希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台ACKOne[1]来提供统一得流量、应用和集群管理，实现业务流量的多集群路由和灾难情况下的流量的自动平滑容灾
·2024-02-19 12:31

RabbitMQ：分布式系统中的高效消息队列

摘要RabbitMQ是一款开源、高度可靠、灵活性强的消息队列系统，被广泛应用于分布式系统中。
张万森的救赎·2024-02-19 12:48

【Redis篇】详解布隆过滤器（原理 | 操作 | 代码）

文章目录简述布隆过滤器原理存入过程查询过程️‍优缺点⭐优点⭐缺点代码实现（本地）代码实现（分布式）简述布隆过滤器布隆过滤器的由来可以追溯到1970年代，由一个名叫BurtonHowardBloom的美国计算机科学家提出
在下小吉.·2024-02-19 12:29

现阶段适用于 单一架构 还是 分布式架构 ？

分布式架构：优势：可以提高应用程序的可用性、可扩展性和弹性；各个服务之间通过定义的接口进行通信，彼此独立，互不干扰。劣势：开发和部署比较复杂，需要考虑分布式系统的一些问题，如分布式
小Mie不吃饭·2024-02-19 12:41

基于python的分布式爬虫框架_基于scrapy-redis的通用分布式爬虫框架

spiderman基于scrapy-redis的通用分布式爬虫框架目录demo采集效果爬虫元数据cluster模式standalone模式kafka实时采集监控功能自动建表自动生成爬虫代码，只需编写少量代码即可完成分布式爬虫自动存储元数据
summer_ccs·2024-02-19 11:39

机器人初识 —— 电机传动系统

一、背景波士顿动力公司开发的机器人，其电机传动系统是其高性能和动态运动能力的核心部分。电机传动系统通常包括以下几个关键组件：1.
初心不忘产学研·2024-02-19 11:06

深入解析鸿蒙系统的页面路由（Router）机制

鸿蒙系统以其独特的分布式架构和跨设备的统一体验而备受瞩目。在这个系统中，页面路由（Router）机制是连接应用各页面的关键组成部分。
OpenHarmony_小贾·2024-02-19 11:32

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。HDFS有两类工作节点：一个管理节点namenode、多个工作节点datenode，namenode维护文件系统树以及整颗树内所有的文件和目录。namenode记录每个文件中各个数据块所在的数据节点信息。但不永久保存块的位置信息，这些信息会在系统启动时根据数据节点信息重建。namenode
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

云原生之容器管理工具Portainer

1.简介前面文章我们讲Docker、DockerCompose和DockerSwarm都是在Linux系统上手工命令行去操作，在第一次安装的时候可以命令行，以后运维和CICD流程操作中，如果还要命令行去各个节点操作，操作就麻烦了，工作效率就低了，我们需要有一个集中管理的系统，而且是web界面化的管理系统，而且是开源的，Portainer正是这样的系统。Portainer是一款开源的容器管理工具系统
鬓戈·2024-02-19 11:27

云原生之Docker镜像仓库

1.前言同为虚拟化技术，Docker相对于VMWare有什么特点，或者最吸引我的特点？我认为最主要的是DockerImage技术，它让我们非常方便地把应用程序包和其依赖环境打包成一个Docker镜像文件，而且这个文件相对来说还非常小，一般就是几M到几十M，然后不管是开发环境、测试环境、预发布环境还是各个线上环境，只要环境里安装了DockerEngine就可以行为一致地运行起来，不需要去考虑烦人的目
鬓戈·2024-02-19 11:27

Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)

分布式爬虫(scrapy_redis)分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。
Chimengmeng·2024-02-19 11:22

微信发送一条消息经历哪些过程。企业微信以及钉钉的IM架构对比

目前已经写的IM的文章分布式websocket即时通信(IM)系统构建指南【第七期】分布
呆呆呆呆梦·2024-02-19 11:49

云原生之容器编排-Docker Swarm

可以定义和运行多容器应用程序，用一个YAML配置文件来声明式管理服务，在一台安装了Dockerengine的Linux系统上可以很好的工作，但是现实中不可能只有一台Linux系统，一台Linux系统不可能有足够的资源运行所有的云原生应用系统
鬓戈·2024-02-19 11:48

基于scrapy框架的单机爬虫与分布式爬虫

我们知道，对于scrapy框架来说，不仅可以单机构建复杂的爬虫项目，还可以通过简单的修改，将单机版爬虫改为分布式的，大大提高爬取效率。
Jesse_Kyrie·2024-02-19 11:47

【区块链技术开发语言】在ubuntu18 系统环境下命令操作配置以太坊go-ethereum环境

一、概述项目简介：以太坊是一个基于区块链技术的分布式平台，用于构建去中心化应用程序（DApps）。go-ethereum是以太坊官方开发团队维护的Go语言实现的以太坊客户端，也被称为Geth。
源代码杀手·2024-02-19 11:41

如何抓住游戏背后的云计算机遇？

导语|2024年伊始，《幻兽帕鲁》的火热就为新一年的游戏市场带来了极高的热度，无论是超千万份的销量还是关于游戏“缝合”与“借鉴”的争议，都使得开年游戏市场的销售前景与话题度拉满。而在游戏市场之外，云服务市场尤其是其面向个人或小团队的服务器租用服务，也意外凭借《幻兽帕鲁》的走红而完成了一次破圈。今天，我们特邀了中国信通院低代码/无代码推进中心技术专家沈欣老师，他将带我们解读从《幻兽帕鲁》游戏爆火聊聊
·2024-02-19 11:24

读TiDB源码聊设计：浅析HTAP的SQL优化器

1.引子如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？
·2024-02-19 11:23
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他