大规模集群

<转>Spark体系架构

看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的“spark-architecture”这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多
yongjian_luo·2024-09-07 20:11

K8S发布应用步骤详解

比如使用Maven；3.编写Dockerfile文件，把步骤2产生的包制作成镜像；4.上传步骤3的镜像到远程仓库，比如Harhor；5.编写Deployment文件；6.提交Deployment文件到k8s集群
cn--萍诚1号·2024-09-07 20:10

漫谈我们的理想：你还记得曾经的理想吗？

少年时，我们对于未来展开过大规模的想象。这些想象基调是乐观主义的，我们的歌者用《明天会更好》来表达这种乐观。小时候我们父母和长辈都会问我们：“长大后的理想是什么？想要当什么？”
如沐春枫·2024-09-07 19:59

在外打工的70、80和90后们，两大难题已日益严重，早做准备早解决

现如今农村似乎已经不再是居民安居乐业的最佳场所，随着城市集群的出现，越来越多的老百姓更喜欢前往中大型城市寻找就业的机会。
李妖罐子·2024-09-07 17:55

cephadm搭建ceph文件集群存储

一、基础配置1、配置主机名[root@ecs-cd34~]hostnamectlset-hostnamenode1[root@ecs-cd34~]execbash#主机名生效2、配置hosts解析（根据自己的服务器id修改）cat>>/etc/hosts/etc/docker/daemon.json<
L__liurs·2024-09-07 16:41

存储集群消除pg数量过多的告警

[root@xxxxxxxxxxxxxx~]#ceph-scluster334cfe7e-9ccc-483d-8d2c-218fde3a5fdehealthHEALTH_WARNtoomanyPGsperOSD(307>max300)nodeep-scrubflag(s)setmonmape1:3monsat{node1=100.88.28.11:6789/0,node2=100.88.28.12
大 大金·2024-09-07 15:36

阿里云服务器8核16G配置多少钱？2024年活动价格及收费标准价格表

8核16G配置的阿里云服务器选择不同实例规格和地域，其收费标准和活动价格都是不一样的，2024年3月1日，阿里云率先宣布云产品大规模调价，其中云服务器最高降幅达36%，因此8核16G配置的收费标准相比往年又有所变化
阿里云最新优惠和活动汇总·2024-09-07 14:00

速盾：没有备案的网站能否接入CDN使用？

CDN作为一个分布式的网络服务器集群，可以将网站的静态资源存储在离用户最近的服务器上，从而加快资源的访问速度。然而，CDN服务提供商在为网站提供CDN服务之前，需要对网站进行一系列的备案手续。
速盾cdn·2024-09-07 13:52

kubernetes集群下部署kafka+zookeeper单机部署方案

背景：注：在kubernetes集群上部署单机版的zookeeper+kafka服务，是采用了kubernetes中的deploment组件+service组件+pvc存储组件1、部署zookeeper
jiang0615csdn·2024-09-07 12:17

图像去噪算法代码c语言,深度学习图像去噪代码

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
weixin_39777018·2024-09-07 11:40

linux搭建ceph集群

linux三节点搭建ceph集群主机IP主机名称172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds
浓黑的daidai·2024-09-07 11:05

企业大规模部署机器学习模型的困境

作者|JustinGage译者|Sambodhi编辑|VincentAI前线出品｜ID：ai-frontAI前线导语：“尽管人工智能正在被广泛应用，但大规模部署基于AI的产品如此之难，不过，一些新技术正被寄以厚望改变这一现状
AI前线·2024-09-07 11:57

部署EFK

1.安装JDK，配置JAVA环境2.安装配置Tomcat3.Tomcat配置说明4.启动Tomcat5.优化Tomcat启动速度四、配置Elasticsearch环境五、安装elasticsearch集群
m0_59430185·2024-09-07 10:35

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka
降世神童·2024-09-07 07:42

Python处理大数据，如何提高处理速度

一、利用大数据分析工具Dask：https://dask.org/Dask简介：Dask支持Pandas的DataFrame和NumpyArray的数据结构，并且既可在本地计算机上运行，也可以扩展到在集群上运行
RS&·2024-09-07 07:08

k8s｜组件基本概念

kubernetes是一个可移植的，可扩展的开源平台，是Google开源的容器集群管理系统（谷歌内部:Borg)，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。
yygr·2024-09-07 05:55

3. ceph-mimic版本部署

环境规划2、系统基础环境准备2.1关闭防火墙、SELinux2.2确保所有主机时间同步2.3所有主机ssh免密2.4添加所有主机解析3、配置ceph软件仓库4、安装ceph-deploy工具5、ceph集群初始化
Martin_wjc·2024-09-07 03:11

mysql连接oceanbase数据库集群+租户

useUnicode=true&characterEncoding=UTF-8&serverTimezone=UTC//其他参数根据需求设置username:[用户名]@[租户名]#[集群名]password
AE_·2024-09-07 02:36

为什么需要分布式数据库

令人“头都大了”的分库分表中间件10多年前阿里因此原因不得不把淘宝后台系统从OracleRAC切换到数百个MySQL集群构成的分库分表集群，不过那时的淘宝仅仅使用一个分库分表中间件，名为tddl（又名：
KunlunBase 昆仑数据库·2024-09-06 21:08

5G NTN网络架构标准化演进的思考

【摘要】目前，5G正在全球范围内大规模商用。然而，传统5G网络在部署方面受到地理条件和成本的制约，还无法实现全球的无缝覆盖。
罗伯特之技术屋·2024-09-06 21:06

如何搭建一个渲染农场

在影视特效、动画制作、建筑设计等领域，渲染农场作为高性能计算集群的应用，扮演着至关重要的角色。它通过将大量的渲染任务分配到多个计算节点上并行处理，极大地提升了渲染效率，缩短了项目周期。
炫云云渲染·2024-09-06 20:01

在Conda环境中高效使用Kubernetes：跨平台容器化实践指南

本文将探讨如何在Conda环境中使用Kubernetes，包括设置Conda环境、容器化应用程序以及在Kubernetes集群中部署和管理这些应用程序。
liuxin33445566·2024-09-06 20:59

redis cluster

文章目录节点CLUSTERMEET命令的实现槽指派传播节点的槽指派信息复制与故障转移故障检测故障转移选举新的主节点节点一个Redis集群通常由多个节点（node）组成，在刚开始的时候，每个节点都是相互独立的
黑夜无路人·2024-09-06 20:27

Kubectl：Kubernetes 的强大命令行工具

它就像是一位全能的指挥官，让用户能够与Kubernetes集群进行高效而直接的交互。无论是管理容器化应用的部署、监控资源的使用情况，还是处理故障排查等任务，kubectl都发挥着不可或缺的作用。
编程点滴·2024-09-06 19:55

经验笔记：NoSQL数据库及其缓存方法实践

NoSQL数据库及其缓存方法实践经验笔记随着大数据时代的到来，传统的关系型数据库在处理大规模数据时面临诸多挑战，如扩展性不足、性能瓶颈等问题。
漆黑的莫莫·2024-09-06 19:50

第04课：基于 Redis 的分布式缓存实现及加固策略

本文将从Redis-Cluster搭建切入，详解集群的创建原理和加固策略。之后，分析集群所存在的几种可靠性问题并给出解决方案，最后，介绍一个集群运维软件的实现方案。
Jin_Kwok·2024-09-06 18:13

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持
Helen_Cat·2024-09-06 18:35

027、架构_资源_GTM

系统级GTM：默认的GTM，当创建分片集群时，如果不创建实例级GTM，则会用系统级GTM本章节主要介绍GTM集群的新增、删除、配置、绑定等管理操作。
数哥·2024-09-06 18:41

PolarDB for PostgreSQL 内核解读：HTAP架构介绍

存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力，对一套TP的数据支持两套执行引擎：单机执行引擎用于处理高并发的OLTPMPP跨机分布式执行引擎用于复杂的OLAP查询，发挥集群多个
阿里云技术·2024-09-06 16:28

81.MySQL-PXC高可用集群

[OK]当前集群只有一个节点。my
戒掉贪嗔痴(薛双奇)·2024-09-06 15:58

mysql8.0使用PXC实现高可用

使用PXC实现高可用1.概述官方文档:PerconaXtradbCluster8.0DocumentationPXC（PerconaXtraDBCluster）是一个开源的高可用性、高性能的MySQL集群解决方案
帽子运维笔记·2024-09-06 15:24

k8s安装test

k8s集群部署准备工作三台centos7虚拟机（内存每个节点4G）[root@master~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core
qBeautifulBoy·2024-09-06 15:23

Kafka 如何保证数据不丢失？不重复

缺点：这样保证了高可用，但是这会导致集群的吞吐量不是很高，因为数据发送到broker之后，leader要将数据同步到fllower上，如果网
优秀后端工程师·2024-09-06 15:23

MySQL 高可用--PXC

1.PXC(PerconaXtradbCluster)Percona：基于MySQL数据库已二次开发的数据库产品xtradb：存储引擎Cluster：集群1.1概念：PXC是属于一套比较完美的MySQL
行走的猫儿·2024-09-06 15:52

常见大模型框架

BigGAN：开发者：DeepMind特点：在大规模数据集上训练的高质量图像生成模型，特别适用于高分辨率图像生成。CycleGAN：特点：用于图像到图像的转换任务，如风格迁移，无需成对的训练数据。
AI小夜·2024-09-06 14:43

OSPF与BGP深层次详细对比

：常见应用场景总结：TCPIP模型层次：OSPF网络层BGP应用层以太网邻居建立方式：OSPF：组播（协议号89）BGP：TCP单播（端口号179）路由承载数量：OSPF：1w，路由承载能力强，常见于大规模网络
冯富江的技术博客·2024-09-06 12:59

【Spark高级应用】使用Spark进行高级数据处理与分析

提出问题如何进行高效的大规模数据处理？如
爱技术的小伙子·2024-09-06 10:47

Spark一些个人总结

一、Spark是什么Spark是一个用来实现快速，通用的集群
易逑实战数据·2024-09-06 09:39

2024年高教社杯数学建模国赛赛题浅析——助攻快速选题

E题数据量较大，重点在于大规模交通数据的分析与优化，适合擅长交通工程和
BZD数模社·2024-09-06 08:06

Kafka-设计原理

ControllerLeader-PartitionRebalance消息发布机制HW与LEO日志分段ControllerKafka核心总控制器Controller：在Kafka集群中会有一个或者多个broker
姜希成·2024-09-06 07:59

Kafka

Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。以下是Kafka的一些关键概念和架构，以及其工作原理的详细介绍。
傲雪凌霜，松柏长青·2024-09-06 07:57

芯擎SEC1000支持摄像头和屏幕的数量根据分辨率和帧率详细计算

1.CPU集群4×Cortex-A76和4×Cortex-A55:Cor
空间机器人·2024-09-06 06:53

Spark MLlib模型训练—聚类算法 K-means

ApacheSpark提供了K-means聚类算法的高效实现，支持大规模数据的分布式计算。本文将详细介绍K-means聚类算法的原理，并结合Spark
不二人生·2024-09-06 04:14

k8s pod container内存指标说明

一、问题描述我司平台研发的devops平台底层采用k8s实现，k8s自带cadvisor进行集群指标收集，根据官网，我们选用了container_memory_working_set_bytes（容器的工作集使用量
yifeiliu338·2024-09-06 04:43

python分布式集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.

实现scrapy-redis对进行url的去重以及调度，利用redis的高效和易于扩展能够轻松实现高效率下载：当redis存储或者访问速度遇到瓶颈时，可以通过增大redis集群数和爬虫集群数量改善版本支持现在支持
weixin_39781930·2024-09-06 00:17

云计算之云数据库

云数据库：架构在云端数据库集群上，通过云服务的方式让关系型数据库的可靠性更高，免去繁琐的维护工作，节约硬件成本，其具备以下特点：云数据库特点：1：管理方便：可以自动备份、弹性扩展。
weixin_34320724·2024-09-06 00:17

【论文阅读】LLM4CP: Adapting Large Language Models for Channel Prediction（2024）

isaneffectiveapproach（有效方法）forreducingthefeedback（减少反馈）orestimationoverhead（估计开销）inmassivemulti-inputmulti-output（大规模多输入输出
Bosenya12·2024-09-05 23:39

Python NumPy 库详解

大家好，在当今数据驱动的世界中，处理大规模数据、进行复杂数值计算是科学研究、工程设计以及数据分析的关键任务之一。
寒秋丶·2024-09-05 23:37

字节跳动10万节点HDFS集群多机房架构演进之路(1)

如何高效运维如此超大规模的集群要回答这些问题需要HDFS从多个方向迭代优化，例如DanceNN的上线、运维平台的建设等，本文不会介绍字节跳动HDFS所有的演进方案，而是聚焦在HDFS多机房架构的演进策略上
2401_84122782·2024-09-05 21:23

Hadoop组件

HBase提供了实时读写访问大量结构化和半结构化数据的能力，非常适合大规模数据存储。Pig：一种高级数据流语言和执行引擎，用于编写MapReduce任务。Pig
静听山水·2024-09-05 20:14
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他