大规模集群

云端技术驾驭DAY07——Dockerfile详解、容器镜像制作、私有仓库

DAY01——云计算底层技术奥秘、云服务器磁盘技术、虚拟化管理、公有云概述云端技术驾驭DAY02——华为云管理、云主机管理、跳板机配置、制作私有镜像模板云端技术驾驭DAY03——云主机网站部署、web集群部署
川川野马·2024-08-30 04:45

Submit软件详细介绍

Submit软件详细介绍Submit是一款用于自动化任务提交和管理的软件工具，广泛应用于大规模计算、数据处理、以及其他需要批量任务管理的领域。
蚂蚱.top·2024-08-30 03:38

Kafka常用知识点梳理

部署kafka支持两种启动方式KafkawithKRaftKafkawithZooKeeper（4.0后将会被废弃）核心APIProducerAPI允许应用程序将数据流发送到Kafka集群中的主题ConsumerAPI
zhangj1125·2024-08-30 02:06

K8s之自动扩缩容

Kubernetes(K8s)的动态扩缩容（自动伸缩）功能是集群管理中非常关键的一部分，能够根据工作负载的变化自动调整应用程序的副本数，以确保资源的高效利用和服务的稳定性。
james二次元·2024-08-30 00:17

云计算day35

⼀、Docker-compose定义1.dockercompose是docker官⽅的开源项⽬，负责实现对docker容器集群的快速编排(容器，依赖，⽹络，挂载。。)
巭氼·2024-08-29 23:42

直播路由器的原理是什么

一、直播路由器的定义与功能直播路由器是一种专门设计用于支持大规模并发连接和高速数据传输的网络设备。它不同于普通家用或企业路由器，而是针对直播场景进行了优化，以应对直播过程中可能遇到的高带宽消耗、低
晓生谈跨境·2024-08-29 23:10

从零开始：Kubernetes 集群的搭建与配置指南，超详细，保姆级教程

从零开始搭建Kubernetes集群从零开始搭建Kubernetes(K8s)集群部署方式准备工作（所有节点）1.关闭防火墙2.关闭SELinux3.关闭Swap分区4.设置主机名5.配置网络设置6.安装
Lentr0py·2024-08-29 22:38

为什么k8s节点要保持配置一致

K8s集群包含了多个节点，其中每个节点运行着Kubernetes代理（kubelet）和容器运行时（如Docker）。
骑上单车去旅行·2024-08-29 22:34

虚拟机安装hadoop，hbase（单机伪集群模式）

虚拟机安装Hadoop，Hbase工作中遇到了大数据方面的一些技术栈，没有退路可言，只能去学习掌握它，就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统（HDFS）来存储数据，又提供了分布式计算框架（mapreduce）来对这些数据进行
流~星~雨·2024-08-29 21:31

[Other]-安装ruby、ascli、ascp

ascli是IBMAspera的命令行接口工具，用于管理和传输大规模数据。ascp是Aspera的核
ifanatic·2024-08-29 20:19

HIVE 数据模型

type=hive集群状态管理：http://tdxy-bigdata-03:7180/cmf/home基于HDFS没有专门的数据
HFDYCYY·2024-08-29 19:47

springboot集成kafka、消息发送、消费使用

jar引入代码示例:org.springframework.kafkaspring-kafka配置文件#kafka配置#指定kafka代理地址(集群配多个、中间、逗号隔开)spring.kafka.boot
‘’小磊·2024-08-29 18:42

QPS提升10倍怎么设计-JAVA后端经常用到的技术

例如，使用分布式服务器集群，将请求均匀地分配到各个节点上，避免单个服务器负载过高。升级服务器的硬件配置，如提高CPU性能、增加内存容量、使用更快的存储设备等。例如，采用多核处理
九张算数·2024-08-29 17:00

优秀的开源项目

目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP客户端业务层的分布式限流组件企业级微服务解决方案热keyhotkey:京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存
点滴~·2024-08-29 16:28

hbase ExportSnapshot迁移hbase表

在源集群上准备快照：snapshot'credit_dict','credit_dict_snapshot20221117'list_snapshots复制快照到目标集群：hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot
Rjunxiang·2024-08-29 16:56

HBase数据迁移实战

1.前期准备1.1确认集群使用的版本源HBase集群（以下称旧集群）和目的HBase集群（以下称新集群）的版本可能并不是一致的，特别是其底层所使用的HDFS版本信息。
网易数帆大数据·2024-08-29 16:25

分布式中间件

1.Nacos服务注册和服务发现原理图：1.服务提供方将集群信息注册到Nacos，并定期心跳包提供健康信息，宕机即剔除2.服务消费方定期拉取订阅信息，获取服务实例列表3.服务集群的负载均衡是在消费者一方进行选择负载均衡
C15751X·2024-08-29 16:54

全量、增量数据在HBase迁移的多种技巧实践

HBase全量与增量数据迁移的方法1.背景在HBase使用过程中，使用的HBase集群经常会因为某些原因需要数据迁移。
华为云技术精粹·2024-08-29 15:52

Hbase离线迁移

假设是hbase集群，那么数据存储在hdfs上。1.关闭2个hbase2.使用distcp将hdfs上的hbase数据迁移到另一个【相同路径】的hdfs上。
我要用代码向我喜欢的女孩表白·2024-08-29 15:22

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。
杰哥在此·2024-08-29 15:51

【零基础02】实战企业级K8S本地部署ThingsBoard专业版集群之二：戴尔R630本地服务器安装Linux Centos7.9系统

目录1、制作服务器启动U盘1.1、制作启动U盘准备工作1.1.1、确保制作启动U盘的Windows电脑处于联网状态1.1.2、下载Rufus 烧录软件1.1.3、下载Centos镜像文件1.1.4、准备1个8G以上的U盘1.2、使用Windows电脑制作启动U盘1.2.1、鼠标双击“rufus-3.19.exe”打开烧录软件1.2.2、弹出“当前无法访问>SmartScreen”窗口，点击“运行”
龙亘川·2024-08-29 13:37

HTML静态网页成品作业(HTML+CSS)——世博园介绍(2个页面)

2010年上海世博会是首次由中国举办，是世界博览会史上最大规模。总投资超过北
爱码网页成品·2024-08-29 12:29

探索开源性能监控的革新者——Matrix

它的核心优势在于能够以非侵入式的方式集成到现有的应用程序中，这意味着无需对现有代码进行大规模修改，即可实现对应用性能的全面监控。
辣码甄源·2024-08-29 11:25

2019-10-23

macat配置mysql集群异常1：TheslaveI/OthreadstopsbecausemasterandslavehaveequalMySQLserverUUIDs问题分析问题提示主从使用了相同的
袁小胜·2024-08-29 10:24

Pandas库性能优化指南：从基础到进阶（终）

然而，Pandas在处理大规模数据时可能会遇到性能瓶颈，导致执行效率低下。本文将深入探讨如何通过一系列优化技巧，提升Pandas的性能表现，确保代码既高效又保持可读性。
小高要坚强·2024-08-29 09:40

09-redis-conf配置文件基础介绍

redis-conf配置文件基础介绍这篇文章介绍了Redis-6.2.11的配置文件中的大多数配置，但是缺少集群的相关配置和其他一些配置，望大家知晓。
风在枝头·2024-08-29 08:34

算法备案的诸多好处

保障公共利益：防止因算法导致的大规模负面社会影响如错误信息传播、歧视性服务等。提升公众信任：公众对算法理解加深，减少因不透明带来的误解和恐惧3。
算法及大模型备案顾问刘老师·2024-08-29 07:01

Apache Druid安装部署手册

Coordinator监控Historical处理，负责分配segments到指定的服务，确保存在HIstorical中是自平衡的2.Overlord监控MiddleManager处理和控制数据加载进druid集群
长了手的兔子精·2024-08-29 03:30

【kubernetes】kubernetes 核心组件、角色介绍

worker节点是集群中的计算资源提供者，它运行应用程序的工作负载（容器）并由主控制节点进行管理。ControlPlane硅谷总部ControlPlane相当于硅谷总部࿰
九师兄·2024-08-29 02:21

向量数据库Faiss（Facebook AI Similarity Search）

向量数据库Faiss（FacebookAISimilaritySearch）是FacebookAIResearch开发的一款高效且可扩展的相似性搜索和聚类库，专门用于处理大规模向量数据的搜索和检索任务。
shiming8879·2024-08-29 01:46

向量数据库Faiss的详细介绍和搭建使用教程

Faiss能够快速处理大规模数据，支持在高维空间中进行相似性搜索。它通过将候选向量集封装成一个index数据库，加速检索相似向量的过程，尤其在一些最有用的算法上实现了GPU加速。
大白菜程序猿·2024-08-29 01:14

Openstack 与 Ceph集群搭建(下)： Openstack部署

文章目录文章参考部署节点准备1.修改Host文件与hostname名称2.安装NTP软件3.网卡配置信息4.开启Docker共享挂载5.安装python虚拟环境6.安装kolla-ansible7.加载AnsiblegalaxyrequirementsOpenstack安装前预配置1.配置密码2.配置multinode文件3.修改全局配置文件Openstack正式安装1.启动bootstrap-s
范枝洲·2024-08-29 01:43

Hdfs的机架感知与副本放置策略

ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分,有效地提高了数据的可靠性,可用性和性能,使其成为处理大规模数据的理想选择
sheansavage·2024-08-29 01:42

39-nacos eureka zookeeper区别

支持集群部署和高可用。Eureka是Netflix开源的一款提供服务注册和发现的产品。设计思路是AP（可用性和分区容忍性）。不支
weixin_41775999·2024-08-28 22:56

学语言好？还是学技术好？英语学好了，去其他国家照样拿高薪吗？现在都卷成程序员开始加紧学语言了（此语言不是java语言等计算机语言）

没办法，不上不下，窝在中间的程序员苦呀程序员出国做开发，开始了智力转移的大规模迁徙：可以从如下角度思考一、职业发展角度拓宽职业机会：掌握英语可以让程序员接触到更广泛
九张算数·2024-08-28 21:48

Java高级技术day75：Zookeeper与Dubbo

的介绍1.Zookeeper介绍：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr的分布式集群都用到了
开源oo柒·2024-08-28 20:54

《美妙天堂》系列动画将举办联合演唱会 PV公开

根据TAKARATOMY和DONGWOOA&E共同开发的卡街机游戏《美妙天堂》改编的三部动画《美妙天堂》《美妙天堂偶像时间》《闪亮美妙频道》宣布将举办史上最大规模演唱会，同时官方还公开了动画《闪亮美妙频道
肥宅拯救世界·2024-08-28 20:45

Ovirt中的GWT框架

参考文档：如何在ovirt中使用GWT框架为页面新增组件ovirt前端代码分析定位页面ovirt中的页面规则，以集群为例：集群列表页面MainClusterView.java，类似页面MainNetworkView.javaMainHostView.javatab
ctrlcvKing·2024-08-28 19:03

Clickhouse 集群部署安装

ClickHouse集群部署安装1、环境准备（1）、阿里云服务器两台集群节点信息192.168.5.13ch01192.168.5.14ch02（2）、修改/etc/cloud/cloud.cfg(所有节点
想当厨子的小章同学·2024-08-28 14:59

clickhouse集群部署

单节点设置为了延迟演示分布式环境的复杂性，我们将首先在单个服务器或虚拟机上部署ClickHouse。ClickHouse通常是从deb或rpm包安装，但对于不支持它们的操作系统也有其他方法。例如，您选择deb安装包，执行:sudoapt-getinstall-yapt-transport-httpsca-certificatesdirmngrsudoapt-keyadv--keyserverhkp
林鸟鸟·2024-08-28 14:29

汇总：20个Linux服务器性能调优技巧

Linux高可用服务器集群解决方案让IT系统管理员可以从容应对许多常见的硬件和软件故障，允许多台计算机一起工
开源Linux·2024-08-28 14:58

【离线安装clickhouse集群】

离线安装clickhouse集群clickhouse介绍Clickhouse是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统，在OLAP领域像一匹黑马一样，以其超高的性能受到业界的青睐。
eddianliu·2024-08-28 14:56

clickhouse集群搭建

文章目录安装clickhouse修改集群配置文件启动clickhouse集群测试集群的可用性安装clickhouse本次用了4台服务器搭建clickhouse集群，使用rpm安装方式在4台服务器上安装clickhouse
颍天·2024-08-28 14:56

k8s上的clickhouse集群部署并创建分布式表（附详细参数说明和参考链接）

k8s上的clickhouse集群部署并创建分布式表制作docker镜像创建configmap创建clickhouseservicepod创建clickhouseclientpod创建Service创建分布式表部署总体参考
KirutoCode·2024-08-28 14:56

读写分离集群搭建

目录一、配置读写分离集群1、环境说明2、数据准备3、配置主库GRP1_RWW_01配置dm.ini配置dmmal.ini配置dmarch.ini配置dmwatcher.ini启动主库设置OGUID修改数据库模式
奥德彪的蕉·2024-08-28 11:41

kubeadm部署k8s1.25.3一主二从集群(Containerd)

第一章：K8S集群部署kubernetes集群规划主机IP主机名主机配置角色10.0.0.3master12C/4G管理节点10.0.0.4node12C/4G工作节点10.0.0.5node22C/4G
陌殇殇殇·2024-08-28 11:09

《陈天奇：机器学习科研的十年》阅读笔记

0、作者介绍陈天奇是机器学习领域著名的青年华人学者之一，本科毕业于上海交通大学ACM班，博士毕业于华盛顿大学计算机系，研究方向为大规模机器学习。
Bunny_Ben·2024-08-28 11:07

5G网络，解锁无人驾驶大门的最后一把钥匙

全文共3181字，阅读时长约为8分钟图片来源：泰伯网图片来源|自采、网络撰文|先声会出品|先声会先声论：实现无人驾驶的技术关键是5G网络大规模应用。
先声会·2024-08-28 10:23

Spark on YARN

ApacheSpark和ApacheHadoopYARN是两个紧密相关的项目，它们经常一起使用来处理大规模数据集。
静听山水·2024-08-28 09:26

大规模语言模型从理论到实践：智能代理的组成

大规模语言模型从理论到实践：智能代理的组成关键词：大规模语言模型、智能代理、自然语言处理、深度学习、知识表示、推理机制、应用场景文章目录大规模语言模型从理论到实践：智能代理的组成1.背景介绍2.核心概念与联系
AGI通用人工智能之禅·2024-08-28 08:21
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他