大规模无约束最优化

RHEL 安装 Hadoop 服务器

Hadoop是一个开源的分布式数据处理框架，用于处理大规模数据集。以下是在RHEL上安装Hadoop的详细步骤。
XhClojure·2025-02-20 13:41

20250218 隨筆 垂直分库分表（Vertical Sharding） 和 水平分库分表（Horizontal Sharding）

它们在大规模数据库优化、分布式架构设计中至关重要，主要用于降低单库压力、提高查询效率、支持高并发。
靈臺清明·2025-02-20 03:45

Redis安全机制与数据备份：保障数据安全与高可用性

然而，在大规模的生产环境中，Redis不仅需要关注性能，还需要具备高安全性和高可用性，以保障数据的完整性和持续服务。为此，Redis提供了一些安全机制和数据备份方案，帮助用户应对各种潜在的风险。
一碗黄焖鸡三碗米饭·2025-02-20 02:35

python中的深度学习框架TensorFlow 和 PyTorch 有什么区别？

这使得TensorFlow在大规模分布式训练和部署时具有优势，但调试和动态修改模型时可能不够灵活。功能全面：TensorFlow提
大懒猫软件·2025-02-20 00:51

本地运行 DeepSeek-R1 的成本究竟多高？

DeepSeek让人们对大规模生成式模型的追求更进一步，甚至有人想在本地跑下规模高达671B参数的版本。但要在家里开这种“巨无霸”，可不是闹着玩的：光是推理就对硬件提出了非常高的要求。
·2025-02-20 00:52

DeepSeek接入大数据能做什么

结合其核心能力提供创新解决方案：一、DeepSeek接入大数据领域的技术路径多模态数据处理能力支持文本/图像/视频/传感器数据的统一处理自主研发的MoE（MixtureofExperts）架构可并行处理异构数据超大规模特征工程基于千亿参数模型的自动特征提取支持非结构化数据的深度语义解析实时计算优化自研分布
PersistDZ·2025-02-19 22:59

GPU通信革命：跨平面网络效率提升300%的秘密武器

CN118612157A一、技术解析：突破AI算力瓶颈的底层创新1.技术背景：终结多平面网络CPU中转困境传统多平面网络中，跨平面GPU通信必须经过CPU内存拷贝，导致两大痛点：20-30%的通信带宽浪费在CPU中转环节大规模集群训练时
CodePatentMaster·2025-02-19 22:27

常用的高性能计算工具有哪些

一、高性能计算：定义与意义高性能计算（HPC）是一种利用超级计算机或大规模集群来处理复杂计算任务的技术。它通过并行计算和优化算法，
这题有点难度·2025-02-19 21:24

动态规划算法套路解析

动态规划概述动态规划是一种用于解决最优化问题的算法技术，它通过将复杂的问题分解为更简单的子问题，并利用这些子问题的解来构建原始问题的解。动态规划特别适用于那些拥有最优子结构和重叠子问题特性的问题。
xl.liu·2025-02-19 21:21

使用 Docker 部署 Apache Spark 集群教程

简介ApacheSpark是一个强大的统一分析引擎，用于大规模数据处理。
努力的小T·2025-02-19 20:48

【elasticsearch】reindex 断点续传

在进行大规模reindex时，由于数据量庞大或者网络/硬件故障，可能会发生中断。为了确保数据的完整性并支持中断后的续传，Elasticsearch提供了一些方法来实现断点续传。
infiniteWei·2025-02-19 19:39

正式开源：使用Kafka FDW 加载数据到 Apache Cloudberry™

ApacheCloudberry™(Incubating)由GreenplumDatabase核心开发者创建，是一款领先且成熟的开源大规模并行处理（MassivelyParallelProcessing
·2025-02-19 15:58

Houdini：Houdini光照与渲染基础_2024-07-16_02-34-24.Tex

Mantra的渲染质量高，特别适合于处理大规模的场景和复杂的视觉效果。Mantra渲染器的特点
chenjj4003·2025-02-19 14:21

cuda编程入门——并行归约(五)

其核心目标是通过并行化加速大规模数据集的聚合计算。关键概念操作类型：可结合且可交换的操作（如加法、乘法、最大值、最小值、逻辑与/或等）适合并行归约。
我不会打代码啊啊·2025-02-19 07:02

DeepSeek自研AI芯片，AI算力新变革？

有消息称，DeepSeek已开启大规模半导体设计人才招聘，种种迹象表明，其自研芯片计划已从设想步入实质推进阶段。
·2025-02-19 07:19

探索大数据处理：利用 Apache Spark 解锁数据价值

今天，我们来聊聊如何利用ApacheSpark进行大规模数据处理。ApacheSpark作为一个快速、通用的集群计算框架，以其出色的性能和丰富的API，成为大数据处理的利器。
Echo_Wish·2025-02-19 07:59

Python库 - transformers

这些模型在大规模文本
司南锤·2025-02-19 03:28

流行编程语言全解析：优势、应用与短板

适用领域数据科学与分析：处理和分析大规模数据集，进行数据可视化。典型示例：Google用Python进行数据分析，处理海量数据以支持各种业务决策。机器学习与人工智能：构建和训练模型。
a小胡哦·2025-02-19 03:27

揭密 scaling laws

ScalinglawsOpenAI在其早期的关于scalinglaws的论文[1]中提出了基础理论，但该文缺乏一些具体的求解过程，且未能在更大规模的模型上进行验证。
deardao·2025-02-19 00:23

大规模GPU集群的进阶之路

研发团队在负责制定硬件选型策略并设计优化下一代大规模GPU集群的软硬件架构时，我们需要关注GPU技术的最新进展、重点研究问题以及潜在的技术突破。一、GPU在重点研究的问题算力提升与
卢旗·2025-02-18 23:47

如何训练LLM“思考”（像o1和DeepSeek-R1一样, 高级推理模型解析

2024年9月，OpenAI发布了它的o1模型，该模型基于大规模强化学习训练，赋予了它“高级推理”能力。不幸的是，他们是如何做到这一点的细节从未被公开披露。
果冻人工智能·2025-02-18 22:06

关于前端产品在低代码上的探索：解锁中台架构的更多可能

撮合前端平台在低代码平台上的落地探索：解锁中台架构的更多可能前言在当前技术高速发展的环境中，中台架构的应用早已成为大规模企业的常态，尤其是在拥有多业务线的公司。
代码简单说·2025-02-18 21:52

【Elasticsearch】多索引(数据流)搜索

在Elasticsearch中，搜索多个数据流（datastreams）和索引（indices）是一个常见的操作，尤其是在处理大规模数据或跨多个数据源进行查询时。
risc123456·2025-02-18 19:07

NoSQL调研与学习（一）

随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展
JUNPR·2025-02-18 18:39

Jupyter notebook和 Jupyter lab内核死亡问题的原因和解决方案

首先明确一下jupyter出现内核死亡的原因：jupyterlab或者jupyternotebook本身是一个web服务，无法支持高并发和频繁的计算任务，对于大规模运行或高并发是不够能力处理，所以机会内核死亡
Y1nhl·2025-02-18 16:57

内存服务器主要是指什么？

内存服务器一般会采用分布式内存架构，将多个服务器节点组合成一个内存集群，可以进行共享内存资源，使内存服务器获得良好的扩展性，以此来支持一些大规模的并发操作；同时内存服务器可以存储
wanhengidc·2025-02-18 15:46

KubeEdge 1.20.0 版本发布

新版本针对大规模、离线等边缘场景对边缘节点和应用的管理、运维等能力进行了增强，同时新增了多语言Mapper-Framework的支持。
laowangsen·2025-02-18 08:04

DeepSeek对AI发展的范式革新与推动：研究报告

DeepSeek对AI发展的范式革新与推动：研究报告一、技术范式的突破：从“算力堆砌”到“极致工程化”DeepSeek的成功标志着AI发展从依赖大规模算力投入向算法优化与工程效率的转变。
芝士AI吃鱼·2025-02-18 05:57

HBase简介：高效分布式数据存储和处理

HBase的设计目标是为大规模数据存储和处理提供高吞吐量和低延迟的解决方案。它可以在成百上千台服务器上运行，并能够处理海量的结构化和半结构化数据。
代码指四方·2025-02-18 03:07

如何在Java中设计大规模稀疏数据处理架构

如何在Java中设计大规模稀疏数据处理架构大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
省赚客app开发者·2025-02-18 03:35

【LLM】大模型基础--大规模预训练语言模型的开源教程笔记

1.引言本文以DataWhale大模型开源教程为学习路线，进行一整个大模型的入门操作什么是语言模型语言模型是一种对词元序列（token）的概率分布，可以用于评估文本序列的合理性并生成新的文本。从生成文本的方式来看，LM（languagemodle）可以简单的分为：自回归模型非自回归模型特点逐字生成文本，每个词的生成都依赖于上文，关联性好一次性生成整个文本序列，不捕捉上文信息优点内容质量高生成速度快
Langchain·2025-02-18 02:00

redis sentinel模式 与 redis 分片集群 配置

模式高可用性数据分片部署复杂度适用场景Sentinel模式高无中等中小规模，需要高可用性集群模式高支持复杂大规模，需要高可用性和数据分片RedisSentinel模式（在主从复制的基础上引入Sentinel
癸酉金鸡·2025-02-17 22:36

计算机网络之路由算法（层次路由算法）

一、基本思想层次路由算法的基本思想是将大规模网络划分为多个层次或区域，每个区域内部的路由器运行相同的路由协议，并维护该区域内的路由信息。
DKPT·2025-02-17 21:58

使用Elasticsearch和Kibana进行查询的语法和编程实践

Elasticsearch和Kibana是一对强大的组合，用于处理和可视化大规模数据集。Elasticsearch是一个分布式的搜索和分析引擎，而Kibana是一个用于数据可视化和分析的开源工具。
一起去旅行Coding·2025-02-17 20:54

AIMv2：多模态自回归预训练的视觉新突破

在大规模数据集上进行预训练，能助力模型学习丰富的视觉特
·2025-02-17 20:28

Spring Batch批处理操作与实践

SpringBatch是一个强大的批处理框架，专为处理大规模数据和执行复杂批处理任务而设计。
面朝大海，春不暖，花不开·2025-02-17 14:58

DeepSeek 混合专家（MoE）架构技术原理剖析

DeepSeek混合专家（MoE）架构技术原理剖析在人工智能快速发展的当下，大规模语言模型不断突破创新，DeepSeek混合专家（MoE）架构脱颖而出，成为业内关注焦点。
计算机学长·2025-02-17 13:15

基于 GBase 数据库的海量数据处理与性能优化

GBase系列数据库（包括GBase8a、GBase8s和GBase8c）以其强大的性能、灵活的存储架构以及高效的查询优化功能，成为处理大规模数据的理想选择。
big crab·2025-02-17 12:13

如何进行存储容量规划？

关于ScaleFlux:ScaleFlux成立于2014年，是大规模
ScaleFlux锐钲·2025-02-17 04:05

高效高并发调度架构

以下是从架构层面为你提供的适合多核CPU、多GPU环境下API客户端、服务端高级调度，以实现高效并发大规模与用户交互的技术栈：通信协议gRPC：基于HTTP/2协议，具有高性能、低延迟的特点，支持二进制序列化
之群害马·2025-02-16 23:59

简化版奇异值分解（SVD）方法详解

然而，对于大规模数据或高维矩阵，计算和存储的开销非常大，因此提出了多种简化版的SVD方法。这些简化版方法在保证解的精度的同时，能够显著减少计算量和内存占用。
DuHz·2025-02-16 21:36

一、大模型微调的前沿技术与应用

大模型微调的前沿技术与应用随着大规模预训练模型（如GPT、BERT、T5等）的广泛应用，大模型微调（Fine-Tuning,FT）成为了提升模型在特定任务中性能的关键技术。
伯牙碎琴·2025-02-16 20:31

揭秘DeepSeek内幕：清华教授剖析AI模型技术原理

在本文中，清华大学长聘副教授将深入剖析DeepSeekR1背后的大规模强化学习技术及其基本原理，并进一步展望大模型技术未来的发展方向。
大模型.·2025-02-16 19:23

AI 大模型创业：如何利用市场优势？

这些大模型通过在大规模数据集上进行预训练，具备强大的泛化能力和适应性，能够广泛应用于自然语言处理（NLP）、计算机视觉（CV）、生成对抗网络（GAN）等多个领域。然而，
SuperAGI2025·2025-02-16 12:37

如何在大规模集群中优化缓存性能？

Hadoop的分布式缓存机制是一种用于在MapReduce任务中高效分发和访问文件的机制。通过分布式缓存，用户可以将小文件（如配置文件、字典文件等）分发到各个计算节点，从而提高任务的执行效率。分布式缓存的工作原理文件上传：用户将需要缓存的文件上传到HDFS（HadoopDistributedFileSystem）。文件路径可以在作业配置中指定。作业提交：在提交MapReduce作业时，用户可以通过
晚夜微雨问海棠呀·2025-02-16 11:53

集群与分片：深入理解及应用实践

分片的定义分片的类型集群与分片的关系集群的应用场景负载均衡高可用性分片的应用场景大数据处理数据库分片集群与分片的架构设计系统架构设计数据存储设计案例分析Hadoop集群Elasticsearch分片性能优化策略集群性能优化分片性能优化挑战和解决方案总结参考资料引言在现代计算系统中，处理大规模数据和提高系统的可靠性已经成为了基础需求
一休哥助手·2025-02-16 09:07

跟着ai辅助学习vue3

比如，Vue3采用了Proxy实现响应式系统，在性能上有显著提升，尤其是在处理大规模数据时，数据劫持的效率更高。
IT、木昜·2025-02-16 08:27

java 缓存篇2

基于slot进行水平分片高可用性部分支持（手动故障转移）高可用性，自动故障转移高可用性，自动故障转移及数据分片配置复杂度低中高扩展性低至中中高适用场景中小规模应用，读多写少需要高可用性且不需要分片的应用大规模分布式应用
dzl84394·2025-02-16 06:48

Elasticsearch和Kibana的安装部署及服务器配置

Elasticsearch和Kibana是一对强大的工具，用于搜索、分析和可视化大规模数据集。Elasticsearch是一个开源的分布式搜索和分析引擎，而Kibana是一个用于数据可视化的开源工具。
TpCode·2025-02-16 06:17

ADX物化视图的内存优化与去重策略

在AzureDataExplorer（ADX）中使用物化视图（MaterializedView）时，处理大规模数据集的去重和聚合操作时，可能会遇到内存问题。
t0_54coder·2025-02-16 05:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他