大规模数据测试

企业大规模部署机器学习模型的困境

作者|JustinGage译者|Sambodhi编辑|VincentAI前线出品｜ID：ai-frontAI前线导语：“尽管人工智能正在被广泛应用，但大规模部署基于AI的产品如此之难，不过，一些新技术正被寄以厚望改变这一现状
AI前线·2024-09-07 11:57

大数据测试

大数据测试主要测试的点涵盖了多个方面，以确保大数据系统能够正常运行并满足业务需求。
这不巧了·2024-09-07 10:32

5G NTN网络架构标准化演进的思考

【摘要】目前，5G正在全球范围内大规模商用。然而，传统5G网络在部署方面受到地理条件和成本的制约，还无法实现全球的无缝覆盖。
罗伯特之技术屋·2024-09-06 21:06

经验笔记：NoSQL数据库及其缓存方法实践

NoSQL数据库及其缓存方法实践经验笔记随着大数据时代的到来，传统的关系型数据库在处理大规模数据时面临诸多挑战，如扩展性不足、性能瓶颈等问题。
漆黑的莫莫·2024-09-06 19:50

如何做大数据测试

测试流程及测试方法没有太大的区别，重点说一下大数据测试相比传统测试的区别：1、数据规模：大数据测试所涉及的数据规模通常是海量级别的，而普通测试所涉及的数据规模较小。
测试界潇潇·2024-09-06 18:47

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持
Helen_Cat·2024-09-06 18:35

常见大模型框架

BigGAN：开发者：DeepMind特点：在大规模数据集上训练的高质量图像生成模型，特别适用于高分辨率图像生成。CycleGAN：特点：用于图像到图像的转换任务，如风格迁移，无需成对的训练数据。
AI小夜·2024-09-06 14:43

OSPF与BGP深层次详细对比

：常见应用场景总结：TCPIP模型层次：OSPF网络层BGP应用层以太网邻居建立方式：OSPF：组播（协议号89）BGP：TCP单播（端口号179）路由承载数量：OSPF：1w，路由承载能力强，常见于大规模网络
冯富江的技术博客·2024-09-06 12:59

【Spark高级应用】使用Spark进行高级数据处理与分析

提出问题如何进行高效的大规模数据处理？如
爱技术的小伙子·2024-09-06 10:47

2024年高教社杯数学建模国赛赛题浅析——助攻快速选题

E题数据量较大，重点在于大规模交通数据的分析与优化，适合擅长交通工程和
BZD数模社·2024-09-06 08:06

Kafka

Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。以下是Kafka的一些关键概念和架构，以及其工作原理的详细介绍。
傲雪凌霜，松柏长青·2024-09-06 07:57

Spark MLlib模型训练—聚类算法 K-means

ApacheSpark提供了K-means聚类算法的高效实现，支持大规模数据的分布式计算。本文将详细介绍K-means聚类算法的原理，并结合Spark
不二人生·2024-09-06 04:14

【论文阅读】LLM4CP: Adapting Large Language Models for Channel Prediction（2024）

isaneffectiveapproach（有效方法）forreducingthefeedback（减少反馈）orestimationoverhead（估计开销）inmassivemulti-inputmulti-output（大规模多输入输出
Bosenya12·2024-09-05 23:39

Python NumPy 库详解

大家好，在当今数据驱动的世界中，处理大规模数据、进行复杂数值计算是科学研究、工程设计以及数据分析的关键任务之一。
寒秋丶·2024-09-05 23:37

字节跳动10万节点HDFS集群多机房架构演进之路(1)

如何高效运维如此超大规模的集群要回答这些问题需要HDFS从多个方向迭代优化，例如DanceNN的上线、运维平台的建设等，本文不会介绍字节跳动HDFS所有的演进方案，而是聚焦在HDFS多机房架构的演进策略上
2401_84122782·2024-09-05 21:23

Hadoop组件

HBase提供了实时读写访问大量结构化和半结构化数据的能力，非常适合大规模数据存储。Pig：一种高级数据流语言和执行引擎，用于编写MapReduce任务。Pig
静听山水·2024-09-05 20:14

海外云服务对比： AWS、GCP、Azure 与 DigitalOcean

当用户选择云服务提供商来托管他们的网站或应用时，许多人会在这三家超大规模提供商之间做出选择。
DO_Community·2024-09-05 17:25

Apache Spark简介

ApacheSpark是一个快速而通用的数据处理引擎，用于大规模数据处理和分析。它是由加州大学伯克利分校研究实验室开发的开源项目。
不知名的小Q·2024-09-05 17:52

Azkaban：强大的开源工作流调度系统

一、概述在大数据生态系统中，随着数据量的爆炸式增长和任务复杂度的提升，管理和调度大规模的批处理任务成为了一项艰巨的挑战。
Hello.Reader·2024-09-05 15:15

1+X云计算运维与开发(中级)实战案例——Kafka集群部署

前言Kafka是一种开源的流处理平台和消息系统，被设计用于构建实时数据管道和流式应用程序，可以处理大规模的实时数据流，并提供高吞吐量、持久性存储和分布式处理能力。
kuuuugua·2024-09-05 15:41

Spark

Spark是一个快速的、通用的集群计算系统，主要用于大规模数据处理。它最早由加州大学伯克利分校的AMPLab开发，并于2010年开源，后来由Apache软件基金会管理。
傲雪凌霜，松柏长青·2024-09-05 11:20

如何尽早地发现并抵御 DDoS 攻击?

近半年，随着软硬件服务的廉价化、规模化，国内外云厂商频繁遭受不明原因的大规模网络攻击，给很多网站带来了不良的影响。
德迅云安全-文琪·2024-09-05 06:13

Python教程：使用 Python 和 PyHive 连接 Hive 数据库

插入数据5.3更新数据5.4删除数据6.表的描述信息和数据库操作6.1获取表描述6.2列出所有数据库6.3切换数据库7.关闭连接8.使用示例9.完整代码在大数据时代，Hive提供了一种简便的方式来处理和分析大规模的数据集
旦莫·2024-09-04 23:32

疫情.怡情(之七百三十一)

1日当天，还有从基辅和敖德萨前往摩尔多瓦方向的大规模撤侨
飞扬的雪ing·2024-09-04 20:44

解决AutoDL远程服务器训练大模型的常见问题：CPU内存不足与 SSH 断开

特别是在使用大规模数据集和多线程数据加载时，内存消耗可能会迅速增长，最终导致训练任务
微凉的衣柜·2024-09-04 17:26

英伟达发布最新屠榜 Embedding 模型——NV-Embed-v2

介绍我们介绍的NV-Embed-v2是一种通用嵌入模型，它在大规模文本嵌入基准（MTEBbenchmark）（截至2024年8月30日）的56项文本嵌入任务中以72.31的高分排名第一。
吴脑的键客·2024-09-04 13:28

硅谷裁员10万人，一个时代结束了！

这是这家科技巨头18年来历史上首次大规模裁员，裁员数约占员工总数的13%。11月14日，Twitter裁员高潮再起，4400名外包员工遭解雇。而就在半个月前，马斯克刚刚挥刀砍掉了7500
军哥手记·2024-09-04 11:11

《出苍茫》三八八 迷失之森的异常

而在迷失之森东部边缘地带之外不远的地方，也正是魔法元素潮汐爆发后，天空中出现巨大裂缝的所在，也是星族从星界大规模来到蓝姆的主要通道。这里一直是由星族远征军之中的血族高手守卫。
佛朗西斯_阿道克·2024-09-04 10:10

祖国就是温暖安全的“诺亚方舟”

2011年初，利比亚国内安全局势出现动荡，中国政府在暴乱第二天就启动国家I级响应，开展了新中国成立以来最大规模的有组织撤离海外中国公民行动，海陆空联动，12天成功撤出35860名侨民，展现出的强大的中国力量令世界为之震颤
布衣暖暖·2024-09-04 08:53

【架构-29】RPC

实现分布式系统在现代的软件应用中，尤其是大规模的企业级应用和互联网服务，往往需要构建分布式系统来满足高并发、高可用和可扩展性的要求。
W Y·2024-09-04 07:44

三，Hive的分桶详解

比如表buck(目录，里面存放了某个文件如sz.data)文件中本来是1000000条数据，由于在处理大规模数据集时，在开发和修改查询的阶段，如果能在数据集的一小部分数据上试运行查询，会带来很多方便，所以我们可以分
__元昊__·2024-09-04 04:02

caffe/PyTorch/TensorFlow 在Jupyter Notebook GPU中运用

大规模数据处理：深
俊俏的萌妹纸·2024-09-04 04:26

哈萨克斯坦“光明之路”

哈萨克斯坦总统纳扎尔巴耶夫在2014年11月发表的国情咨文中宣布，实行“光明之路”新经济政策，一大规模的投资计划促进哈萨克斯坦的经济增长。
刘晓江爱养牛·2024-09-03 20:51

《罗辑思维》第二期 拒绝逃离北上广，见识决定命运 学习笔记

第2期丨拒绝逃离北上广，见识决定命运第一部分城市化的财富效应这部分里罗胖提出一个有意思的概念:城市是大规模的"肉身"聚集，现代生活的本质是，只有聚集才能产生大规模的财富。
张利涛的成长记录·2024-09-03 20:12

大语言模型算力优化策略：基于并行化技术的算力共享平台研究

算力共享旨在通过分布式计算技术，将大规模计算任务分配给多个计算节点，以提高计算效率、降低资源成本并加速模型训练和推理过程。其次，
ZhangJiQun&MXP·2024-09-03 19:34

CityHash、FarmHash

它们在数据中心和大规模分布式系统中尤其有用，用于任务如数据分区、查找优化、数据校验等。这两种哈希函数都以其高效的性能和良好的分布特性而著称。
秋夫人·2024-09-03 11:43

Python数据分析与可视化的基础知识（带例子）

以下是几个常见的数据分析库和它们的功能：1.NumPyNumPy是一个功能强大的科学计算库，提供了多维数组对象和各种计算功能，用于高效地处理大规模数据集。它还提供了许多数学函数和线性代数操作。
草宣·2024-09-03 05:03

Mapreduce是什么

Mapreduce的特点：软件框架并行处理可靠且容错大规模集群海量数据集
whisky丶·2024-09-03 01:07

Hadoop之MapReduce

1.MapReduce解决的问题1)数据问题：10G的TXT文件2)生活问题：统计分类上海市的图书馆的书2.MapReduce是什么MapReduce是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集
qq_43198449·2024-09-03 01:07

华为云 GaussDB 数据库和 MySQL 数据库的区别

例如，在处理大规模数据和高并发请求时，可能会面临性能瓶颈。扩展性：GaussDB：
单车~·2024-09-02 14:34

深度学习应用 - 大规模深度学习篇

大规模深度学习，作为深度学习技术的前沿阵地，更是将这一技术的潜力发挥到了极致。它不仅能够处理海量数据，还能在复杂场景中挖掘出更深层次的规律和知识，为科学研究、工业制造、医疗健康、智慧城市
绎岚科技·2024-09-02 12:54

LLM训练、精调与加速：大型语言模型的高效开发与应用策略

1.训练（Training）训练是指使用大规模数据集对LLM进行初步的学习，使其能够理解和生成自然语言。训练过程通常涉及以下步骤：数据收集与预处理：收集大
知识学习分享交流·2024-09-02 12:22

大语言模型诞生、探索和爆发阶段

2017年：Google发表了Transformer架构，这是一种基于自注意力机制的神经网络架构，它彻底改变了自然语言处理（NLP）领域，使得大规模并行化处理成为可能，
花开盛夏^.^·2024-09-02 10:38

数据导出过大导致内存占满及探活失败问题的排查分析及解决方案

当应用程序在处理大规模数据导出时，例如导出600万条记录到内存中，容易导致内存占满。
molashaonian·2024-09-02 08:56

智能未来：低代码与AI如何重塑企业应用开发

与此同时，人工智能（AI）技术，尤其是大规模语言模型的进步，为应用程序赋予了前所未有的智能化能力。然而，单靠低代码或AI技术
HUIBUR科技·2024-09-02 06:14

经验笔记：Hadoop

Hadoop经验笔记一、Hadoop概述Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。其设计目的是为了在商用硬件上运行，具备高容错性和可扩展性。
漆黑的莫莫·2024-09-02 03:54

如何有效解决建筑业数字化转型的三大障碍

聚焦十四五时期建筑业数字化，智能化发展趋势，近年来，我国建筑业转型升级取得明显进展，但主要依赖资源要素投入、大规模投资拉动发展，数字化程度较低的问题还比较突出。
数字搬运家·2024-09-02 03:44

通义千问-VL-Chat-Int4

Qwen-VL是阿里云研发的大规模视觉语言模型（LargeVisionLanguageModel,LVLM）。Qwen-VL可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。
九品神元师·2024-09-01 20:42

遥感影像-语义分割数据集：GID数据集详细介绍及训练样本处理流程

GID数据集：大规模高分卫星土地覆盖数据集原始数据集详情简介：GID是基于我国Gaofen-2卫星数据而构建的大规模高分辨率遥感图像土地覆盖数据集。
GIS潮流·2024-09-01 18:33

Redis在linux环境集群部署详细介绍

而为了应对大规模数据存储和高可用性需求，Redis集群部署成为了必要的选择。本文将详细介绍如何在Linux环境下进行Redis集群部署，探讨不同的集群部署方式，并提供Docker部署示例。
J老熊·2024-09-01 14:02
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他