RDD(弹性分布式数据集)

HDFS分布式文件系统的架构及特点

一、HDFS架构HDFS采用的是主从（Master/Slave）架构，即一个HDFS通常是由一个Master和多个Slave组成。Master为NameNode主要用于管理HDFSSlave为DataNode主要用于存储文件SecondaryNode用于辅助NameNodeHDFS架构1.1BlockBlock是HDFS文件系统中最小的存储单位，通常称为数据块。在HDFS文件系统中存储的文件会被拆
互联网上的猪·2025-02-24 04:40

智能边缘计算：开启智能新时代

简单来说，边缘计算是一种分布式计算架构，它将数据处理和存储更靠近数据源的位置，而不是集中于远程数据中心。通过这种方式，边缘计算可以减少数据传输的延迟，提高响应速度，增强数据处理的实时性和效率。
livefan·2025-02-24 02:58

接口测试-API测试中常用的协议（下）

下面从其概念、工作原理、特点、应用场景等方面详细介绍：概念起源与核心思想起源：RPC的概念最早出现在20世纪70年代，是为了解决分布式系统中不同计算机之间的通信和协作问题而提出的。
2025年一定要上岸·2025-02-24 02:53

基于深度学习的股票短期趋势预测模型设计与实现【附代码】

同时，我们还挖掘了多个可能影响股票价格走势的因子，如成交量、市盈率、市净率等，并将这些因子作为特征加入到数据集中。通过特征工程，我们进一步扩展了数据集，提高了模型的输入质量。
算法与数据·2025-02-24 01:22

利用python实现小提琴图的代码

importseabornassnsimportmatplotlib.pyplotasplt#加载seaborn内置的鸢尾花数据集iris=sns.load_dataset("iris")#设置绘图风格
python游乐园·2025-02-24 01:51

python绘图之回归拟合图

importpandasaspdimportseabornassnsimportmatplotlib.pyplotasplt#创建一个示例数据集#假设我们有一些鱼的重量和高度数据data={'Weight
pianmian1·2025-02-24 01:19

python绘图之密集散点图

密集散点图主要目的是生成一个可视化图表，展示insurance数据集中bmi（身体质量指数）和charges（医疗费用）之间的关系，并通过不同的维度对数据进行分组和区分，以便更清晰地观察数据的分布和特征
pianmian1·2025-02-24 01:19

泷羽sec---超文本协议与内外网划分

http协议HTTP协议概述HTTP（HyperTextTransferProtocol）是用于分布式、协作式和动态Web的核心通信协议。它定义了浏览器和Web服务器之间如何传输超文本或文件。
是山然呀·2025-02-24 01:15

Redis数据库面试——数据结构类型知识

文章目录基本数据类型1.String（字符串）使用场景缓存计数器ID生成器分布式锁2.Hash（哈希）3.List（链表/列表）4.Set（集合）5.SortedSet（有序集合）特殊
Good Note·2025-02-23 22:25

鸿蒙搭配前端开发：应用端与WEB端交互

鸿蒙系统（HarmonyOS）是华为开发的一款面向全场景的分布式操作系统，其设计初衷是为了适应物联网时代的需求，旨在构建一个统一的操作系统，支持多种设备的无缝协同工作。
星仔如雨·2025-02-23 21:54

立体匹配常用数据集整理

文章目录前言一、常用数据集1.SceneFlow数据集2.KITTI数据集3.Middlebury数据集二、关于自己构建数据集训练的一些问题前言本文主要对立体匹配算法常用的公开数据集进行整理，包括数据集的简要介绍和下载链接
Scurry﹉·2025-02-23 21:18

目前（2025年2月）计算机视觉（CV）领域一些表现优异的深度学习模型

PaLI：这是一个多模态模型，结合了40亿参数的视觉Transformer（ViT）和多种大型语言模型（LLM），并在包含100多种语言的100亿图像和文本数据集上进行训练。PaLI在图像描述、视
空空转念·2025-02-23 20:18

《Spring Cloud 微服务的设计模式》

在分布式系统中，微服务的实例数量和地址可能动态变化，服务注册与发现机制可以让服务之间通过服务名称进行调用，而无需关心具体的实例地址。实现组件Eureka：Netflix
@孤随·2025-02-23 20:16

[OpenGL]混合 Blend

混合的原理先来定义几个概念：1.源颜色（Rs,Gs,Bs,As）2.目标颜色（Rd,Gd,Bd,Ad）3.源混合因子（Sr,Sg,Sb,Sa）4.目标混合因子（Dr,Dg,Db,Da)最终混合的颜色为(RsSr+RdDr
sophistcxf·2025-02-23 20:15

AI人工智能常见的专业术语

模型（model）：计算机层面的认知学习算法（learningalgorithm），从数据中产生模型的方法数据集（dataset）：一组记录的集合示例（instance）：对于某个对象的描述样本（sample
奇华智能·2025-02-23 19:10

图像处理：模拟色差的生成

于是就考虑通过人为生成色差数据的方式来扩充数据集，进行色差的模拟。1.什么是色差？色差（ColorDifference）是指两种颜色之间的视觉差异。
何以为皇·2025-02-23 18:33

【Python爬虫(44)】分布式爬虫：筑牢安全防线，守护数据之旅

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。
奔跑吧邓邓子·2025-02-23 18:29

编程小白冲Kaggle每日打卡（14）--kaggle学堂：＜机器学习简介＞你的第一个机器学习模型

选择建模数据你的数据集有太多的变量，你无法理解，甚至无法很好地打印出来。你如何将如此庞大的数据量缩减到你能理解的程度？我们将从使用直觉选择几个变量开始。后续课程将向您展示自动
AZmax01·2025-02-23 17:26

Redis中Lua脚本的使用场景

文章目录1.原子计数2.条件更新3.事务性操作4.分布式锁5.批量处理6.计数器与过期管理7.条件删除8.数据聚合1.原子计数场景：原子性地
思静鱼·2025-02-23 17:54

【RabbitMQ业务幂等设计】RabbitMQ消息是幂等的吗？

在分布式系统中，RabbitMQ自身不直接提供消息幂等性保障机制，但可通过业务逻辑设计和技术组合实现消息处理的幂等性。
星星点点洲·2025-02-23 16:19

Xline v0.7.0: 一个用于元数据管理的分布式KV存储

Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。
·2025-02-23 16:35

普通Java项目集成ElasticSearch全文搜索引擎

文章目录全文搜索概述文本数据集成ElasticSearch全文搜索引擎Java普通项目集成步骤依赖包ESClientUtil工具类文档CRUD添加文档获取文档更新文档批量操作练习自定义用户表查询需求：name
z_金粽子·2025-02-23 16:48

【Elasticsearch】java 集成es

我们知道Elasticsearch是一款RestfulAPI风格的分布式搜索引擎。ESClient有
日月星宿～·2025-02-23 16:18

达坦科技率先落地基于海光的DeepSeek一体机

达坦科技通过软硬件深度融合的方式，提供AI推理引擎和高性能网络，为AI应用提供弹性、便利、经济的基础设施服务，以此满足不同行业客户对AI+Cloud的需求。
·2025-02-23 16:33

Python+Spark地铁客流数据分析与预测系统 地铁大数据 地铁流量预测

设计步骤使用Python语言编写爬虫程序采集数据，并对原始数据集进行预处理；使用Pyt
qq_79856539·2025-02-23 16:16

大语言模型训练数据集格式

1.SFT（有监督微调）的数据集格式对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落
香菜烤面包·2025-02-23 16:13

大模型训练 && 微调数据格式

1.SFT（有监督微调）的数据集格式？
comli_cn·2025-02-23 16:43

【机器学习与数据挖掘实战】案例14：基于随机森林分类器的汽车公司客户细分预测

数据挖掘则是从大型数据集中发现模式、关联和异常的过程，旨在提取有价值的信息和知识。机器学习为数据挖掘提供了强大的分析工具，而数据挖掘则是机器学习应用的重要领域，两者相辅相成，共同推动
Francek Chen·2025-02-23 16:11

大语言模型：从开发到运行的深度解构

例如GPT-4的训练数据包含超过13万亿token数据清洗：通过质量过滤（去除低质内容）、去重（MinHash算法）、毒性检测（NSFW内容识别）等步骤构建高质量数据集数据增强：引入代码数据提升逻辑性（
nbsaas-boot·2025-02-23 15:38

Java高级开发所具知识技能

以下是Java高级开发整理的知识技能，其中涵盖核心技术、框架、分布式架构、性能优化等关键领域：一、Java核心进阶JVM深度理解内存模型（堆、栈、方法区）垃圾回收算法（CMS、G1、ZGC）类加载机制与字节码增强
码代码的小仙女·2025-02-23 14:02

辣椒叶片叶子病害检测数据集VOC+YOLO格式1718张5类别

数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：1718标注数量(xml
萌萌哒240·2025-02-23 13:26

Python的那些事第三十篇：并行计算库在大数据分析中的应用Dask

Dask：并行计算库在大数据分析中的应用摘要随着数据量的爆炸性增长，传统的数据分析工具（如Pandas和NumPy）在处理大规模数据集时面临内存限制和计算效率低下的问题。
暮雨哀尘·2025-02-23 13:53

【Python爬虫(27)】探索数据可视化的魔法世界

从Python基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。
奔跑吧邓邓子·2025-02-23 13:51

基于Roboflow平台的数据集导出与YOLOv8目标检测训练实战

专栏订阅地址：https://blog.csdn.net/mrdeam/category_12804295.html文章目录基于Roboflow平台的数据集导出与YOLOv8目标检测训练实战1.什么是Roboflow
步入烟尘·2025-02-23 12:49

DeepSeek引爆递归开发大爆炸！

DeepSeekR1的发布意味着AI的普及是必然的，因为它让人们能轻松创建新的推理数据集，并用这些数据训练强大的AI模型。
极道Jdon·2025-02-23 12:47

边缘计算与联邦学习驱动医疗影像特征工程优化

本研究针对医疗影像分析场景中跨机构数据共享的复杂性，提出基于边缘计算与联邦学习的协同优化框架，通过分布式特征工程重构医学图像的解析范式。
智能计算研究中心·2025-02-23 11:40

深度学习框架与边缘计算融合驱动医疗金融模型优化新路径

当前，TensorFlow、PyTorch等主流框架通过轻量化改造（如TensorFlowLite与PyTorchMobile）逐步适应边缘设备的资源限制，同时结合联邦学习技术构建分布式训练网络。
智能计算研究中心·2025-02-23 11:10

边缘计算与联邦学习驱动医疗金融预测及模型可解释性技术突破

通过将计算资源下沉至终端设备，边缘计算有效缓解了传统中心化架构的延迟与带宽压力，而联邦学习则在保障数据隐私的前提下，实现了跨机构模型的分布式训练。
智能计算研究中心·2025-02-23 11:10

联邦学习: 统一数据协作和隐私保护的技术解决之道

联邦学习:统一数据协作和隐私保护的技术解决之道1.数据价值和隐私2.隐私计算技术安全多方计算可信执行环境联邦学习3.联邦学习的拓展分布式机器学习联邦学习和传统分布式系统的差异联邦学习带来的挑战安全性补充实际案例讲解总结
小牍·2025-02-23 10:35

行业风向标｜「博睿数据2024年度精选案例集——观测先锋」重磅发布

云计算时代下，企业的应用交付链路越来越复杂，云原生、微服务、大型分布式等新技术给企业带来竞争力的同时，也带来了全新的挑战，传统IT监控已无法监测业务系统全链路的稳定性和可靠性，“云深不可见”难题突显。
博睿数据Bonree·2025-02-23 09:26

c#编程：学习Linq，重几个简单示例开始

LINQ提供了一种简洁、声明性的方式来查询和操作内存中的数据集合（如数组、列表等）以及数据库中的数据。以下是一些入门级的经典LINQ示例，帮助理解LINQ的基本概念和使用方法。
gu20·2025-02-23 08:14

SpringBoot+Vue前后端跨域问题

随着分布式微服务的兴起，越来越多的公司在开发web项目的时候选择前后端分离的模式开发，前后端分开部署，使得分工更加明确，彻底解放了前端。
笔上烽烟·2025-02-23 08:43

基于Hadoop的天气数据分析系统的设计与实现-计算机毕业设计源码+LW文档

Hadoop作为大数据处理领域的领军技术，其分布式计算框架和海量数据存储能力为天气数据分析提供了强大的支持。
qq_375279829·2025-02-23 06:04

Hive排序函数源码解密：字节跳动面试官的底层三连问

一、分布式执行框架Hive中ROW_NUMBER、RANK和DENSE_RANK的底层实现差异主要体现在相同排序键值的处理逻辑上，其核心流程可分为两个阶段：数据分区（Shuffle阶段）根据PARTITIONBY
数据大包哥·2025-02-23 06:31

云存储、云计算与分布式存储、分布式计算是一回事吗？

随着互联网的蓬勃兴起，大数据、人工智能、物联网、云计算与云存储等这些专业词汇在大众视野内出现的频率越来越高，再加上近几年分布式技术异军突起，更使得分布式存储、分布式计算等成为热词。
IPFS星际无限·2025-02-23 05:22

如何理解分布式与集群，二者区别是什么？

分布式是指不同的业务分布在不同的地方，集群指的是将几台服务器集中在一起，实现同一业务。
weixin_39214481·2025-02-23 05:21

【分布式理论13】分布式存储：数据存储难题与解决之道

文章目录一、数据存储面临的问题二、RAID磁盘阵列的解决方案1.RAID概述2.RAID使用的技术3.RAID的代表性等级三、分布式存储的新思路1.分布式存储背景与特点2.分布式存储的组成要素一、数据存储面临的问题在单机系统时代
roman_日积跬步-终至千里·2025-02-23 04:19

html中盒子居中方法

方法一:flex布局/*弹性容器*/display:flex;/*主轴居中*/justify-content:center;/*侧轴居中*/align-items:center;缺点:盒子无法覆盖其他标准流方法二
柠檬树^-^·2025-02-23 04:13

深入HBase——核心组件

对于HDFS看过深入HDFS的小伙伴，应该都不陌生，它提供了高可靠的海量数据存储和读写能力；而对于Zookeeper，它是一个分布式协调存储服务，主要
黄雪超·2025-02-23 01:26

Python网络爬虫技术详解与实践

本文详细介绍了Python爬虫的基本原理、常用库、实战技巧，框架构建，数据存储，反爬策略，多线程/异步处理，分布式爬虫等关键技术点，并通过新闻网站、电商平台和社交媒体数据爬取的实战案例，阐述了Python
懒癌弓箭手起源·2025-02-23 00:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他