海量遥感

全文搜索引擎 Elasticsearch 入门教程

它可以快速地储存、搜索和分析海量数据。维基百科、StackOverflow、Github都采用它。Elastic的底层是开源库Lucene。
u010142437·2025-02-08 09:19

Apache Kafka：高吞吐分布式流平台的深度解析

引言：流数据时代的挑战在实时推荐、物联网数据处理、金融交易监控等场景中，传统消息队列面临三大核心挑战：海量数据吞吐：日均千亿级消息处理需求超低延迟要求：毫秒级端到端传递延迟数据持久保障：故障恢复后消息零丢失
lozhyf·2025-02-08 04:07

XXL-MQ v1.3.0 ｜ 分布式消息队列

ReleaseNotes1、【增强】消费者分组属性"group"支持为空，为空时自动赋值UUID，方便实现多分组广播消费；2、【增强】海量数据堆积：消息数据存储在DB中，原生兼容支持"MySQL、TIDB
·2025-02-08 02:59

XXL-MQ v1.3.0 ｜ 分布式消息队列

ReleaseNotes1、【增强】消费者分组属性"group"支持为空，为空时自动赋值UUID，方便实现多分组广播消费；2、【增强】海量数据堆积：消息数据存储在DB中，原生兼容支持"MySQL、TIDB
·2025-02-08 02:25

数据工程师必修系列课之SQL优化与PostgreSQL数据库实战

数据分析师在处理海量数据时，需要有高效的SQL语言水平，对大数据系统的性能优化能力尤其要求。由于数据量越来越大，数据分析师的SQL理解和使用能力要求也越来越强。数据工程师则是基
AI天才研究院·2025-02-08 00:43

爬虫学习--1.前导知识

互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。
F——·2025-02-07 19:14

如何应对ADAS/AD海量数据处理挑战？

目录一、问题背景二、内部构建或获取预组装解决方案三、总结随着软件定义汽车的发展，车辆生成的数据量也以前所未有的速度不断增加。这些数据包含广泛的信息，包括传感器数据、遥测数据、诊断数据等。在开发过程中，有效处理这些数据并从中获得见解至关重要。对于原始设备制造商（OEM）和汽车一级供应商（Tier1）来说，是否自主构建和维护数据处理流程是一个至关重要的考虑因素。数据处理流程是应对当下软件定义汽车所产生
康谋自动驾驶·2025-02-07 15:50

深度搜索MoE：利用大规模预训练模型提升信息检索效能

它旨在通过深度学习技术，提高搜索结果的相关性和准确性，以满足用户在海量数据
杭律沛Meris·2025-02-07 15:20

Hbase基础

Bigtable技术实现的，GoogleBigtable利用GFS作为其文件存储系统，HBase利用Hadoop的HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据
yandao·2025-02-07 13:38

当大模型遇上Spark：解锁大数据处理新姿势

大模型，即大规模机器学习模型，是利用海量数据和强大算力训练出来的“大参数”模型。其发展历程可谓是一部科技创新的传奇史。从20世纪中叶人工智能概念的提出，到2006年深度学习技术崭露
敏叔V587·2025-02-07 11:52

数据开发八股文整理- Hadoop

什么是hadoopHadoop是一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题Hadoop运行模式本地模式和为分布式模式都是单机运行完全分布模式即是多台服务器组成分布式环境Hadoop
兔子宇航员0301·2025-02-06 18:59

Elasticsearch基于Lucene的Java开发的分布式搜索和分析引擎

Elasticsearch是一个基于Lucene的Java开发的分布式搜索和分析引擎，它能够处理海量数据，提供高性能和可伸缩性，并且能够快速地搜索和聚合数据。
古龙飞扬·2025-02-06 16:17

利用 Python 构建地方政府公开数据爬虫：抓取政策文件、公开数据及规划

然而，面对海量的网页数据，如何高效抓取和管理这些信息成为关键问题。本文将全面介绍如何利用Python构建一个爬虫系统，抓取地方政府的公开数据。
Python爬虫项目·2025-02-06 12:22

快速掌握用python写并行程序

据统计，YouTube上每分钟就会增加500多小时的视频，面对如此海量的数据，如何高效的存储与处理它们就成了当前最大的挑战。但在这个对硬件要求越来越高的时代，CPU却似乎并不这么给力了。
python2021_·2025-02-06 12:18

聊聊vscode配置settings.json知其所以然（附大量配置）

正文以下部分插件的配置来自于：《前端web开发高效vscode插件分享（辩证的海量实战检验）》中提到过的插件。自
星野睡不醒·2025-02-06 06:39

MongoDB

HugeStorage-对海量数据的高效率存储和访问的需求。HighScalability&&HighAvailability-对数据库的高可扩展性和高可用性的需求。
青衫天子·2025-02-06 05:27

SQL on Hadoop

SQL_on_HadoopSQLonHadoop概述Hadoop提供了一种分布式存储和计算的平台，为了解决传统关系型数据库无法处理海量数据的问题，通过扩展SQL的方式在Hadoop上执行分布式查询，称之为
Lostgreen·2025-02-06 03:42

AI助力精准农业：从数据到行动的智能革命

通过卫星遥感、无人机、传感器、气象数据等多维度信息，AI可以帮助农民精准施肥、智能灌溉、预测病虫害，
Echo_Wish·2025-02-06 02:36

大模型的底层逻辑及Transformer架构

一、大模型的底层逻辑1.数据驱动大模型依赖海量的数据进行训练，数据的质量和数量直接影响模型的性能。通过大量的数据，模型能够学习到丰富的模式和规律，从而更好地处理各种任务。
搏博·2025-02-06 02:04

【专题】DeepSeek技术颠覆or创新共赢，开启Al算法变革元年报告汇总PDF洞察（附原数据表）

海量数据不仅为模型训练提供了坚实基础，更驱动着AIAgent在各领域的创新应用。与此同时，国产大模型在近期密集涌现，数量已颇具规模且广泛渗透到多个垂直行业，展现出强
·2025-02-05 22:18

Lazada 淘宝详情 API 的价值与应用解析

在全球化电商浪潮的推动下，Lazada和淘宝作为东南亚及中国电商市场的重要力量，拥有海量商品数据和庞大用户群体。
·2025-02-05 22:46

DeepSeek: 深度搜索与深度挖掘技术的前景与应用

这种技术在大数据时代尤为重要，因为它能够帮助企业和研究人员从海量数据中提取出关键信息。这篇文章将深入探讨DeepSeek的背景、原理、应用以及未来发展。
·2025-02-05 21:12

分布式计算在现代科技中的应用与发展趋势

此外，大数据分析不断推动着分布式计算的发展，因为在海量数据中提取有价值
智能计算研究中心·2025-02-05 20:48

机器学习在金融领域的应用

机器学习在金融领域的应用1.背景介绍1.1金融行业面临的挑战1.1.1海量数据处理1.1.2实时风险监控1.1.3个性化服务需求1.2机器学习的兴起1.2.1大数据时代的到来1.2.2计算能力的提升1.2.3
AI天才研究院·2025-02-05 17:01

Java 提供了哪些 IO 方式？ NIO 如何实现多路复用？

I/O一直是软件开发中的核心部分之一.伴随着海量的数据增长和分布式系统的发展.IO扩展显得尤为重要.幸运的是.Java经过多年的发展,IO机制也不断地完善,虽然仍有某些不足,但已经在实践中证明了其构建高扩展性应用的能力
爪哇小白2021·2025-02-05 17:58

探秘高效大数据处理：揭秘开源项目【BigData】

对于海量数据的处理和分析，我们常常需要依赖强大的工具来支撑。这就是我们要向您推荐的开源项目——BigDa
温宝沫Morgan·2025-02-05 17:27

非关系型数据库（NoSQL）：MongoDB和Redis

非关系型数据库（NoSQL）在大数据和分布式计算环境中广泛使用，主要用于处理海量、结构化不统一的数据。NoSQL数据库种类包括文档型、键值型、列族型和图形数据库等。
檐角小猫·2025-02-05 10:08

关于大模型 AGI 应知应会＿生在AI发展的时代

这些模型通过训练海量数据来学习复杂的模式和特
森焱森·2025-02-05 10:38

mycat和mysql

MyCat分片：海量数据存储的解决方案。由该中间件将不同的逻辑分片(逻辑分片对应不同的数据库)进行组装。
沐漜·2025-02-05 09:29

医疗方向的可视化大屏，十分契合医疗行业数据量大的特点

从患者的个人基本信息、过往病史、各项检查检验报告，到医疗机构日常运营产生的物资管理数据、设备运行数据，再到大规模医疗研究中的海量样本数据，这些数据的规模和复杂性不断增加。
大象数据工场·2025-02-05 08:23

KaiwuDB 受邀亮相 2024 数博会

KaiwuDB受邀携一众产品亮相大会，重点展示了分布式多模数据库KaiwuDB2.0及其在物联网海量异构数据管理分析的落地应用，现场引来众多客户伙伴们的热烈关注。
KaiwuDB 数据库·2025-02-05 03:46

Kafka架构

其分区架构不仅赋予了Kafka强大的并行计算能力，使其能够高效处理海量数据，还显著提升了系统的容灾能力，确保在复杂的运行环境中始终保持稳定可靠。
优人ovo·2025-02-04 22:41

【大模型应用开发 动手做AI Agent】第二轮思考：模型决定计算

这些模型通过学习海量数据，能够完成复杂的任务，如机器翻译、图像识别、问答系统等。然而，大模型在应用开发中面临着计算资源、能耗和效率等方面的挑战。本文将从“模型
AGI大模型与大数据研究院·2025-02-04 16:30

开源 OCR 工具大比拼：常用工具全解析与选择指南

在信息爆炸的当下，OCR（光学字符识别）技术如同一位“炼金术士”，能高效且相对精确地从海量纸质文档、扫描件、图片中提取文字信息，广泛应用于教育、医疗、交通等众多行业。
花千树-010·2025-02-04 16:56

Redis桌面(GUI)管理客户端

更快、更好、更稳定的Redis桌面(GUI)管理客户端，兼容Windows、Mac、Linux，性能出众，轻松加载海量键值gitee地
(?·2025-02-04 08:57

什么是多源异构数据？如何处理多源异构数据？

目录一、多源异构数据的定义二、多源异构数据的种类三、多源异构数据的处理方案1.数据接入2.数据转换3.数据输出4.数据同步四、结语随着数字化转型的深入，企业和社会产生了前所未有的海量数据。
isNotNullX·2025-02-04 08:23

随机森林（Random Forest）预测模型及其特征分析（Python和MATLAB实现）

随着多个领域积累了海量数据，传统的统计分析方法常常无法满足复杂问题的需求。在这种背景下，机器学习方法开始广泛应用。
追蜻蜓追累了·2025-02-04 03:09

流媒体娱乐服务平台在AWS上使用Presto作为大数据的交互式查询引擎的具体流程和代码

一家流媒体娱乐服务平台拥有庞大的用户群体和海量的数据。为了高效处理和分析这些数据，它选择了Presto作为其在AWSEMR上的大数据查询引擎。在AWSEMR上使用Presto取得了显著的成果和收获。
weixin_30777913·2025-02-04 00:23

短视频推荐系统架构设计：从召回、排序到冷启动的全链路解析

1.召回阶段召回是推荐系统的第一个步骤，目的是从海量的内容库中快速筛选出可能感兴趣的候选集供用户查看。常见的召回策略包括：基于流行度的召回：根据视频的观看次数、点赞数、分享数等指标来选择热门内容。
热爱分享的博士僧·2025-02-04 00:16

【开源】基于SSM框架校园教务系统管理系统（计算机毕业设计）+万字毕业论文+远程部署+ppt+代码讲解 ssm086

系统合集跳转源码获取链接点击主页更能获取海量源码博主联系方式拉到下方点击名片获取！！！博主联系方式拉到下方点击名片获取！！！
计算机毕业设计_gzs·2025-02-03 22:03

GEE python——gee_pyccd基于连续监测变化检测（Continuous Change Detection and Classification, CCDC）

gee_pyccd是一个基于GoogleEarthEngine平台的Python库，用于对遥感时间序列数据进行变化检测和趋势分析。它实现了基于连续监测变化检测（ContinuousChangeDete
此星光明·2025-02-03 17:48

Apache Iceberg数据湖技术在海量实时数据处理、实时特征工程和模型训练的应用技术方案和具体实施步骤及代码

ApacheIceberg在处理海量实时数据、支持实时特征工程和模型训练方面的强大能力。Iceberg支持实时特征工程和模型训练，特别适用于需要处理海量实时数据的机器学习工作流。
weixin_30777913·2025-02-03 15:07

《SaaS架构设计》试读

基于互联网的软件系统需要承担海量的数据、文件、数据库里的数据，等等。这就必然需要可扩充的、廉价的、可靠的和高性能的网络硬盘来提供图片、视频、博客等
DavyYew·2025-02-03 14:22

课程内容摘要生成：基于知识蒸馏与事实增强的深度学习模型实践

文章目录引言一、核心技术：知识蒸馏与事实三元组融合二、模型架构设计与优化三、Python实现与关键代码解析四、业务价值与效果分析五、挑战与优化方向引言在教育内容数字化进程中，课程内容摘要生成技术能够从海量教学资源中提炼核心知识点
二进制独立开发·2025-02-03 04:04

极致体验，揭晓抖音背后的音视频技术

抖音是国内音视频技术应用的典型代表，无论是春节红包项目遇到的超大规模并发，还是海量用户上传短视频作品带来的带宽压力，亦或是用户智能设备、网络环境的参差不齐，都给技术方
火山引擎边缘云·2025-02-03 00:02

从零开始大模型开发与微调：汉字拼音数据集处理

然而，LLM的训练与微调过程往往需要海量的文本数据，而这些数据通常以自然语言形式存在，难以直接用于模型训练。因此，如何从自然语言数据中提取结构
AGI大模型与大数据研究院·2025-02-02 22:43

根据每月流量和市场份额排名前20 的AI工具列表

Canva：作为在线图形设计平台，拥有海量的模板资源，涵盖海报、名片、社交媒体帖子、演示文稿等多种类型。用户无需专业设计技能，通过简单的拖放操作即可使用其丰
开心的AI频道·2025-02-02 19:54

《解锁AI黑科技：数据分类聚类与可视化》

在当今数字化时代，数据如潮水般涌来，如何从海量数据中提取有价值的信息，成为了众多领域面临的关键挑战。人工智能（AI）技术的崛起，为解决这一难题提供了强大的工具。
程序猿阿伟·2025-02-02 14:26

什么是LLM？看这一篇就够了！

大语言模型介绍什么是大语言模型（LLM）通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、M
Python程序员罗宾·2025-02-02 14:50

AI真的能理解我们这个现实物理世界吗？深度剖析原理、实证及未来走向

摘要：当下，AI与深度学习广泛渗透生活各领域，大模型与海量数据加持下，其是否理解现实物理世界引发热议。文章开篇抛出疑问，随后深入介绍AI深度学习基础，包含神经网络架构、反向传播算法。
AI_DL_CODE·2025-02-02 10:51
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他