大数据数据采集工业智能化

探秘开源项目 MapReduce：分布式计算的新篇章

探秘开源项目MapReduce：分布式计算的新篇章去发现同类优质开源项目:https://gitcode.com/在大数据处理领域，一个名字始终熠熠生辉，那就是。
褚知茉Jade·2025-03-10 01:32

基于Python的微博舆情分析与可视化系统【附源码】

基于Python的微博舆情分析与可视化系统摘要研究背景及意义一、数据流程总体架构二、详细处理流程与代码实现1.数据采集模块2.数据清洗与预处理3.情感分析与特征工程4.舆情分析模型5.可视化呈现三、性能优化要点摘要基于
AI博士小张·2025-03-10 01:31

MapReduce：分布式计算的基石

MapReduce是一种用于处理和生成大数据集的编程模型，以及一个用于执行该模型的关联实现。它使得在大型商用硬件集群（数千台机器）上进行并行处理海量数据成为可能。
Earth explosion·2025-03-10 00:30

区块链大数据平台搭建系列（二）：如何搭建以太坊RPC节点

Erigon是Ethereum（执行客户端）的一个实现，效率高，用Go编写。这里我们将采用Erigon进行搭建生产环境的以太坊RPC节点。环境准备1.系统要求操作系统：Ubuntu20.04或更高版本。硬件要求：由于Erigon会存储大量区块链数据，需要至少2TB的NVMeSSD磁盘、32GB或更多的内存（推荐64GB），以及8核CPU或更高的配置以提高性能。2.安装必需的软件包运行以下命令来安装
WuJiWeb3·2025-03-10 00:56

大数据实战：Spark + Hive 逐笔计算用户盈亏

简介本文将通过使用Spark+Hive实现逐笔计算区块链上用户交易数据的盈亏需求。由于我们是进行离线计算，所以我们的数据源是Hive表数据，Sink表也是Hive表，即Spark读取Hive表数据进行批计算之后写回到Hive表并供后续使用。通过本文你将会学到：如何使用SparkSQLAPI读取Hive数据源如何通过读取配置文件进行传参执行SQL如何将SparkSQL转换为JavaRDD进行处理如何
WuJiWeb3·2025-03-10 00:56

1.梦的开始——点灯大师

51单片机芯片的GPIO引脚与外部设备连接起来，从而实现与外部通讯、控制以及数据采集的功能。不过GPIO最简单的应用还属点亮LED灯了，只需
雷门大师姐·2025-03-09 23:48

大数据测试总结

总结测试要点：参考产品文档，技术文档梳理以下内容需求来源业务方应用场景数据源，数据格转，数据产出，数据呈现方式（数据消亡史），数据量级（增量，全量），更新频率，数据产出时效数据流转方式（http接口，GRPC接口，中间表，宽表等）数据多样性（不同类型维度的处理数据，例如被标识的维度数据以用户为例:客户，客服，用户，玩家等）使用数据的频次频率（相对应的查询服务数据库的压力，接口服务器的压力，评测是否
SuperCreators·2025-03-09 22:10

电商业务数据测试用例参考

1.数据采集层测试用例编号测试目标测试场景预期结果TC-001验证用户行为日志采集完整性模拟用户浏览、点击、加购行为KafkaTopic中日志记录数与模拟量一致TC-002验证无效数据过滤规则发送爬虫请求
SuperCreators·2025-03-09 22:40

大数据分析服务器硬件配置如何选择

大数据，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调他的技术，而我们在用大数据时候，经常用它的来神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。
elva428204358·2025-03-09 22:33

Python 阿里云服务器使用SMTP协议和25端口发送邮件报SMTPServerDisconnected(“Connection unexpectedly closed“)错误的解决办法

1.发送邮件函数：importsmtplibdefsend_mail(trade_date,receivers=None,subject='数据采集完成',content='数据采集完成'):mail_host
QMT量化交易·2025-03-09 21:26

《DeepSeek+Langchain落地实操:RAG知识增强检索和智能体实战开发》

大数据与人工智能实战专家—周红伟老师法国科学院数据算法博士/曾任阿里人工智能专家/曾任马上消费金融风控负责人课程背景LangChain是一项旨在赋能开发人员利用语言模型构建端到端应用程序的强大框架。
AI周红伟·2025-03-09 21:25

数据安全策略与实践：从理论到落地

数据安全策略与实践：从理论到落地在大数据时代，数据早已成为企业和机构的核心资产，但随之而来的数据泄露、非法访问和滥用问题也屡见不鲜。从用户隐私到企业机密，再到国家级信息安全，无一不受到数据安全的影响。
Echo_Wish·2025-03-09 19:48

Apache Spark: 大数据处理的利器对比与应用实例

本文已收录于《Python超入门指南全册》本专栏专门针对零基础和需要进阶提升的同学所准备的一套完整教学，从基础到精通不断进阶深入，后续还有实战项目，轻松应对面试，专栏订阅地址：https://blog.csdn.net/mrdeam/category_12647587.html优点：订阅限时19.9付费专栏，私信博主还可进入全栈VIP答疑群，作者优先解答机会（代码指导、远程服务），群里大佬众多可以
步入烟尘·2025-03-09 19:45

宽带,带宽,光纤,光猫,WiFi,路由器,令人傻傻搞不清?这篇文章讲明白他们之间的关系.

带宽(bandwidth),简单理解为频带宽度单位时间内通过网络通信信道传输的最大数据量,一般单位是mps(兆比特每秒),家里一般办的是百兆光纤但是一百兆比特每秒下
*星之卡比*·2025-03-09 17:54

【开题报告】基于Springboot+vue智能停车场管理系统（程序+源码+论文) 计算机毕业设计

智能停车场管理系统作为一种创新的解决方案，通过集成先进的物联网技术、云计算技术和大数据分析技
计算机程序_设计·2025-03-09 15:04

DeepSeek smallpond搅动大数据风云

DeepSeek的smallpond涉足大数据DuckDB！降维打击传统大数据领域，搅动中台数据工程风云！
彭铖洋·2025-03-09 14:29

Mysql性能监控及优化，基于Prometheus+grafana

prometheus、grafana的搭建，需要可以翻阅linux监控篇一、mysql监控1、运行mysql-exporter注：mysql的搭建在文章尾部，这里直接进入主题Prometheus对Mysql进行数据采集需要在被
士多啤莉娜·2025-03-09 06:29

大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件

于是人们提出了“不共享任何东西”（share-nothing）的分布式架构。从以Greenplum为代表的MPP（MassivelyParallelProcessing，大规模并行处理）架构，到Hadoop、Spark为代表的批处理架构，再到Storm、Flink为代表的流处理架构，都是以分布式作为系统架构的基本形态的。我们已经知道，Flink就是一个分布式的并行流处理系统。简单来说，它会由多个进
2401_84181942·2025-03-09 03:39

DeepSeek智能预警系统实战：构建城市安全防护网的五大核心技术解析

[公共安全预警系统架构图]（示意图描述：包含数据采集层、智能分析层、预警决策层、可视化层四层架构）模块实现详解数据采集模块#使用S
Coderabo·2025-03-09 03:59

Agent 框架与应用

其核心能力可拆解为以下四部分：1.1.1感知能力（Perception）Agent通过多模态输入接口获取环境信息：•数据采集：集成传感器（如自动驾驶的激光雷达）、API（如天气数据接口）、文本/语音交互系统等
power-辰南·2025-03-09 02:49

大数据运维实战指南：零基础入门与核心技术解析（第一篇）

大数据运维实战指南：零基础入门与核心技术解析（第一篇）系列文章目录第一篇：大数据运维概述与核心技能体系第二篇：Hadoop生态体系与集群部署实战第三篇：分布式存储系统运维与优化第四篇：资源调度框架YARN
emmm形成中·2025-03-09 01:19

AI大模型报告 | 《中国数字人发展报告(2024)》（完整版PDF免费附下载）

当前，数字人正成为人工智能活跃的应用落地入口，对大数据、智能终端、具身智能等产业链接度、嵌入度、融合度较强，或将成为下一代互联网活跃的交互界面之一。公开数据显示，目前
AI大模型_学习君·2025-03-08 21:10

论分布式存储系统架构设计

一、引言随着大数据、人工智能和物联网等技术的快速发展，数据存储需求呈现爆发式增长。传统集中式的存储系统架构逐渐暴露出性能瓶颈、可靠性差、扩展性不足等问题，无法满足日益增长的数据存储需求。
一休哥助手·2025-03-08 21:37

突破传统，开启数字孪生新时代——镜像视界全新研发架构引领视频孪生革命

技术研发架构——构建全域数字孪生生态的核心引擎镜像视界构建了一套涵盖前端数据采集、中端矩阵式视频融合与后端智能重构的全链条
云栖道人·2025-03-08 20:39

什么是数据库中的宽表？

宽表常见于数据仓库、OLAP（联机分析处理）系统或大数据场景，其核心目标是优化查询性能，尤其是在需要频繁进行复杂分析或生成报表的场景中。
見贤思齊·2025-03-08 20:02

镜像世界架构揭秘：全球领先的视频孪生与三维重构技术

一、镜像世界的技术架构概览镜像世界的技术架构围绕高效的数据采集、智能数据处理、三维建模与融合、实时交互及系统管理五大核心模块构建，形成完整的视频孪生技术体系。1.数据采集与输
云栖道人·2025-03-08 19:34

数字孪生对于新基建的价值浅析，算是抛砖引玉。

模拟预测与优化利用AI和大数据分析
大千UI工场·2025-03-08 19:59

嵌入式行业全景透视：前景、挑战与从业者发展路径

例如，智能家居通过语音识别与传感器联动实现设备协同，工业4.0中嵌入式系统支撑自动化产线的实时控制与数据采集。据预测，2028年
九溪弥烟、·2025-03-08 16:49

电商系统设计专题系列的第一篇：概述与总体架构

数据驱动：通过大数据分析优化定价、库存和用户服务。
不出名的架构师·2025-03-08 15:37

taosd 写入与查询场景下压缩解压及加密解密的 CPU 占用分析

在当今大数据时代，时序数据库的应用越来越广泛，尤其是在物联网、工业监控、金融分析等领域。TDengine作为一款高性能的时序数据库，凭借独特的存储架构和高效的压缩算法，在存储和查询效率上表现出色。
涛思数据（TDengine）·2025-03-08 15:27

ZooKeeper 的 Watch 机制是什么？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2025-03-08 14:31

明达云平台赋能车间设备管理

而明达技术基于工业物联网（IIoT）的明达云平台解决方案，正成为破解这一困局的关键——它通过实时数据采集、智能分析与远程协作，让设备管理从"被动维护"转向"主动优化"，为企业降本增效注入强劲动力。
明达技术·2025-03-08 14:00

电商数据采集的网页抓取数据、淘宝、天猫、京东等平台的电商数据抓取|电商数据API接口网页爬虫、采集网站...

###电商数据采集技术解析随着电子商务的快速发展，电商数据的采集和分析成为了企业决策的重要依据。无论是淘宝、天猫、京东等大型电商平台，还是其他中小型电商网站，数据采集技术都扮演着至关重要的角色。
IT黑侠-itheixia·2025-03-08 13:00

Python就业薪资怎么样？前景如何？

Python是一种全栈的开发语言，你如果能学好Python，前端，后端，测试，大数据分析，爬虫等这些工作你都能胜任。那么Python现在在国内的就业薪资高吗？Python就业薪资怎么样？前景如何？
田野猫咪·2025-03-08 11:09

python程序员工资高吗？

平均薪资为18860元，Python不同岗位薪资范围为：Python全栈开发工程师（10k-20K）、Python运维开发工程师（15k-20K）、Python高级开发工程师（15k-30K）、Python大数据工程师
lmseo5hy·2025-03-08 11:08

Python爬取58同城广州房源+可视化分析

感谢关注天善智能，走好数据之路↑↑↑欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！
R3eE9y2OeFcU40·2025-03-08 11:35

大数据计算框架深入：Spark SQL、DataFrame、RDD 性能优化

1.引言ApacheSpark是当前最流行的大数据计算框架之一，其中SparkSQL、DataFrame和RDD（ResilientDistributedDataset）是数据处理的三大核心API。
晴天彩虹雨·2025-03-08 10:48

深入解析动态住宅IP

在当今的数字时代，IP代理在多个账号管理、数据采集和市场调研等领域中发挥着至关重要的作用。随着互联网的发展，网络安全和隐私保护越发受到重视。
IPdodo全球网络服务·2025-03-08 09:28

专栏问答：公共数据库发表能发表国际学术期刊吗？能够成为本硕博的毕业论文主要研究吗？以NHANES数据库为例

随着大数据和人工智能的迅猛发展，公共数据库在医药研究中的应用日益广泛。无论是基因组学、流行病学，还是药物研发，公共数据库都提供了海量的数据资源，为研究人员节省了大量的时间和成本。
DAT｜R科学与人工智能·2025-03-08 09:57

大数据如何建立企业竞争力与重塑竞争环境？

“大数据”日益成为企业高管层津津乐道耳熟能详的字眼，但在把握大数据所蕴涵的商机方面，大多数企业的努力还仅仅停留于“表面功夫”。
iris_1992·2025-03-08 08:16

大数据Hadoop集群运行程序

目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。在安装Hadoop时，系统给用户提供了一些MapReduce示例程序，其中有一个典型的用于计算圆周率的Java程序包，现在运行该程序。该jar包文件的位置和文件名是“~/hadoop-3.1.0/share/Hadoop/
赵广陆·2025-03-08 08:37

ShardingSphere 和 Spring 的动态数据源切换机制的对比以及原理

ShardingSphereSpring动态数据源（如AbstractRoutingDataSource）定位分布式数据库中间件轻量级多数据源路由工具核心目标分库分表、读写分离、分布式事务多数据源动态切换适用场景大数据量
龙大.·2025-03-08 07:28

解决方案 ｜ 回归医院运营管理本质，从建立指标体系出发

随着数字化技术和大数据应用的不断深入，医疗行业正在经历一次前所未有的变革和转型。在2023年的两会上，大数据和数字化技术将再次成为热点议题，这意味着政府将会更加关注并支持医疗行业数据转型。
·2025-03-08 06:52

点云从入门到精通技术详解100篇-基于背包激光雷达点云在城市公园单木参数提取中的应用

目录前言国内外发展现状（DevelopmentStatusatHomeandAbroad）背包LiDAR技术及其在林业调查中的应用进展单木胸径提取算法研究现状单木树高提取算法研究现状2背包LiDAR城市公园树木数据采集及预处理
格图素书·2025-03-08 05:56

帆软认证BI工程师（FCBA）部分考试题目及答案

正确2.FineBI产品目前不支持vertical大数据平台。错误3.FineBI可以和FineReport两款产品进行整合使用。正确4.同一个仪表板中，可以同时使用实时和抽取数据进行分析。
隼丶·2025-03-08 03:08

体育数据分析：竞技表现优化与商业价值挖掘的技术范式

通过多源数据采集、机器学习建模和商业智能分析，体育数据分析已经形成了完整的技术体系和应用生态。本文将深入探讨体育数据分析的技术架构、应用场景和商业价值。
Tina0898·2025-03-08 02:21

探索大数据分析的无限可能：R语言的应用与实践

探索大数据分析的无限可能：R语言的应用与实践随着数据时代的来临，大数据已经成为各行各业的重要资产。如何从海量数据中挖掘出有价值的信息，成为了企业和研究人员关注的焦点。
Echo_Wish·2025-03-08 02:16

80| Python可视化篇 —— Matplotlib数据可视化

数据可视化又跟数据挖掘和大数据分析紧密相关，而这些领域以及当下
小刘要努力。·2025-03-08 00:29

数据驱动决策：五款报表软件让企业智能化运营

1.山海鲸报表概述：山海鲸报表是一款面向中小型企业的强大数据报表和分析工具。它的最大特点是易用性和高
希艾席蒂恩·2025-03-08 00:49

kafka 在Linux上的安装部署

一、前言Kafka是一个分布式流处理平台，在大数据领域有着广泛的应用。在Linux系统上安装部署Kafka可以为我们搭建高效的数据处理环境。本教程将详细介绍在Linux中安装和部署Kafka的步骤。
The博宇·2025-03-07 22:35
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他