E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据数据采集工业智能化
数字化智能运维平台建设方案
数字化智能运维平台建设方案数字化智能运维平台建设方案项目背景与目标运维现状与挑战数字化转型需求项目目标与预期成果平台架构设计整体架构规划功能模块划分技术选型及原因
数据采集
与监控数据来源及接入方式实时监控与预警机制数据存储与管理策略智能化分析与优化故障诊断与预测模型性能评估及优化建议资源调度与容量规划平台安全保障措施身份认证与权限管理数据加密传输存储漏洞扫描及修复机制平台实施与运维支持实施步骤及时间
公众号:优享智库
·
2025-01-28 19:41
数字化转型
数据治理
主数据
数据仓库
运维
大数据
开发的底层逻辑是什么?
大数据
开发的底层逻辑主要围绕数据的生命周期进行,包括数据的采集、存储、处理、分析和可视化等环节。
瑰茵
·
2025-01-28 18:56
大数据
AI智能获客工具的意义是什么
1.2精准定位潜在客户利用机器学习和
大数据
分析技术,AI
雪叶雨林
·
2025-01-28 17:49
AI
行业资讯
人工智能
【智慧水务】二供数仓功能架构
目录一、
数据采集
层(一)设备
数据采集
(二)水质
数据采集
(三)用户
数据采集
二、数据传输层(一)有线传输(二)无线传输三、数据存储层(一)原始数据存储(二)数据仓库存储四、数据分析层(一)实时数据分析(二)
大雨淅淅
·
2025-01-28 16:40
物联网
网络
人工智能
大数据
和智能数据应用架构系列教程之:
大数据
与人工智能
作者:禅与计算机程序设计艺术1.背景介绍概述“
大数据
”是指海量、高维、多样化的数据集合。随着人类对数据处理和管理的需求越来越复杂,越来越依赖机器学习、人工智能等新兴技术。
AI天才研究院
·
2025-01-28 14:28
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
Java
Python
架构设计
Scala在
大数据
和分布式计算领域的应用与优势
大数据
和分布式计算是当今信息技术领域的热点话题,它们处理着海量数据并需要高效的计算能力。Scala,作为一种多范式编程语言,因其在并发编程和函数式编程方面的优势,成为
大数据
和分布式计算领域的理想选择。
夜色呦
·
2025-01-28 14:24
scala
大数据
开发语言
图文详解 MapReduce on YARN
前言本文隶属于专栏《1000个问题搞定
大数据
技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
Shockang
·
2025-01-28 13:20
大数据技术体系
大数据
mapreduce
yarn
Prometheus 监控服务端口、网站状态等(黑盒监测)
1、blackbox_exporter介绍blackbox_exporter是Prometheus官方提供的exporter之一,可以提供http、dns、tcp、icmp的监控
数据采集
。
寰宇001
·
2025-01-28 12:14
监控/自动化工具
360
大数据
面试题及参考答案
数据清理有哪些方法?数据清理是指发现并纠正数据文件中可识别的错误,包括检查数据一致性,处理无效值和缺失值等。常见的数据清理方法有以下几种:去重处理:数据中可能存在重复的记录,这不仅会占用存储空间,还可能影响分析结果。通过对比每条记录的关键属性,若所有关键属性值都相同,则判定为重复记录,可保留其中一条,删除其余重复项。例如在客户信息表中,若有两条记录客户姓名、联系方式、地址等关键信息都一样,就可进行
大模型大数据攻城狮
·
2025-01-28 12:42
大数据
数据治理
jvm内存
CAS
数据开发
指标开发
数据分析
使用Python爬虫抓取与分析航班信息:从
数据采集
到应用的完整实践
目录:前言爬虫基础知识什么是爬虫?爬虫的工作原理爬虫的应用领域航班数据爬取的实际应用航班数据分析的重要性选择爬虫技术栈常见的爬虫框架与工具选择合适的工具:requestsvsSeleniumvsScrapy如何获取航班信息航班数据来源分析航班信息的结构与抓取目标爬虫抓取航班信息的步骤发送HTTP请求并获取航班数据使用Selenium抓取动态数据解析HTML页面并提取航班信息航班数据存储与处理存储抓
Python爬虫项目
·
2025-01-28 11:38
2025年爬虫实战项目
python
selenium
自动化
爬虫
开发语言
php
microsoft
大数据
小白系列——YARN(1)
这是
大数据
小白系列,YARN的第一篇,准确的说是介绍YARN的“前身”,即MapReduce第一版(下称MRv1)中的资源管理系统。
weixin_44386638
·
2025-01-28 07:13
大数据
大数据
人工智能
机器学习
数据挖掘
数据分析
无人机+固定机巢 ,空地协同作业技术详解
以下是对该技术的详细解析:一、技术概述无人机与固定机巢结合的空地协同作业技术,主要是通过无人机搭载各种传感器和任务载荷,在固定机巢的支持下进行起飞、巡逻、监测、
数据采集
等任务,并通过高速通信技术将数据传输至地面控制站
无人机技术圈
·
2025-01-28 05:27
无人机技术
无人机
TaskManager的JVM OOM退出配置
在
大数据
领域中,TaskManager是执行并行任务的关键组件之一。它负责管理任务的执行和资源分配。在处理大规模数据时,内存管理是一个重要的考虑因素。
艾丽丝的爱情
·
2025-01-28 02:06
jvm
大数据
性能测试丨JVM 性能
数据采集
什么是JVM性能
数据采集
?JVM性能
数据采集
是指通过一些工具和技术采集与Java虚拟机相关的性能数据。这些数据包括但不限于内存使用、CPU使用、垃圾回收(GC)行为、线程活动等。
霍格沃兹测试开发学社测试人社区
·
2025-01-28 02:05
jvm
测试工具
测试开发
软件测试
JVM垃圾回收器的原理和调优详解!
全文目录:开篇语前言摘要概述垃圾回收器分类及原理1.Serial垃圾回收器2.Parallel垃圾回收器3.CMS垃圾回收器4.G1垃圾回收器源码解析示例代码使用案例分享案例1:Web服务的GC调优案例2:
大数据
任务的
喵手
·
2025-01-28 02:34
零基础学Java
jvm
Python爬虫的一些基本内容、常见步骤以及示例代码
它可以模拟人类在浏览器上的操作,访问各种网页,并按照特定规则抓取数据,比如抓取新闻标题、商品价格、图片链接等等,广泛应用于
数据采集
、信息监测、搜索引擎等领域。
max500600
·
2025-01-28 00:49
python
python
爬虫
开发语言
EmEditort v24.5.3世界上最快的文本编辑器
支持宏,Unicode,代码段插件,还能处理
大数据
以及CSV文件,无需Excel,堪称最强CSV编辑器。软件自带简体中文,支持32位和64位版
jiamianAA
·
2025-01-27 23:39
经验分享
电脑
Crawl4AI:用几行代码打造强大的网页爬虫
Crawl4AI:用几行代码打造强大的网页爬虫在人工智能和
大数据
时代,数据的获取和处理变得尤为重要。尤其是在大型语言模型(LLM)的研究和应用中,如何高效地抓取和整理网络数据成为了一个关键的挑战。
海豹工匠
·
2025-01-27 21:30
爬虫
大数据
技术之MapReduce
一、MapReduce概述1、MapReduce简介MapReduce是一个分布式运算程序的编程框架,是基于Hadoop的数据分析计算的核心框架。MapReduce处理过程分为两个阶段:Map和Reduce。Map负责把一个任务分解成多个任务,Reduce负责把分解后多任务处理的结果汇总。2、MapReduce优缺点MapReduce优点:MapReduce易于编程:它简单的实现一些接口,就可以完
wespten
·
2025-01-27 20:21
Hadoop
Hive
Spark
大数据安全
大数据
mapreduce
hadoop
非凸科技荣登脉脉2024“年度职得去雇主”榜单
本届评选依据脉脉独有的“雇主指数”以及专家评审意见综合评选而出,综合考量了企业在脉脉社区广场、同事圈、行业圈等多个频道口碑,并基于职场
大数据
训练的专属大模型,客观反映企业在职场人心中的口碑。
·
2025-01-27 18:39
招聘
2024第五届全球数字经济产业大会:前沿技术引领未来
云计算与
大数据
云计算和
大数据
技术作为数字经济的基石,一直是大会的焦点。本届大会上,众多企业展示了他们在云计算平台的创新和
大数据
应用方面的最新进展。通
·
2025-01-27 18:36
javascript
anaconda中pyspark_自学
大数据
——9 Anaconda安装与使用pyspark
首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc
步六孤陆
·
2025-01-27 17:59
2022-02-09
大数据
学习日志——PySpark——Spark快速入门&Standalone集群
第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码,首先需要安装Python语言包,此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的,有Windows、MacOS、Linux版本。#下载地址:ht
王络不稳定
·
2025-01-27 17:28
spark
big
data
大数据
大数据
之Spark运行流程
文章目录前言(一)SparkOnYarn集群的Client模式运行流程(二)SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式,如果有不清楚的地方,可以再看看,附上对应文章的链接:Spark的部署模式,本篇文章主要讨论SparkOnYarn两种部署模式的运行流程。(一)SparkOnYarn集群的Client模式运行流程该模式的Dri
「已注销」
·
2025-01-27 15:17
Spark
大数据
spark
hadoop
R语言学习笔记6-数据框
DataFrame)介绍数据框用途创建数据框从矩阵创建数据框索引和切片添加和修改列数据框的预处理数据框的排序数据框的筛选处理缺失值应用函数处理数据重塑数据框使用dplyr进行数据框的管道操作数据框的时间序列操作
大数据
框的处理数据框的绘图数据框的文本处理数据框的连接与关联按行或列连接数据框按键值关联数据框数据框的条件处理与逻辑操作条件筛选逻辑操作数据框的汇总与统计分析
Colin♛
·
2025-01-27 15:17
r语言
学习
笔记
开发语言
信息可视化
华为OD机试C卷-- 精准核酸检测(Java & JS & Python & C)
现在根据传染病流调以及
大数据
分析,得到了每个人之间在时间、空间上是否存在轨迹交叉。现在给定一组确诊人员编号(X1,X2,X3,…,Xn),在所有人当中,
飞码创造者
·
2025-01-27 14:35
华为OD机试题库
华为od
c语言
java
javascript
python
matlab
大数据
计算技巧(持续更新中)
在matlab中,当数据比较大时,运算起来就困难了,有时候还会outofmemory(例如4000*4000的矩阵,要算矩阵乘法都比较吃力)。此文会记录我学到的一些解决办法:1.将数据的存储类型从double转换成single在matlab中double数据类型占8个字节,single类型占4个字节。把数据类型从double类型转换成single类型可以节省一半的空间。单精度浮点数single的取
tina_lulu_21
·
2025-01-27 14:04
matlab
matlab
string
存储
Matlab:读取和处理
大数据
表格文本文件
Matlab:读取和处理
大数据
表格文本文件在实际的数据分析应用中,往往需要处理海量数据。针对大型数据文件,Matlab提供了快速高效的读取和处理工具,可以便捷地完成数据处理任务。
追逐程序梦想者
·
2025-01-27 13:01
matlab
大数据
开发语言
赛事 Q&A × 培训预告:2024 年(第 17 届)中国大学生计算机设计大赛
大数据
主题赛正式开赛!
大赛下设不同领域的十一个大类,和鲸科技自2021年起,连续四年作为
大数据
应用大类中
大数据
主题赛的协办方倾力配合大赛组委会与各承办单位,
ModelWhale
·
2025-01-27 13:30
中国大学生计算机设计大赛
大数据
人工智能
编程
竞赛
大数据
StarRocks(六) :Catalog_starroccks支持oracle外部表了吗(1)
StarRocks自2.3版本起支持Catalog(数据目录)功能,实现在一套系统内同时维护内、外部数据,方便您轻松访问并查询存储在各类外部源的数据。1.基本概念内部数据:指保存在StarRocks中的数据。外部数据:指保存在外部数据源(如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC)中的数据。2.Catalog当前StarRocks提供两
2401_84181975
·
2025-01-27 11:51
程序员
大数据
oracle
数据库
利用Python爬虫获取API接口:探索数据的力量
Python爬虫作为一种高效的
数据采集
工具,能够帮助我们自动化地从互联网上获取大量的数据。而API接口作为数据获取的重要途径之一,为我们提供了一种更直接、更高效的数据访问方式。
不会玩技术的技术girl
·
2025-01-27 08:31
Python
python
爬虫
开发语言
Python爬虫应用领域
以下是Python爬虫在不同领域的应用情况:一、
数据采集
与分析(一)市场调研产品信息收集:爬取电商平台的产品详情、价格、销量、用户评价等数据,分析产品市场占有率、用户喜好、竞争对手情况,为产品开发、定价策略
不会玩技术的技术girl
·
2025-01-27 08:01
Python
python
爬虫
开发语言
基于SpringBoot+Vue码头船只货柜管理系统
期待与各位高校教师、企业讲师以及同行交流合作主要内容:Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与
大数据
、单片机开
qq_469603589
·
2025-01-27 08:28
Java项目实战
信息管理类项目
spring
boot
vue.js
后端
推荐开源项目:WeDataSphere - 智慧数据服务平台
推荐开源项目:WeDataSphere-智慧数据服务平台去发现同类优质开源项目:https://gitcode.com/是一款由微众银行金融科技团队开发的开源
大数据
处理和应用框架,旨在简化数据分析流程,
劳泉文Luna
·
2025-01-27 07:52
Java 大视界 -- Java
大数据
中的隐私增强技术全景解析(64)
一、欢迎加入【福利社群】点击快速加入:青云交灵犀技韵交响盛汇福利社群点击快速加入2:2024CSDN博客之星创作交流营(NEW)二、本博客的精华专栏:
大数据
新视
青云交
·
2025-01-27 07:51
大数据新视界
Java
大视界
java
使用Pyecharts绘制地理图表
Pyecharts是一个基于Python的强
大数据
可视化库,它提供了丰富的图表类型和交互功能。其中,Pyecharts能够轻松绘制地理图表,帮助我们展示地理数据的分布和变化趋势。
前端设计家
·
2025-01-27 05:14
信息可视化
python
数据分析
Python
大数据
平台建设整体架构设计方案
《
大数据
平台建设整体架构设计方案》关键词:
大数据
平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink
AI天才研究院
·
2025-01-27 02:55
ChatGPT
AI大模型企业级应用开发实战
大数据AI人工智能
大厂Offer收割机
面试题
简历
程序员读书
硅基计算
碳基计算
认知计算
生物计算
深度学习
神经网络
大数据
AIGC
AGI
LLM
Java
Python
架构设计
Agent
程序员实现财富自由
企业信息化5:后勤管理系统
前言:随着企业各业务板块在信息化的浪潮中积极转型升级,后勤板块往往成为了一个企业信息化的短板,后勤业务
大数据
无法融入企业信息化数据湖,进而影响企业整体运营的效率和质量。
mosquito_lover1
·
2025-01-27 02:52
制造业企业全业务流程信息化
python
flask
开源
大数据
Lambda架构
Lambda架构介绍Lambda是用于同时处理离线和实时数据,可容错、可扩展的分布式系统架构。有批处理层、加速层、服务层。同时以流计算和批处理计算合并视图。Lambda架构的批处理层采用不可变存储模型,不断地往主数据集后追加新的数据。Lambda架构优缺点<
奋进学堂
·
2025-01-26 23:00
系统架构设计师考试
架构
Lambda架构
原文地址:https://www.cnblogs.com/xiaodf/p/11642555.html首先我们来看一个典型的互联网
大数据
平台的架构,如下图所示:在这张架构图中,
大数据
平台里面向用户的在线业务处理组件用褐色标示出来
leveretz
·
2025-01-26 22:54
大数据
lambda
ES聚合分析原理与代码实例讲解
ES聚合分析原理与代码实例讲解作者:禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着
大数据
时代的到来,企业级应用需要处理的数据量呈爆炸式增长
AI大模型应用之禅
·
2025-01-26 22:21
AI大模型与大数据
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
大数据
技术4:Lambda和Kappa架构区别_lambda架构和kappa架构区别
Lambda架构缺点:虽然Lambda架构使用起来十分灵活,并且可以适用于很多的应用场景,但在实际应用的时候,Lambda架构也存在着一些不足,主要表现在它的维护很复杂。(1)同样的需求需要开发两套一样的代码:这是Lambda架构最大的问题,两套代码不仅仅意味着开发困难(同样的需求,一个在批处理引擎上实现,一个在流处理引擎上实现,还要分别构造数据测试保证两者结果一致),后期维护更加困难,比如需求变
2401_84181501
·
2025-01-26 22:50
大数据
架构
Redis线上阻塞要如何排查
哪些情况会让指令变慢:1.指令获取的数据很多,比如
大数据
量下执行keys、hgetall、smembers等指令。
思静鱼
·
2025-01-26 17:12
#
Redis-缓存
redis
数据库
缓存
Python爬虫实战:解析京东商品信息(附部分源码)
在信息爆炸的今天,网络爬虫(WebScraping)作为一种自动获取网页内容的技术,已经成为
数据采集
的重要手段。Python,因其简洁的语法和强大的库支持,成为编写爬虫的首选语言之一。
是有头发的程序猿
·
2025-01-26 16:37
API
API接口
python
爬虫
开发语言
智能体(Agent)如何具备自我决策能力的机理与实现方法
经过优化与补充,智能体具备自我决策能力的机理可以分解为以下五个部分:1.自主感知与信息获取智能体通过传感器、数据库、互联网信息等多源
数据采集
,构建全面的环境感知能力。
由数入道
·
2025-01-26 16:04
人工智能
应急管理
人工智能
自然语言处理
Apache Hive 聚合函数与 OVER 窗口函数:从基础到高级应用
在
大数据
时代,ApacheHive是处理和分析海量数据的强大工具。Hive提供了丰富的聚合函数和强大的OVER窗口函数,能够帮助我们高效地进行数据分析。
大鳥
·
2025-01-26 11:04
sql
hive
apache
hive
hadoop
大数据
治理实战指南:数据质量、合规与治理架构
个人主页:一ge科研小菜鸡-CSDN博客期待您的关注引言随着企业数字化转型的加速,
大数据
已成为驱动业务决策的核心资产。然而,数据治理的缺失或不完善,可能导致数据质量问题、合规风险以及业务价值的流失。
一ge科研小菜鸡
·
2025-01-26 11:28
大数据
大数据
数据采集
与存储——Elasticsearch实战详解
作者:禅与计算机程序设计艺术1.简介Elasticsearch是一个基于Lucene构建的开源分布式搜索引擎,主要用于大规模数据的存储、检索、分析等功能。Elasticsearch非常适合处理结构化和非结构化的数据,并且提供完整的RESTfulAPI接口,可以与多种语言的客户端进行交互。本文将从以下几个方面对Elasticsearch进行详细介绍:⒈Elasticsearch的历史及特性介绍;⒉E
AI天才研究院
·
2025-01-26 06:51
Python实战
深度学习实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Redis学习笔记
NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,特别是
大数据
应用难题。NoSQL特点方便扩展(
csdn_bobo_6
·
2025-01-26 06:47
redis
学习
数据库
STM32智能温室控制系统教程
目录引言环境准备智能温室控制系统基础代码实现:实现智能温室控制系统4.1
数据采集
模块4.2数据处理与控制模块4.3通信与网络系统实现4.4用户界面与数据可视化应用场景:温室管理与优化问题解决方案与优化收尾与总结
STM32发烧友
·
2025-01-26 05:10
stm32
嵌入式硬件
单片机
上一页
20
21
22
23
24
25
26
27
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他