E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
MongoBD大数据处理
【Flink入门修炼】1-1 为什么要学习 Flink?
一、批处理和流处理早些年,
大数据处理
还主要为批处理,一般按天或小时定时处理数据,代表性的框架为MapReduce、Hive、Spark等。
大数据王小皮
·
2024-02-06 07:29
Flink
入门修炼
flink
学习
大数据
Apache Hadoop
解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(分布式运算编程框架):解决海量数据计算_广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈,包括
大数据处理
流程中的各个阶段的软件
VincentLeon
·
2024-02-06 05:28
【大数据面试题】002 Flink 如何实现 Exactly-Once 语义
在流式
大数据处理
框架中,Exactly-Once语义对于确保每条数据精确地只被消费一次(避免重复读取和丢失读取)非常重要。下面将介绍Flink是如何实现Exactly-Once语义的。
Jiweilai1
·
2024-02-05 13:54
一天一道面试题
大数据
flink
三维可视化助力船舶制造:
大数据处理
、实时协作更高效!
随着科技的不断发展,船舶制造行业也在不断寻求创新和提高效率的途径。其中,HOOPS技术作为一种先进的三维可视化和工程协作技术,正逐渐成为船舶制造领域的关键工具。本文将深入探讨HOOPS技术在船舶制造行业的应用,探讨其带来的优势和创新。HOOPS中文网http://techsoft3d.evget.com/一、HOOPS技术概述HOOPS技术是一种由TechSoft3D公司开发的三维图形库,具有高性
慧都科技3D
·
2024-02-05 13:00
软件资讯
3d
hoops
3D模型轻量化
3D
WEB轻量化
3D
PDF发布
3D模型格式转换
3.0 Hadoop 概念
Hadoop整体设计Hadoop框架是用于计算机集群
大数据处理
的框架,所以它必须是一个可以部署在多台计算机上的软件。部署了Hadoop软件的主机之间通过套接字(网络)进行通讯。
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
基于hadoop+spark的大规模日志的一种处理方案
而且CDN上的访问日志一般都非常大,需要用
大数据处理
架构来进行处理,本文描述了一种利用hadoop+spark来处理大量CDN日志的方法,当然本方
码农心语
·
2024-02-05 06:36
日志处理
大规模
大数据
hadoop
spark
cdn
人类与AI的优势互补
具体而言:
大数据处理
与分析:AI拥有强大的数据处理能力,可以在短时间内对海量数据进行挖掘和学习,发现其中隐藏的规律、趋势和关联性,这对于商业智能、科研探索以及预测模型构建等领域具有重大价值。
科学禅道
·
2024-02-05 06:16
人工智能的未来
人工智能
使用python打开parquet文件
Parquet是一种用于列式存储和压缩数据的文件格式,广泛应用于
大数据处理
和分析中。Python提供了多个库来处理Parquet文件,例如pyarrow和fastparquet。
Yorelee.
·
2024-02-04 18:09
#
环境配置
人工智能
python
信息与通信
springboot/java/php/node/python基于云平台的计算机考试辅导小程序【计算机毕设】
基于云平台的计算机考试辅导小程序应运而生,它利用云计算的强
大数据处理
能力和便捷的服务模式,为学习者提供一个随时随地可以访问的学习环境。这
艺馨程序设计
·
2024-02-04 12:16
java
spring
boot
php
PLSQL性能优化-merge into替代update
Mergeinto和update是SQL的两个更新语句,在
大数据处理
中,mergeinto比update更高效。
阿达斯加
·
2024-02-04 00:54
sql
大数据
Python-小数取整与小数四舍五入
()函数取整3.ceil()与floor()函数取整前言本文主要记录Python-实现小数取整与小数四舍五入的相关笔记1.round()函数round()函数目前是使用较为广泛的四舍五入函数,尤其是在
大数据处理
中
Sky-JT
·
2024-02-03 10:07
Python基础
python
开发语言
后端
numpy 转载学习
在最流行的三
大数据处理
栈R、Matlab和Python中,NumPy是最重要的组件之一,有很多Python系的数据处理系统都依赖NumPy作为其基础架构的基础部分,比如tensorflow、pandas
科学俱乐会
·
2024-02-03 09:34
Hadoop:学习HDFS,看完这篇就够了!
由于其具有高容错性、高可靠性和高吞吐量等特点,因此广泛应用于
大数据处理
和分析场景。一认识Hadoop学习HDFS之前,让我们先来简单认识一下Hadoop是什么?
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
学习
hdfs
大数据
云计算
Hadoop生态圈-组件介绍
Hadoop是目前应用最为广泛的分布式
大数据处理
框架,其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
Python之PySpark简单应用
csv数据2.解析计算序列数据map\flatmap三、问题总结1.代码问题2.配置问题一、介绍PySpark是ApacheSpark的PythonAPI,它允许开发人员使用Python编写并运行分布式
大数据处理
应用程序
陈年小趴菜
·
2024-02-02 13:37
python
python
开发语言
大数据
上位机在工业控制系统中的重要作用及其与PLC的互补关系
上位机,也称为监控计算机或操作员站,是一种具有强
大数据处理
能力、图形显示界
蓝蜂物联网
·
2024-02-02 03:49
物联网
物联网云平台
plc
大数据处理
技术作业——使用HBase&MongoDB&MapReduce进行数据存储和管理
前言写这篇文章的目的,主要是为了记录一下这次作业历程,并且笔者了解到很多同志饱受作业折磨,遂简单分享一下个人完成作业的历程,以下内容仅为本人的一些乱七八糟的想法,仅作参考O(∩_∩)O作业要求1、本作业的链接【完成本次作业用到的代码文件,列出网盘链接,https://pan.baidu.com/xxx】2、数据来源及概述【1.列出数据的下载链接,或者说明数据的采集方法。2.概述数据的背景与内容。3
Daniel Muei
·
2024-02-02 02:31
mapreduce
hbase
mongodb
介绍 Apache Spark 的基本概念和在大数据分析中的应用
ApacheSpark是一个开源的
大数据处理
框架,旨在提供高速、易用和通用的大数据分析平台。它所提供的一系列工具和库可以帮助用户处理大规模数据集,并支持复杂的数据分析任务。
做一个AC梦
·
2024-02-01 21:07
apache
spark
开发语言
大数据之 Spark 与 Hadoop MapReduce 对比
ApacheSpark和ApacheHadoopMapReduce是两个广泛用于
大数据处理
的开源框架,它们在设计目标、性能表现和功能特性上有显著的不同点:执行模型:MapReduce(MR):基于批处理模式
转身成为了码农
·
2024-02-01 12:30
大数据
spark
hadoop
大数据架构简述流处理、批处理、交互式查询
我们将
大数据处理
按处理时间的跨度要求分为以下几类基于实时数据流的处理,通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询,通常时间跨度在数十秒到数分钟之间复杂的批量数据处理,通常的时间跨度在几分钟到数小时之间
叫我老村长
·
2024-02-01 01:09
大数据技术Hadoop之分布式计算框架MapReduce
Hadoop作为一种分布式计算框架,被广泛应用于
大数据处理
领域。其中,MapReduce是Hadoop中最重要的组件之一。
大马猴写bug
·
2024-01-31 06:11
hadoop
大数据
mapreduce
Redis持久化机制
Redis具有快速存取和实时响应的特点,广泛应用于Web开发、
大数据处理
和实时分析等领域。然而,Redis是一个内存数据库,数据存储在内存中,一旦服务器出现故障或断电,数据
无问287
·
2024-01-30 23:23
redis
数据库
缓存
大数据处理
技术考试题库(自主整理)
解释大数据?((4V特性))大量、多样、高速、价值密度低(展开论述)(1)数据量大(Volume):大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。(2)类型繁多(Variety):有大量的结构化和非结构化数据(3)价值密度低(Value):信息感知无处不在,存在信息海量,但价值密度较低。(4)时效高(Velocity):从数据生成到消耗的时间窗口非常少,可用于
不会写代码!!
·
2024-01-30 16:42
题库
人工智能
hadoop
来涛思数据,与科大学长一起,打造全球顶尖的时序数据库
涛思数据是一家专注物联网和工业
大数据处理
的硬核科技公司,其开源的时序数据
涛思数据(TDengine)
·
2024-01-30 07:18
社区活动
涛思数据
时序数据库
大数据
了解这四个 3.0 版本的集群重要优化,助力企业级数据处理事半功倍
为了帮助企业更好地进行
大数据处理
,我们在此前TDengine3.x系列版本中进行了几项与集群相关的优化和新功能开发,以提升集群的稳定性和在异常情况下的恢复能力。
涛思数据(TDengine)
·
2024-01-30 07:18
TDengine技术解密
linux
tdengine
时序数据库
数据库
大数据
PySpark数据分析
PySpark是ApacheSpark的PythonAPI,它允许用户使用Python进行
大数据处理
和分析。
数字化信息化智能化解决方案
·
2024-01-30 07:13
ajax
前端
javascript
Apache Spark 的基本概念和在大数据分析中的应用
ApacheSpark是一个快速、通用、可扩展的
大数据处理
引擎。它提供了一个高级的编程接口,可以在分布式环境中对大规模数据进行处理和分析。
数据科学与艺术的贺公子
·
2024-01-30 06:17
spark
数据分析
大数据
微平均与事件驱动架构:结合力量
微平均(Micro-batching)和事件驱动架构(Event-drivenarchitecture)是两种非常重要的
大数据处理
技术,它们在处理大规模数据和实时性能方面都有着显著的优势。
OpenChat
·
2024-01-30 04:28
架构
系统架构设计师教程(十九)大数据架构设计理论与实践
大数据架构设计理论与实践19.1传统数据处理系统存在的问题19.2
大数据处理
系统架构分析19.2.1
大数据处理
系统面临挑战19.2.2
大数据处理
系统架构特征19.3Lambda架构19.3.1Lambda
赫凯
·
2024-01-30 00:34
#
《系统架构设计师教程》
系统架构
大数据
大数据 - Hadoop系列《三》- MapReduce(分布式计算引擎)概述
上一篇文章:大数据-Hadoop系列《三》-HDFS(分布式文件系统)概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付
大数据处理
场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn
·
2024-01-29 23:31
大数据
hadoop
大数据
hadoop
hdfs
【
大数据处理
】消费者行为与购物习惯数据分析及可视化
相关文章及代码下载消费者行为与购物习惯数据分析及可视化完整代码包【
大数据处理
】文档分析【
大数据处理
】matplotlib做简单数据可视化1.探究的问题陈述数据集来源:kagglehttps://www.kaggle.com
linghyu
·
2024-01-29 22:34
数据分析
人工智能
大数据
精通Python第12篇—深入Pandas从基础到高级的数据处理艺术
:计算平均值示例:筛选数据写入Excel文件实例:读取并写入新表格数据清洗与转换缺失值处理数据类型转换分组与聚合数据可视化进一步学习高级功能与进阶应用多表关联与合并时间序列分析自定义函数应用性能优化与
大数据处理
持续学习与实践结语引言在日常的数据处理工作中
申公豹本豹
·
2024-01-29 13:48
python
pandas
开发语言
excel
[AIGC 大数据基础] 大数据流处理 Kafka
大数据处理
已成为各行各业中不可或缺的一部分。在
大数据处理
的过程中,流处理变得越来越重要,因为我们需要实时地处理和分析数据,以便做出及时的决策。
程序员三木
·
2024-01-29 05:32
大后端
AI
AIGC
大数据
kafka
人工智能对国内教育的影响
在过去,学子们还能通过寒窗苦读换来“金榜题名”,但是与人工智能相比,人工智能的学习方式本身就是“大数据训练”,在算力和
大数据处理
上,人工智能简直是“逆天”的存在,人类与之相比完全没有竞争
栖雲社区
·
2024-01-28 23:44
事件驱动架构的性能优化技巧:提高系统性能与响应速度
1.背景介绍事件驱动架构是一种异步、高度可扩展的架构模式,它在各种应用场景中得到了广泛应用,如微服务架构、
大数据处理
、实时数据流处理等。
OpenChat
·
2024-01-28 21:58
架构
性能优化
数据湖技术之发展现状篇
一.
大数据处理
架构:
大数据处理
架构的发展过程具体可以分为三个主要阶段:批处理架构、混合处理架构(Lambda、Kappa架构)、湖仓一体。
风筝Lee
·
2024-01-28 18:56
数据湖
hive
hadoop
spark
极简pyspark
PySpark简要介绍PySpark是一个基于Spark的Python接口,它允许你在Python中使用Spark的强大功能,如
大数据处理
、实时数据处理等。
吉小雨
·
2024-01-28 18:13
python
事件驱动架构的实践:如何在现有系统中进行逐步转换
这种架构在许多现代软件系统中广泛应用,包括
大数据处理
、实时通信、金融交易等领域。在传统的命令式架构中,系统通过顺序执行一系列的命令来完成任务。而在事件驱动架构中,系统通过监听和响应事件来实现功能。
OpenChat
·
2024-01-28 15:30
架构
大数据处理
系统的架构
大数据处理
系统的架构介绍Lamdba架构Lambda架构是一种用于处理大规模数据的设计模式,旨在结合批处理和实时处理,以应对对大量数据进行高效处理的需求。
demo123567
·
2024-01-28 14:58
大数据
架构
[AIGC大数据基础] Spark 入门
大数据处理
已成为当代数据领域的重要课题之一。为了高效地处理和分析大规模数据集,许多
大数据处理
引擎应运而生。其中,Spark作为一个快速、通用的
大数据处理
引擎备受关注。
程序员三木
·
2024-01-28 12:32
大后端
大数据
AIGC
spark
超流与
大数据处理
:架构与实践
1.背景介绍
大数据处理
是现代计算机科学和信息技术的一个重要领域。
OpenChat
·
2024-01-28 08:43
架构
java
数据库
前端
mysql
大数据处理
神器datatable库安装及使用(远超pandas效率)
#一、datatable安装pipinstalldatatable#二、datatable引入importdatatableasdt#三、读取文件#读取单个文件:fread#读取123.csv,各列以|分隔frame_a=dt.fread("123.csv",sep="|")#frame_a内容id|name|age1|a|112|b|123|c|13#读取文件列表并合并file_list=["1
lytcreatee
·
2024-01-28 03:41
Python
大数据
windows
python
java
大数据处理
需要用到的九种编程语言
R若要列出所有程序语言,你能忘记其他的没关系,但最不能忘的就是R。从1997年悄悄地出现,最大的优势就是它免费,为昂贵的统计软件像是Matlab或SAS的另一种选择。但是在过去几年来,它的身价大翻转,变成了资料科学界眼中的宝。不只是木讷的统计学家熟知它,包括WallStreet交易员、生物学家,以及硅谷开发者,他们都相当熟悉R。多元化的公司像是Google、Facebook、美国银行以及NewYo
kuntoria
·
2024-01-28 01:08
Apache Spark架构与特点
1.背景介绍ApacheSpark是一个开源的
大数据处理
框架,由AMLLabs公司开发,后被Apache软件基金会所支持。
OpenChat
·
2024-01-27 23:35
apache
spark
架构
大数据
分布式
DataWhale
大数据处理
技术组队学习task1
DataWhale
大数据处理
技术组队学习task1一、大数据概述1.大数据时代(详细内容参考参考文章)2.大数据的概念(又或者是特点)4V数据量大(Volume)数据来源:可以是计算机、手机,也可以是其他联网设备
Y_fulture
·
2024-01-27 19:33
大数据处理技术
学习
大数据
数据分析
apache 前30个开源项目
1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架
大数据处理
非常活跃
临水逸
·
2024-01-27 17:35
apache
开源
大数据数据流分析和处理的工具pig,从入门到精通!
Pig的特点包括:面向过程的数据流语言:与Hive等其他
大数据处理
工具相比,Pig更注重数据处理的过程性,适用于
知识分享小能手
·
2024-01-27 09:05
学习心得体会
大数据
大数据
数据分析
数据库
视频智能分析:冶炼/冶金工厂视频智能监管方案的设计和应用
该方案通过高清摄像头、智能分析技术、
大数据处理
等手段,对工厂进行全方位、实时监控,为管理者提供全面的生产信息。
Black蜡笔小新
·
2024-01-27 00:28
解决方案
AI识别
音视频
人工智能
边缘计算
算力网络:未来计算资源的驱动力
、运营商的算力网络架构(一)算力网络基础设施构成(二)算力网络编排管理(三)能力开放三、算力网络的优势(一)弹性计算(二)降低成本(三)去中心化四、算力网络的应用场景(一)人工智能(二)科学研究(三)
大数据处理
岛屿旅人
·
2024-01-26 22:06
网络安全
网络
人工智能
web安全
网络安全
安全
大数据开发必备工具——Hadoop及整体架构介绍
Hadoop是一个由Apache软件基金会开发的开源Java软件框架,专为
大数据处理
设计,支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6
·
2024-01-26 21:03
大数据
hadoop
架构
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他