E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据处理
云计算与大数据第15章 分布式
大数据处理
平台Hadoop习题带答案
第15章分布式
大数据处理
平台Hadoop习题15.1选择题1、分布式系统的特点不包括以下的(D)。A.分布性B.高可用性C.可扩展性D.串行性2、Hadoop平台中的(B)负责数据的存储。
高校知识店铺合集汇总
·
2023-07-20 00:21
hadoop
mapreduce
大数据
浅析Lambda架构
Lambda架构Lambda架构(LambdaArchitecture)是由Twitter工程师南森·马茨(NathanMarz)提出的
大数据处理
架构。
满载星辉
·
2023-07-19 20:50
后端
机器学习实战10-基于spark大数据技术与机器学习的结合应用实战
大家好,我是微学AI,今天给大家介绍一下机器学习实战10-基于spark大数据技术与机器学习的结合应用实战,Spark是一种快速、通用的
大数据处理
框架。它是由加州大学伯克利分校AMPLab开发。
微学AI
·
2023-07-19 16:59
机器学习实战项目
大数据
机器学习
spark
抖音SEO矩阵源码开发(一)
前言:1.抖音SEO矩阵系统源码开发是一项技术密集型工作,需要对
大数据处理
、人工智能等领域有深入了解。
(ylhd898978)
·
2023-07-19 08:06
抖音seo源码
矩阵
线性代数
开发语言
Flink是什么
由此诞生了
大数据处理
工具:数据存在关系型数据库,比如mysql,如何分析数据?
狼与自由
·
2023-07-18 20:14
flink
大数据
电力智能运维是什么?有哪些优势?
在当前电力系统的业务处理中,计算机互联网、
大数据处理
、文章传输等先进技术逐步投入使用。
Batbot智慧电力云平台
·
2023-07-18 04:15
运维
大数据
数据库
Spark 离线开发框架设计与实现
一、背景随着Spark以及其社区的不断发展,Spark本身技术也在不断成熟,Spark在技术架构和性能上的优势越来越明显,目前大多数公司在
大数据处理
中都倾向使用Spark。
Xiaohong0716
·
2023-07-18 02:14
spark
大数据
分布式
Presto、Spark 和 Hive 即席查询性能对比
Presto、Spark和Hive是三个非常流行的
大数据处理
框架,它们都有着各自的优缺点。在本篇博客文章中,我们将对这三个框架进行详细的对比,以便读者更好地了解它们的异同点。
GP0000968523
·
2023-07-18 01:25
spark
hive
大数据
摄像头大数据分析跟踪均值漂移算法-spark和python
非结构化数据的
大数据处理
数据有文字,图片,音频,视频,这些都属于非结构化数据,计算机不能直接识别,摄像头信息需要进行预处理,解压,解码,去重,合并,提取,清洗,分词nlp,将图片,音频,视频等媒体信息转化为结构体数据
qianbo_insist
·
2023-07-17 12:49
深度学习
产品经理
AI
sklearn
spark
Flink集成Hive之快速入门--以Flink1.12为例
目前,一些比较常见的
大数据处理
引擎,都无一例外兼容Hive。Flink从1.9开始支持集成Hive,不过1.9版本为beta版,不推荐在生产环境中使用。
大数据技术与数仓
·
2023-07-17 09:32
【新版系统架构】第十九章-大数据架构设计理论与实践
大数据处理
系统架构
大数据处理
系统面临挑战如何利用信息技术等手段处理非结构化和半结构化数据如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响
大数据处理
系统架构特征鲁棒性和容错性低延迟读取和更新能力横向扩容通用性延展性即席查询能力最少维护能力可调式性
阿提说说
·
2023-07-16 22:40
#
系统架构设计师(第2版)
系统架构
grafana
【
大数据处理
框架】Spark
大数据处理
框架,包括其底层原理、架构、编程模型、生态圈
Spark框架的底层原理Spark框架的架构SparkCoreSparkSQLSparkStreamingSparkMLlibSparkGraphXSpark框架采用的编程模型Spark生态圈Spark
大数据处理
框架是一个开源的
大数据处理
框架
我是廖志伟
·
2023-07-16 21:25
#
大数据开发
spark
架构
大数据
云动力的大数据与云计算相辅相成
在这种情况下,云计算所具备的弹性伸缩和动态调配、资源的虚拟化和系统的透明性、支持多租户、支持按量计费或按需使用,以及绿色节能等基本要素正好契合了新型
大数据处理
技术的需求;而以云计算为典型代表的新一代计算模式
lxwei
·
2023-07-15 16:56
【AI底层逻辑】——篇章4:
大数据处理
与挖掘
目录引入一、大数据概述二、数据处理的流程&方法1、数据收集——“从无到有”2、数据加工——“从有到能用”3、数据分析三、大数据改变了什么往期精彩:引入AI的表现依赖大数据。曾经一段时间,对于图像识别的准确率只能达到60%~70%,这其中有机器学习算法和计算机硬件性能的局限,但是重要的时缺少数据。2009年斯坦福大学教授李飞飞、普林斯顿大学教授李凯建立一个项目收集5000万张高清图片,标注8万多个单
柯宝最帅
·
2023-07-15 15:52
AI底层逻辑
人工智能
大数据
机器学习
大数据技术概述(一)
从流处理到批处理1.2.1数据与数据流1.2.2批处理与流处理1.2.3流处理框架1.3大数据技术1.3.1Hadoop1.3.2Spark1.3.3Kafka1.3.4Flink1.4从Lambda到Kappa:
大数据处理
平台的演进
ChlinRei
·
2023-07-15 13:42
大数据
大数据
flink
kafka
大数据:赋能人类新型的燃料(超详细)
大数据的三大特点二、大数据的价值2.1大数据的意义2.2大数据的价值三、大数据的应用3.1财经行业3.2能源与公共服务3.3科学研究3.4营销推广3.5医疗保健四、大数据技术4.1大数据采集4.2大数据存储4.3
大数据处理
叶秋∵
·
2023-07-15 07:58
大数据
python
人工智能
Spark入门教程
好的,下面是Spark入门教程:#1.Spark概述Spark是一种基于内存计算的
大数据处理
框架,它提供了高效的分布式数据处理能力,使得处理大规模数据变得更加容易。
coder - w
·
2023-07-15 06:03
spark
大数据
hadoop
Hadoop期末总复习
答:Hadoop开发了自己的分布式文件系统(HDFS)主要是为了满足其
大数据处理
框架的需求。
赫嘉益华
·
2023-07-15 06:32
hadoop
大数据
hdfs
并行计算框架Polars、Dask的数据处理性能对比
在Pandas2.0发布以后,我们发布过一些评测的文章,这次我们看看,除了Pandas以外,常用的两个都是为了
大数据处理
的并行数据框架的对比测试。
deephub
·
2023-07-14 19:29
python
开发语言
机器学习
Dask
Apache Kudu
Kudu可以与ApacheHadoop、ApacheSpark和ApacheImpala等
大数据处理
框架集成,提供高效的数据存储和查询功能。
ItisNagatoYuki
·
2023-07-14 13:14
apache
大数据
数据分析Lambda架构详解
Lambda架构Lambda架构(LambdaArchitecture)是由Twitter工程师南森·马茨(NathanMarz)提出的
大数据处理
架构。
Rocky006
·
2023-07-14 10:06
数据分析
架构
抖音SEO矩阵系统源码开发部署(二)技术搭建+二次开发
抖音SEO矩阵系统源码开发是一项技术密集型工作,需要对
大数据处理
、人工智能等领域有深入了解。该系统开发过程中需要用到多种编程语言,如Java、Python等。
云罗张晓_zz70933
·
2023-07-14 07:54
矩阵号系统怎么样
php
java
python
开源软件
开源
Spark 离线开发框架设计与实现
一、背景随着Spark以及其社区的不断发展,Spark本身技术也在不断成熟,Spark在技术架构和性能上的优势越来越明显,目前大多数公司在
大数据处理
中都倾向使用Spark。
Xiaohong0716
·
2023-07-13 22:56
spark
大数据
分布式
物联网之云平台搭建与
大数据处理
期末复习总结一
物联网云平台之
大数据处理
概念1.私有云的核心属性是专有资源。2.云计算主流解决方案有四种:OpenStack,CloudStack,Eucalyptus和VMvCloudStuite。
zoraling
·
2023-06-24 04:48
总结
物联网
网络
iot
Spark
大数据处理
讲课笔记4.8 Spark SQL典型案例
目录零、本讲学习目标一、使用SparkSQL实现词频统计(一)提出任务(二)实现任务1、准备数据文件2、创建Maven项目3、修改源程序目录4、添加依赖和设置源程序目录5、创建日志属性文件6、创建HDFS配置文件7、创建词频统计单例对象8、启动程序,查看结果9、词频统计数据转化流程图二、使用SparkSQL计算总分与平均分(一)提出任务(二)完成任务1、准备数据文件2、新建Maven项目3、修改源
贫坤户~濰小城
·
2023-06-24 04:40
scala
java
开发语言
被测系统架构与数据流分析
角色与数据用户产品前端技术栈后端技术栈数据存储开源项目Mall的系统架构(https://github.com/macrozheng/mall)角色与数据用户产品前端技术栈后端技术栈服务治理技术栈监控技术栈
大数据处理
技术栈数据存储持续集成
阿瞒有我良计15
·
2023-06-23 13:14
测试开发
系统架构
使用Azure Data Factory REST API和HDInsight Spark进行简化数据处理
AzureDataFactory是一种基于云的数据集成服务,结合HDInsightSpark,一种快速可扩展的
大数据处理
框架,提供了一个强大的解决方案来应对这些数据处理需求。
沃趣数据库管理平台
·
2023-06-23 09:01
数据仓库
云计算
今日头条发布“头条营销认证”,推动信息流营销行业标准化
今日头条营销中心总经理陈都烨在演讲中表示,“今日头条拥有海量
大数据处理
能力、全球顶尖的人工智能团队,为广告主提供丰富的
帅哥哥烦烦烦
·
2023-06-23 06:28
Storm--简介(一)
一、Storm简介 Storm是Twitter开源的分布式实时
大数据处理
框架,最早开源于github,从0.9.1版本之后,归于Apache社区,被业界称为实时版Hadoop。
无剑_君
·
2023-06-22 22:42
推荐系统学习
推荐系统系统职能:头条/抖音/快手,都是以推荐系统作为流量的分发的主要手段;职业发展:
大数据处理
/流式计算/数据挖掘/机器学习/高并发服务等领域。
Ryan_2021_
·
2023-06-21 00:35
业务篇
学习
推荐算法
算法
大数据处理
面试题小结
自己从各个网上书上总结的。以下来自数据结构与算法之美:假设我们有10万条URL访问日志,如何按照访问次数给URL排序?遍历10万条数据,以URL为key,访问次数为value,存入散列表,同时记录下访问次数的最大值K,时间复杂度O(N)。注意:key是URL,hash(key)的结果是value在hash数组中存放位置的下标,但可能有冲突,那就跟据probe或链表法找下一个合适的位置。找到hash
纸上得来终觉浅 绝知此事要躬行
·
2023-06-20 04:07
数据结构
算法
Spark 离线开发框架设计与实现
一、背景随着Spark以及其社区的不断发展,Spark本身技术也在不断成熟,Spark在技术架构和性能上的优势越来越明显,目前大多数公司在
大数据处理
中都倾向使用Spark。
Xiaohong0716
·
2023-06-19 21:53
spark
大数据
数据仓库
Flink学习——Flink中的时间语义和窗口
flink是一个
大数据处理
引擎,它的最大特点就是分布式。每一个机器都有自己的时间,那么集群当中的时间应该以什么为准呢?
five小点心
·
2023-06-19 17:29
#
Flink
flink
学习
大数据
浅谈Hadoop体系和MPP体系
浅谈Hadoop体系和MPP体系引言如题,在大数据发展至今,为了应对日益繁多的数据分析处理,和解决客户各种奇思妙(怪)想需求,形形色色的
大数据处理
的框架和对应的数据存储手段层出不穷。
BigDataMK
·
2023-06-19 11:06
大数据
hadoop
spark
大数据
flink
hdfs
「Java工具类」AES对称加密工具类
springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享;datax、kafka、flink等
大数据处理
框架的技术分享
程序员阿宁
·
2023-06-19 10:07
Java工具类
对称加密
AES
java对称加密
对称加密AES
java对称加密AES
大数据处理
学习笔记2.4
一、词频统计准备工作单词计数是学习分布式计算的入门程序,有很多种实现方式,例如MapReduce;使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJIDEA中新建Maven管理的Spark项目,并在该项目中使用Scala语言编写Spark的WordCount程序,最后将项目打包提交到Spark集群(Standalone模式)中运行。(一)创建本地单词文件在D:\spark
MISS0-0
·
2023-06-18 23:31
学习
笔记
大数据
Spark
大数据处理
学习笔记(2.4)IDEA开发词频统计项目
一、词频统计准备工作1.1安装Scala2.12.15从Scala官网下载Scala2.12.15-https://www.scala-lang.org/download/2.12.15.html安装在默认位置安装完毕在命令行窗口查看Scala版本(必须要配置环境变量)1.2启动集群的HDFS与Spark启动HDFS服务启动Spark集群1.3在HDFS上准备单词文件在master虚拟机上创建单词
Neroiiey
·
2023-06-18 22:26
Spark
spark
学习
笔记
大数据hadoop生态技术简介
Hadoop生态是指围绕Hadoop
大数据处理
平台形成的一系列开源软件和工具,用于支持大规模数据处理、存储、管理、分析和可视化等应用场景。
三水写代码
·
2023-06-18 22:05
大数据
大数据
hadoop
函数计算异步任务能力介绍 - 任务触发去重
作者:渐意前言无论是在
大数据处理
领域,还是在消息处理领域,任务系统都有一个很关键的能力-任务触发去重。这个能力在一些对准确性要求极高的场景(如金融领域)中是必不可少的。
·
2023-06-18 19:50
Java Spark 操作 Apache Kudu
它被称为Hadoop生态系统的新一代存储层,能够与ApacheSpark、ApacheImpala、ApacheHive等
大数据处理
框架集成使用。
小毕超
·
2023-06-18 18:03
分布式存储
大数据处理
java
spark
apache
【
大数据处理
与可视化】八、文本数据分析
【
大数据处理
与可视化】八、文本数据分析实验目的实验内容实验步骤一、案例——商品评价分析1、读取数据,并转换成DataFrame对象进行展示。
慢热型网友.
·
2023-06-18 12:22
作业报告
数据分析
python
数据挖掘
【
大数据处理
与可视化】七、时间序列分析
【
大数据处理
与可视化】七、时间序列分析实验目的实验内容实验步骤一、案例——股票收盘价分析1、读取数据,并转换成DataFrame对象展示2、将“交易日期”一列设置为行索引3、根据数据中“收盘价”一列的数据绘制一张折线图
慢热型网友.
·
2023-06-18 12:52
作业报告
数学建模
python
开发语言
揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor
作者:藏红一、引言阿里云实时计算Flink作为一款专业级别的高性能实时
大数据处理
系统,它在各种业务场景中都发挥了关键的作用。
Apache Flink
·
2023-06-18 12:08
Flink
大数据
实时计算
阿里云
flink
大数据
运维
人工智能
基于Spark的气象数据分析
基于此,本项目使用Spark等
大数据处理
工具,采用机器学习、深度学习等多种数据分析方法,并借助可视化手段将多种类型数据与复杂数据进行解读与概括,探究大数据技术在气象数据中的应用,给受众
考研数学武忠样老师
·
2023-06-18 11:49
python
spark
大二下学期期末总结
在大二下学期的企业级信息技术开发和spark
大数据处理
课程中,我学到了很多关于如何使用现代化技术来解决企业级问题的知识。首先,在企业级信息技术开发方面,我们学习了Java语言和Spring框架。
没123456
·
2023-06-17 16:00
java
开发语言
GIS
大数据处理
框架sedona(塞多纳)编程入门指导
GIS
大数据处理
框架sedona(塞多纳)编程入门指导简介ApacheSedona™是一个用于处理大规模空间数据的集群计算系统。
松果仁
·
2023-06-17 09:17
GIS
apache
sedona
gis
java
几何学
Spark
大数据处理
学习笔记(3.1)掌握RDD的创建
文章目录一、准备工作1.1准备文件1.1.1准备本地系统文件在/home目录里创建test.txt单词用空格分隔1.1.2启动HDFS服务执行命令:start-dfs.sh1.1.3上传文件到HDFS将test.txt上传到HDFS的/park目录里查看文件内容1.2启动SparkShell1.2.1启动Spark服务执行命令:start-all.sh1.2.2启动SparkShell执行命令:s
Neroiiey
·
2023-06-17 02:12
Spark
spark
hadoop
学习
Java开发需要的
大数据处理
方式
写程序软件处理用户量和数据量。用户量一大,并发量线程安问题就会出现。软件一开始是使用C/S的应用架构模式。客户端和服务器端通过互联网相互访问。Windows的客户端软件通过C++编写出来,不同的操作系统支持的客户端软件编写语言不一样。B/S架构模式现在很受到大众的欢迎,一台计算机的应用可携带内存空间有限,安装操作系统之后,推荐安装适用的工具软件。数据量多,处理起来的方案也很多。分布式的编程思想在编
程序员是干活的
·
2023-06-17 01:08
解决方案
java
开发语言
Spark面试题二十道
答案:Spark和Hadoop都是用于
大数据处理
的框架,但有以下区别:数据处理模型:Spark提供了更灵活和高级的数据处理模型,如RDD(
MIDSUMMER_yy
·
2023-06-16 22:10
spark
大数据
Spark
大数据处理
学习笔记(3.2.1)掌握RDD算子
一、准备工作1.1准备文件准备本地系统文件在\home目录里创建words.txt把文件上传到将words.txt上传到HDFS系统的/park目录里查看文件内容1.2启动SparkShell启动HDFS服务执行命令:start-dfs.sh启动Spark服务执行命令:start-all.sh启动SparkShell执行名命令:spark-shell--masterspark://master:7
Neroiiey
·
2023-06-16 21:33
Spark
spark
学习
笔记
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他