E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据开发--spark
spark
采坑集锦之用kafka作为DStream数据源,并行度问题
在
Spark
Streaming中作为数据源的Kafka怎样接收多主题发送的数据呢?
方兵兵
·
2024-08-27 16:41
spark采坑集锦
Hbase BulkLoad用法
要导入大量数据,Hbase的BulkLoad是必不可少的,在导入历史数据的时候,我们一般会选择使用BulkLoad方式,我们还可以借助
Spark
的计算能力将数据快速地导入。
kikiki4
·
2024-08-27 15:42
Spark
-- 基础开发和RDD相关知识总结!!!
目录一、基础开发1.Anaconda2.案例(基本代码)3.案例(链式编程)3.
spark
-submit3.StandAlone模式4.
Spark
OnYarn模式二、RDD1.RDD模型2.RDD常用算子
Alfie-
·
2024-08-27 12:13
Spark
spark
大数据
Spark
-第三周
1.
spark
context初始化源码分析
Spark
源码(7)-
Spark
Context初始化源码分析_太与旅
spark
源码-CSDN博客
Spark
源码学习(一):
Spark
Context初始化源码分析
fightingD&W
·
2024-08-27 12:13
Spark
spark
大数据
分布式
Spark
-第五周
spark
onyarn运行流程
Spark
onYarn模式下执行过程_
spark
onyarn作业执行流程-CSDN博客yarnclient与yarncluster区别
Spark
onYarn用执行流程图解(
fightingD&W
·
2024-08-27 12:13
Spark
spark
大数据
Spark
-第六周
1.
spark
sql运行流程【
Spark
精讲】一文讲透
Spark
SQL执行过程_
spark
sql执行过程-CSDN博客摸鱼大数据——
Spark
SQL——
Spark
SQL的运行机制-CSDN博客2.熟练使用
fightingD&W
·
2024-08-27 12:13
Spark
spark
大数据
分布式
Hbase BulkLoad用法
要导入大量数据,Hbase的BulkLoad是必不可少的,在导入历史数据的时候,我们一般会选择使用BulkLoad方式,我们还可以借助
Spark
的计算能力将数据快速地导入。
kikiki1
·
2024-08-27 04:22
Py
Spark
,一个超级强大的 Python 库
也许能够开启我们的智慧之门,一个普通的方法,也许能在危急时刻挽救我们于水深火热,一个新颖的思维方式,也许能激发我们无尽的创造力,一个独特的技巧,也许能成为我们的隐形盾牌……神奇的Python库之旅,第14章目录一、初识Py
Spark
炒青椒不放辣
·
2024-08-26 22:18
Python
库之旅
python
Python
库之旅
PySpark
(十五)Flink 内存管理机制
在大数据领域,很多开源框架(Hadoop、
Spark
、Storm)都是基于JVM运行,但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题,主要是因为创建大量的实例,超过JVM
springk
·
2024-08-26 16:27
Flink全景解析
flink
大数据
实时数据
flink
内存管理
内存管理机制
面试笔记8.24
项目你的项目中涉及大
数据开发
,那你的代码工程是怎么搭建的?正确答案:在我的项目中涉及大
数据开发
时,我通常会采用分布式的架构,比如使用Hadoop或者
Spark
等大数据处理框架。
励志秃头码代码
·
2024-08-26 16:55
面试
职场和发展
计算机毕业设计Hadoop+
Spark
知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能
开发技术前端:vue.js、element-ui、echarts后端:springboot、mybatis大数据:
spark
、hadoop数据库:mysql关系型数据库、neo4j图数据库算法:协同过滤推荐算法
计算机毕业设计大全
·
2024-08-26 13:43
Kylin系列-入门
Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL查询接口及多维分析(OLAP)能力,以支持超大规模数据。
Dingdangr
·
2024-08-26 13:34
kylin
【赵渝强老师】
Spark
中的RDD
RDD(ResilientDistributedDataset)叫做弹性分布式数据集,它是
Spark
中最基本、也是最重要的的数据模型。
赵渝强老师
·
2024-08-26 11:52
大数据技术
spark
大数据
分布式
基于
spark
+hadoop+hive大数据分析的电影推荐系统的设计与实现
开发介绍1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下:**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈:
spark
毕设木哥
·
2024-08-26 06:26
spark
spark
hadoop
hive
spring
java
每天一个数据分析题(五百)- 关联规则
.预测(Prediction)数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-26 04:40
数据分析题库
数据分析
数据挖掘
每天一个数据分析题(四百九十)- 主成分分析与因子分析
C.协方差矩阵D.相关系数矩阵数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-26 04:07
数据分析题库
数据分析
数据挖掘
12.
Spark
Core-
Spark
-RDD持久化
(1)persist算子使用方法:varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明:StorageLevel的构造函数:classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
__元昊__
·
2024-08-25 23:43
vue2上传大文件到minio分片上传
项目中使用到的类库:
spark
-md5、axios、element-ui;npminstall
spark
-md5--Snpminstallaxios--S页面上传示例文件上传任务数:{{taskQueueRunningNum
zhou周大哥
·
2024-08-25 17:35
vue.js
javascript
ecmascript
大数据技术——RDD编程初级实践
RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.py
spark
交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6
@璿
·
2024-08-25 03:04
spark
手动修改zk类型的kafka offset
.*.87.125:2181查找并修改ae_
spark
这个topic的消费者组的offset值对于每个分区(0、1、2),需要分别查看和修改offset值查看和修改分区0的offset值查看当前offset
Keep hunger
·
2024-08-24 23:45
开发记录
kafka
分布式
每天一个数据分析题(四百八十七)- 非监督学习
C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-24 23:13
数据分析题库
数据分析
学习
数据挖掘
每天一个数据分析题(四百八十八)- 非监督学习
C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-24 23:13
数据分析题库
数据分析
学习
数据挖掘
黑猴子的家:
Spark
RDD 行动算子 Action
1、reduce(1)原理通过f函数聚集RDD中的所有元素,这个功能必须是可交换且可并联的(2)源码defreduce(f:(T,T)=>T):T=withScope{valcleanF=sc.clean(f)valreducePartition:Iterator[T]=>Option[T]=iter=>{if(iter.hasNext){Some(iter.reduceLeft(cleanF))
黑猴子的家
·
2024-08-24 22:03
【Py
spark
-驯化】一文搞懂Py
spark
修改hive表描述以及增加列使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
修改hive表描述以及增加列使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地!
算法驯化师
·
2024-08-24 13:43
pyspark
大数据
hive
hadoop
数据仓库
pyspark
spark
分布式
大数据
【Py
spark
-驯化】一文搞懂Py
spark
写入hive表的使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
写入hive表的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地!
算法驯化师
·
2024-08-24 13:43
pyspark
大数据
hive
hadoop
数据仓库
spark
分布式
pyspark
hdfs
【Py
spark
-驯化】一文搞懂Py
spark
中对json数据处理使用技巧:get_json_object
【Py
spark
-驯化】一文搞懂Py
spark
中对json数据处理使用技巧:get_json_object本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地
算法驯化师
·
2024-08-24 13:43
pyspark
大数据
json
hadoop
大数据
分布式
hdfs
pyspark
【Py
spark
-驯化】一文搞懂Py
spark
中dropDuplicates和sort的使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
中dropDuplicates和sort的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地!
算法驯化师
·
2024-08-24 13:13
pyspark
大数据
hadoop
大数据
分布式
hdfs
pyspark
【Py
spark
-驯化】一文搞懂Py
spark
中的withColumnRenamed函数的使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
中的withColumnRenamed函数的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地
算法驯化师
·
2024-08-24 13:13
大数据
pyspark
python
大数据
分布式
spark
pyspark
hadoop
从零到一建设数据中台 - 关键技术汇总
一、数据中台关键技术汇总语言框架:Java、Maven、SpringBoot数据分布式采集:Flume、Sqoop、kettle数据分布式存储:HadoopHDFS离线批处理计算:MapReduce、
Spark
我码玄黄
·
2024-08-24 12:09
数据中台
数据挖掘
数据分析
大数据
Hbase BulkLoad用法
要导入大量数据,Hbase的BulkLoad是必不可少的,在导入历史数据的时候,我们一般会选择使用BulkLoad方式,我们还可以借助
Spark
的计算能力将数据快速地导入。
kikiki2
·
2024-08-24 09:57
阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考
,属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格,相比于活动内的经济型e和通用算力型u1等实例规格来说,这些实例规格等性能更强,适用于数据分析与挖掘,Hadoop、
Spark
阿里云最新优惠和活动汇总
·
2024-08-23 22:23
2018年3月15日
上午摸鱼为主,顺便把同事拉进群里让他去沟通
spark
权限的事。截至中午似乎大概是解决了?
真昼之月
·
2024-08-23 18:58
计算机毕业设计hadoop+
spark
知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设
四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.
spark
计算机毕业设计大全
·
2024-08-23 13:22
计算机毕业设计hadoop+
spark
知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计
开发技术hadoop
spark
springbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全
·
2024-08-23 11:05
2024.08.07校招 实习 内推 面经
2025秋季校园招聘正式启动(内推)校招|旷视科技2025秋季校园招聘正式启动(内推)2、校招|华为智能座舱产品部2025校园招聘校招|华为智能座舱产品部2025校园招聘3、校招|蔚来2025届Super
Spark
s
内推君SIR
·
2024-08-23 01:26
求职招聘
面试
python
硬件工程
自动驾驶
汽车
django
spark
学习资料
AdvancedApache
Spark
-SameerFarooqui(Databricks)”(https://www.youtube.com/watch?
Liam_ml
·
2024-08-22 16:24
Spark
MLlib模型训练—分类算法Multilayer Perceptron Classifier
Spark
MLlib模型训练—分类算法MultilayerPerceptronClassifierMultilayerPerceptronClassifier(多层感知器分类器,简称MLP)是
Spark
MLlib
猫猫姐
·
2024-08-22 12:39
Spark实战
spark-ml
spark
机器学习
每天一个数据分析题(四百九十三)- 主成分分析与因子分析
主成分载荷矩阵D.解释方差比例数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-22 11:34
数据分析题库
数据分析
数据挖掘
每天一个数据分析题(四百九十一)- 主成分分析与因子分析
最小方差正交旋转D.最大方差正交旋转数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-22 11:33
数据分析题库
数据分析
数据挖掘
Amazon EFS:云端弹性文件系统的多元化应用场景
应用:Hadoop、
Spark
等大数据框架优势:高
ivwdcwso
·
2024-08-22 04:51
运维
EFS
AWS
Apache Paimon:实时湖仓架构构建工具
实时湖仓架构构建工具paimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkand
Spark
forbothstreamingandbatchoperations
乔如黎
·
2024-08-22 03:15
探索实时湖仓架构的新星:Apache Paimon
ApachePaimonpaimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkand
Spark
forbothstreamingandbatchoperations
幸愉旎Jasper
·
2024-08-22 03:39
MAP REDUCE
Apache
Spark
:可以整合进Hadoop,取代MapReduce的框架
Xiao_die888
·
2024-08-22 01:58
大数据分析与应用
mapreduce
Azkaban各种类型的Job编写
command:Linuxshell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务
spark
__元昊__
·
2024-03-28 21:00
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如
Spark
、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【Hadoop】使用Scala与
Spark
连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,Apache
Spark
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
Spark
面试整理-
Spark
是什么?
Apache
Spark
是一个开源的分布式计算系统,它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的,并于2010年开源。
不务正业的猿
·
2024-03-24 13:02
面试
Spark
spark
大数据
分布式
【SQL】COUNT(*)和COUNT(1)有什么区别?查看国外论坛我竟发现了领先国内十几年的早期互联网battle!
对于初级开发者、DBA、
数据开发
人员来说,面试时很可能会被问到“COUNT(*)和COUNT(1)有什么区别?”这个问题。网上也有很多资料有说不一样的(早年间很普遍),有说一样的。
独上西楼影三人
·
2024-03-24 10:59
计算机常识
sql
数据库
Oracle
MySQL
PostgreSQL
SQL
Server
大
数据开发
(Hive面试真题-卷二)
大
数据开发
(Hive面试真题)1、举几个Hive开窗函数例子?什么要有开窗函数,和聚集函数区别?2、说下Hive是什么?跟数据仓库区别?3、Hive架构?4、Hive数据倾斜以及解决方案?
Key-Key
·
2024-03-20 05:14
大数据
hive
面试
Spark
Q&A
A:从
Spark
2.1开始,你可以通过启用
spark
.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。
耐心的农夫2020
·
2024-03-19 00:12
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他