E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark源码阅读
Kylin系列-入门
Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL查询接口及多维分析(OLAP)能力,以支持超大规模数据。
Dingdangr
·
2024-08-26 13:34
kylin
【赵渝强老师】
Spark
中的RDD
RDD(ResilientDistributedDataset)叫做弹性分布式数据集,它是
Spark
中最基本、也是最重要的的数据模型。
赵渝强老师
·
2024-08-26 11:52
大数据技术
spark
大数据
分布式
基于
spark
+hadoop+hive大数据分析的电影推荐系统的设计与实现
开发介绍1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下:**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈:
spark
毕设木哥
·
2024-08-26 06:26
spark
spark
hadoop
hive
spring
java
每天一个数据分析题(五百)- 关联规则
.预测(Prediction)数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-26 04:40
数据分析题库
数据分析
数据挖掘
每天一个数据分析题(四百九十)- 主成分分析与因子分析
C.协方差矩阵D.相关系数矩阵数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-26 04:07
数据分析题库
数据分析
数据挖掘
12.
Spark
Core-
Spark
-RDD持久化
(1)persist算子使用方法:varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明:StorageLevel的构造函数:classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
__元昊__
·
2024-08-25 23:43
vue2上传大文件到minio分片上传
项目中使用到的类库:
spark
-md5、axios、element-ui;npminstall
spark
-md5--Snpminstallaxios--S页面上传示例文件上传任务数:{{taskQueueRunningNum
zhou周大哥
·
2024-08-25 17:35
vue.js
javascript
ecmascript
大数据技术——RDD编程初级实践
RDD编程初级实践1、需求描述2、环境介绍3、数据来源描述4、数据上传及上传结果查看5、数据处理过程描述1.py
spark
交互式编程2.编写独立应用程序实现数据去重3.编写独立应用程序实现求平均值问题6
@璿
·
2024-08-25 03:04
spark
手动修改zk类型的kafka offset
.*.87.125:2181查找并修改ae_
spark
这个topic的消费者组的offset值对于每个分区(0、1、2),需要分别查看和修改offset值查看和修改分区0的offset值查看当前offset
Keep hunger
·
2024-08-24 23:45
开发记录
kafka
分布式
每天一个数据分析题(四百八十七)- 非监督学习
C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-24 23:13
数据分析题库
数据分析
学习
数据挖掘
每天一个数据分析题(四百八十八)- 非监督学习
C.Minkowski距离D.笛卡尔距离数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-24 23:13
数据分析题库
数据分析
学习
数据挖掘
[CLIP-VIT-L + Qwen] 多模态大模型
源码阅读
- trainer篇
[CLIP-VIT-L+Qwen]多模态大模型
源码阅读
-trainer篇前情提要
源码阅读
导包逐行解读compute_loss方法(重构)整体含义逐行解读save_model函数(重构)整体含义逐行解读create_optimizer
FlowerLoveJava
·
2024-08-24 22:40
多模态大模型源码阅读
多模态学习笔记
人工智能
计算机视觉
python
机器学习
自然语言处理
神经网络
深度学习
CLIP-VIT-L + Qwen 多模态
源码阅读
- 语言模型篇(3)
:WatchTower-Liu/VLM-learning;url:VLLM-BASE吐槽今天接着昨天的源码继续看,黑神话:悟空正好今天发售,希望广大coder能玩的开心~学习心得前情提要详情请看多模态
源码阅读
FlowerLoveJava
·
2024-08-24 22:10
多模态学习笔记
多模态大模型源码阅读
学习
笔记
计算机视觉
神经网络
自然语言处理
图像处理
人工智能
黑猴子的家:
Spark
RDD 行动算子 Action
1、reduce(1)原理通过f函数聚集RDD中的所有元素,这个功能必须是可交换且可并联的(2)源码defreduce(f:(T,T)=>T):T=withScope{valcleanF=sc.clean(f)valreducePartition:Iterator[T]=>Option[T]=iter=>{if(iter.hasNext){Some(iter.reduceLeft(cleanF))
黑猴子的家
·
2024-08-24 22:03
Android进程间的通信 - IPC(机制)Binder的原理和
源码阅读
1.概述当初决定分享内涵段子的这个项目我有些担心,担心很多东西心里虽然有了轮廓和细节。但是如果涉及到的东西比较多,那么就有可能没办法去讲太多的细节,况且某些哥们还不会C和C++,所以如果的确觉得IPC这方面比较难可以多去找找这方面的文章看看。这里我们就从三个方面去讲解:1.1:进程间通信的一个小事例;1.2:应用层的具体流程分析;1.3:google源码层的具体走向;所有分享大纲:2017Andr
你也不知道
·
2024-08-24 14:40
【Py
spark
-驯化】一文搞懂Py
spark
修改hive表描述以及增加列使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
修改hive表描述以及增加列使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地!
算法驯化师
·
2024-08-24 13:43
pyspark
大数据
hive
hadoop
数据仓库
pyspark
spark
分布式
大数据
【Py
spark
-驯化】一文搞懂Py
spark
写入hive表的使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
写入hive表的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地!
算法驯化师
·
2024-08-24 13:43
pyspark
大数据
hive
hadoop
数据仓库
spark
分布式
pyspark
hdfs
【Py
spark
-驯化】一文搞懂Py
spark
中对json数据处理使用技巧:get_json_object
【Py
spark
-驯化】一文搞懂Py
spark
中对json数据处理使用技巧:get_json_object本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地
算法驯化师
·
2024-08-24 13:43
pyspark
大数据
json
hadoop
大数据
分布式
hdfs
pyspark
【Py
spark
-驯化】一文搞懂Py
spark
中dropDuplicates和sort的使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
中dropDuplicates和sort的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地!
算法驯化师
·
2024-08-24 13:13
pyspark
大数据
hadoop
大数据
分布式
hdfs
pyspark
【Py
spark
-驯化】一文搞懂Py
spark
中的withColumnRenamed函数的使用技巧
【Py
spark
-驯化】一文搞懂Py
spark
中的withColumnRenamed函数的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合,智慧小天地
算法驯化师
·
2024-08-24 13:13
大数据
pyspark
python
大数据
分布式
spark
pyspark
hadoop
从零到一建设数据中台 - 关键技术汇总
一、数据中台关键技术汇总语言框架:Java、Maven、SpringBoot数据分布式采集:Flume、Sqoop、kettle数据分布式存储:HadoopHDFS离线批处理计算:MapReduce、
Spark
我码玄黄
·
2024-08-24 12:09
数据中台
数据挖掘
数据分析
大数据
Hbase BulkLoad用法
要导入大量数据,Hbase的BulkLoad是必不可少的,在导入历史数据的时候,我们一般会选择使用BulkLoad方式,我们还可以借助
Spark
的计算能力将数据快速地导入。
kikiki2
·
2024-08-24 09:57
阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考
,属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格,相比于活动内的经济型e和通用算力型u1等实例规格来说,这些实例规格等性能更强,适用于数据分析与挖掘,Hadoop、
Spark
阿里云最新优惠和活动汇总
·
2024-08-23 22:23
2018年3月15日
上午摸鱼为主,顺便把同事拉进群里让他去沟通
spark
权限的事。截至中午似乎大概是解决了?
真昼之月
·
2024-08-23 18:58
计算机毕业设计hadoop+
spark
知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设
四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.
spark
计算机毕业设计大全
·
2024-08-23 13:22
计算机毕业设计hadoop+
spark
知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计
开发技术hadoop
spark
springbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全
·
2024-08-23 11:05
[CLIP-VIT-L + Qwen] 多模态大模型
源码阅读
- 语言模型篇(2)
多模态学习笔记-语言模型篇(2)参考repo:WatchTower-Liu/VLM-learning;url:vlm-learning吐槽今天的源码看的欲仙欲死,NTK(neuraltangentkernel),rotary_position_embedding这些在之前的学习中完全闻所未闻,导致看的时候一脸懵逼,只能说不愧是Qwen大模型,各种sota的技术都用上了。就是看的有点费劲TAT~学习
FlowerLoveJava
·
2024-08-23 09:14
多模态学习笔记
多模态大模型源码阅读
学习
笔记
nlp
计算机视觉
人工智能
深度学习
自然语言处理
[CLIP-VIT-L + Qwen] 多模态大模型
源码阅读
- 语言模型篇(1)
多模态大模型
源码阅读
-语言模型篇(1)吐槽今日心得MQwen.py吐槽想要做一个以Qwen-7B-Insturct为languagedecoder,以CLIP-VIT-14为visionencoder的
FlowerLoveJava
·
2024-08-23 09:14
多模态学习笔记
多模态大模型源码阅读
学习
笔记
python
人工智能
计算机视觉
神经网络
深度学习
2024.08.07校招 实习 内推 面经
2025秋季校园招聘正式启动(内推)校招|旷视科技2025秋季校园招聘正式启动(内推)2、校招|华为智能座舱产品部2025校园招聘校招|华为智能座舱产品部2025校园招聘3、校招|蔚来2025届Super
Spark
s
内推君SIR
·
2024-08-23 01:26
求职招聘
面试
python
硬件工程
自动驾驶
汽车
django
spark
学习资料
AdvancedApache
Spark
-SameerFarooqui(Databricks)”(https://www.youtube.com/watch?
Liam_ml
·
2024-08-22 16:24
Spark
MLlib模型训练—分类算法Multilayer Perceptron Classifier
Spark
MLlib模型训练—分类算法MultilayerPerceptronClassifierMultilayerPerceptronClassifier(多层感知器分类器,简称MLP)是
Spark
MLlib
猫猫姐
·
2024-08-22 12:39
Spark实战
spark-ml
spark
机器学习
每天一个数据分析题(四百九十三)- 主成分分析与因子分析
主成分载荷矩阵D.解释方差比例数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-22 11:34
数据分析题库
数据分析
数据挖掘
每天一个数据分析题(四百九十一)- 主成分分析与因子分析
最小方差正交旋转D.最大方差正交旋转数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-22 11:33
数据分析题库
数据分析
数据挖掘
Amazon EFS:云端弹性文件系统的多元化应用场景
应用:Hadoop、
Spark
等大数据框架优势:高
ivwdcwso
·
2024-08-22 04:51
运维
EFS
AWS
Apache Paimon:实时湖仓架构构建工具
实时湖仓架构构建工具paimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkand
Spark
forbothstreamingandbatchoperations
乔如黎
·
2024-08-22 03:15
探索实时湖仓架构的新星:Apache Paimon
ApachePaimonpaimonApachePaimonisalakeformatthatenablesbuildingaRealtimeLakehouseArchitecturewithFlinkand
Spark
forbothstreamingandbatchoperations
幸愉旎Jasper
·
2024-08-22 03:39
MAP REDUCE
Apache
Spark
:可以整合进Hadoop,取代MapReduce的框架
Xiao_die888
·
2024-08-22 01:58
大数据分析与应用
mapreduce
Azkaban各种类型的Job编写
command:Linuxshell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务
spark
__元昊__
·
2024-03-28 21:00
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具,如
Spark
、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【Hadoop】使用Scala与
Spark
连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,Apache
Spark
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
Spark
面试整理-
Spark
是什么?
Apache
Spark
是一个开源的分布式计算系统,它提供了一个用于大规模数据处理的快速、通用、易于使用的平台。它最初是在加州大学伯克利分校的AMPLab开发的,并于2010年开源。
不务正业的猿
·
2024-03-24 13:02
面试
Spark
spark
大数据
分布式
Spark
Q&A
A:从
Spark
2.1开始,你可以通过启用
spark
.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。
耐心的农夫2020
·
2024-03-19 00:12
linux安装单机版
spark
3.5.0
一、
spark
介绍是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.
Spark
主要用于大数据的计算二、
spark
下载
spark
3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
Spark
的数据结构——RDD
RDD的5个特征下面来说一下RDD这东西,它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域,大数据都是分割成若干个部分,放到多个服务器上,这样就能做到多线程的处理数据,这对处理大数据量是非常重要的。分区意味着,可以使用多个线程了处理。Afunctionforcomputingeachsplit:作用在
bluedraam_pp
·
2024-03-14 08:32
Spark
spark
数据结构
大数据
大数据开发(
Spark
面试真题-卷一)
大数据开发(
Spark
面试真题)1、什么是
Spark
Streaming?简要描述其工作原理。2、什么是
Spark
内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
基于HBase和
Spark
构建企业级数据处理平台
摘要:在中国HBase技术社区第十届Meetup杭州站上,阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和
Spark
体系构建企业级数据处理平台,并且针对于一些具体落地场景进行了介绍。
weixin_34071713
·
2024-03-12 22:44
大数据
数据库
爬虫
lightGBM专题4:py
spark
平台下lightgbm模型保存
之前的文章(py
spark
lightGBM1和py
spark
lightGBM2)介绍了py
spark
下lightGBM算法的实现,本文将重点介绍下如何保存训练好的模型,直接上代码:frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
.ml.featureimportStringIndexer
I_belong_to_jesus
·
2024-03-12 12:30
大数据
大数据开发(
Spark
面试真题-卷六)
大数据开发(
Spark
面试真题)1、
Spark
HashPartitioner和RangePartitioner的实现?
Key-Key
·
2024-03-12 02:16
大数据
spark
面试
大数据开发(Hadoop面试真题-卷二)
6、
Spark
为什么比MapReduce更快?7、详细描述一
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
Spark
从入门到精通29:
Spark
SQL:工作原理剖析以及性能优化
Spark
SQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如Hive。
勇于自信
·
2024-03-11 00:20
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他