E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
推荐系统协同过滤spark
linux安装单机版
spark
3.5.0
一、
spark
介绍是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.
Spark
主要用于大数据的计算二、
spark
下载
spark
3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
基于springboot框架的计算机毕业设计(论文+源码)_kaic
SpringBoot的在线拍卖系统源码+数据库+PPT+论文+说明文档springboot002基于SpringBoot的医护人员排班系统源码+数据库+开题+论文+说明文档springboot003图书个性化
推荐系统
的设计与实现源码
开心工作室_kaic
·
2024-03-14 22:52
计算机文章
毕业设计
java
spring
boot
数据库
前端
旅游
开发语言
spring
cloud
Spark
的数据结构——RDD
RDD的5个特征下面来说一下RDD这东西,它是ResilientDistributedDatasets的简写。咱们来看看RDD在源码的解释。Alistofpartitions:在大数据领域,大数据都是分割成若干个部分,放到多个服务器上,这样就能做到多线程的处理数据,这对处理大数据量是非常重要的。分区意味着,可以使用多个线程了处理。Afunctionforcomputingeachsplit:作用在
bluedraam_pp
·
2024-03-14 08:32
Spark
spark
数据结构
大数据
大数据开发(
Spark
面试真题-卷一)
大数据开发(
Spark
面试真题)1、什么是
Spark
Streaming?简要描述其工作原理。2、什么是
Spark
内存管理机制?请解释其中的主要概念,并说明其作用。
Key-Key
·
2024-03-13 07:58
大数据
spark
面试
基于HBase和
Spark
构建企业级数据处理平台
摘要:在中国HBase技术社区第十届Meetup杭州站上,阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和
Spark
体系构建企业级数据处理平台,并且针对于一些具体落地场景进行了介绍。
weixin_34071713
·
2024-03-12 22:44
大数据
数据库
爬虫
lightGBM专题4:py
spark
平台下lightgbm模型保存
之前的文章(py
spark
lightGBM1和py
spark
lightGBM2)介绍了py
spark
下lightGBM算法的实现,本文将重点介绍下如何保存训练好的模型,直接上代码:frompy
spark
.sqlimport
Spark
Sessionfrompy
spark
.ml.featureimportStringIndexer
I_belong_to_jesus
·
2024-03-12 12:30
大数据
大数据开发(
Spark
面试真题-卷六)
大数据开发(
Spark
面试真题)1、
Spark
HashPartitioner和RangePartitioner的实现?
Key-Key
·
2024-03-12 02:16
大数据
spark
面试
大数据开发(Hadoop面试真题-卷二)
6、
Spark
为什么比MapReduce更快?7、详细描述一
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
Spark
从入门到精通29:
Spark
SQL:工作原理剖析以及性能优化
Spark
SQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如Hive。
勇于自信
·
2024-03-11 00:20
大数据开发(Hadoop面试真题-卷九)
3、
Spark
mapjoin的实现原理?4、
Spark
的stage如何划分?在源码中是怎么判断属于ShuffleMapStage或ResultStage的?5、
Spark
reduceByKe
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Spark
Streaming(二):DStream数据源
1、输入DStream和Receiver输入(Receiver)DStream代表了来自数据源的输入数据流,在之前的wordcount例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接收到的数据流。除了文件数据流之外,所有的输入DStream都会绑定一个Receiver对象,该对象是一个关键的组件,用来从数据源接收数
雪飘千里
·
2024-03-09 01:28
Spark
常见问题汇总
注意:如果Driver写好了代码,eclipse或者程序上传后,没有开始处理数据,或者快速结束任务,也没有在控制台中打印错误,那么请进入
spark
的web页面,查看一下你的任务,找到每个分区日志的stderr
midNightParis
·
2024-03-08 03:25
spark
spark
Spark
Shop开源可商用,匹配小程序H5和PC端带分销功能!
Spark
Shop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统;包含小程序商城、H5商城、公众号商城、PC商城、App,支持页面diy、秒杀、优惠券
行动之上
·
2024-03-05 15:09
源码免费下载
小程序
【Hadoop】在
spark
读取clickhouse中数据
clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.
spark
.sql.SaveModeimportorg.apache.
spark
.sql.
Spark
SessiondefgetCKJdbcProperties
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
Spark
-sql Adaptive Execution动态调整分区数量,调整输出文件数
有时间为了解决小文件问题,我们把
spark
.sql.shuffle.partitions这个参数调整的很小,但是随着时间的推移,数据量越来越大,当初设置的参数就不合适了,那有没有一个可以自我伸缩的参数呢
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hive join中出现的数据暴增(数据重复)
我们来看一下案例:
spark
-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive四种常见的join
1.左连接leftjoin
spark
-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
Spark
整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好
spark
,如果不会安装可以跳转到
Spark
安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
在
Spark
数据导入中的一些实践细节
best-practices-import-data-
spark
-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化,逐渐体现出了性能上的瓶颈:单机不足以支持更大的图谱
NebulaGraph
·
2024-02-27 07:53
Spark
开发_简单DataFrame判空赋值逻辑
valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.
spark
.sql.DataFrame
Matrix70
·
2024-02-26 22:06
Spark开发_工作
spark
大数据
分布式
Spark
SQL编程指南
Spark
SQL编程指南
Spark
SQL是用于结构化数据处理的一个模块。同
Spark
RDD不同地方在于
Spark
SQL的API可以给
Spark
计算引擎提供更多地信息,例如:数据结构、计算算子等。
<>=
·
2024-02-26 05:46
spark
基于微信小程序的美食
推荐系统
的设计与实现
文末获取源码开发语言:Java框架:SpringBootJDK版本:JDK1.8数据库:mysql5.7开发软件:eclipse/myeclipse/ideaMaven包:Maven3.5.4小程序框架:uniapp小程序开发软件:HBuilderX小程序运行软件:微信开发者目录目录前言系统展示用户信息管理水果信息管理水果类型管理论坛信息管理代码实现登录功能实现代码注册功能实现代码密码重置功能实现
Selina .a
·
2024-02-20 23:13
微信小程序
美食
小程序
spring
boot
学习
uni-app
java
基于情感分析的网上图书
推荐系统
项目:基于情感分析的网上图书
推荐系统
摘要基于网络爬虫的数据可视化服务系统是一种能自动从网络上收集信息的工具,可根据用户的需求定向采集特定数据信息的工具,本项目通过研究爬取网上商品评论信息实现商品评论的情感分析系统功能
qq405425197
·
2024-02-20 21:50
Python
python
django
抖音火山版邀请码是多少?精选的抖音火山版邀请码有哪些?
合并后的短视频平台用户可以通过以前的抖音或者火山小视频账号直接进入是一款融合了小视频,短视频,直播,商城,交友、资讯等内容的一站式小视频平台,能够更好的满足用户多样化的需求,不管你喜欢什么类型的视频,智能
推荐系统
都能随时随地让您掌握最感兴趣的各类内容
凌风导师
·
2024-02-20 19:59
Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列
单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求,本来需要使用
spark
进行处理的,但是没想到什么优雅的解决方案,所以打算先使用pandas找找感觉。样例数据如下所示。
aoyi1337
·
2024-02-20 18:22
python
人工智能学习与实训笔记(六):神经网络之智能
推荐系统
人工智能专栏文章汇总:人工智能学习专栏文章汇总-CSDN博客本篇目录七、智能
推荐系统
处理7.1常用的
推荐系统
算法7.2如何实现推荐7.3基于飞桨实现的电影推荐模型7.3.1电影数据类型7.3.2数据处理
穿越光年
·
2024-02-20 17:30
人工智能技术学习
人工智能
学习
笔记
航班数据预测与分析
数据清洗:数据存储到HDFS:使用py
spark
对数据进行分析://数据导入frompy
spark
import
Spark
Contextfrompy
spark
.sqlimportSQLContextsc=
林坰
·
2024-02-20 16:15
大数据
spark
航班数据分析
杜艳辉
再聊阴影裁剪与高性能视锥剔除
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
·
2024-02-20 16:50
unity
spark
为什么比mapreduce快?
spark
为什么比mapreduce快?
·
2024-02-20 16:30
后端
[CDH]
Spark
属性、内存、CPU相关知识梳理
version:2.4.0-cdh6.3.0文章目录
spark
properties常用配置
spark
task
spark
task使用的cpu核数
spark
architecture
spark
memory
spark
onyarn
枪枪枪
·
2024-02-20 15:24
Spark
spark
scala
big
data
spark
CTAS nuion all (union all的个数很多)导致超过
spark
.driver.maxResultSize配置(2G)
背景该sql运行在
spark
版本3.1.2下的thriftserver下现象在运行包含多个union的
spark
sql的时候报错(该sql包含了50多个uinon,且每个union字查询中会包含join
鸿乃江边鸟
·
2024-02-20 13:29
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如HadoopYARN,但也可以设置作为独立集群甚至库运行,例如
Spark
的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
Python+Django+Mysql个性化旅游景区
推荐系统
在线旅游景点
推荐系统
基于机器学习/深度学习/人工智能 基于标签/
协同过滤
推荐算法 爬虫 可视化数据分析
Python+Django+Mysql个性化旅游景区
推荐系统
在线旅游景点
推荐系统
基于机器学习/深度学习/人工智能基于标签/
协同过滤
推荐算法爬虫可视化数据分析WebTravelRecommendSysPy
linge511873822
·
2024-02-20 11:26
python
基于项目的协同过滤推荐算法
基于用户的协同过滤推荐算法
python
人工智能
django
机器学习
深度学习
推荐算法
大数据 -
Spark
系列《六》- RDD详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 -
Spark
系列《七》- 分区器详解
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
Hive切换引擎(MR、Tez、
Spark
)
Hive切换引擎(MR、Tez、
Spark
)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=
落空空。
·
2024-02-20 10:54
hive
mr
spark
Hbase - 自定义Rowkey规则
中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制`TableInputFormat`来实现我们的需求了,我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`
Spark
kikiki5
·
2024-02-20 07:17
php实现讯飞星火大模型3.5
星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明,以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid,3.5模型wss://
spark
-ap
随风万里无云
·
2024-02-20 07:38
ai
php
开发语言
2024.2.19 阿里云Flink
一、Flink基本介绍
Spark
底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions
白白的wj
·
2024-02-20 07:05
flink
大数据
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践
在当前的大数据格局中,
Spark
/Hive/Flink是最为主流的ETL或Strea
Laurence
·
2024-02-20 06:28
大数据专题
flink
catalog
hudi
metastore
hive
共用表
元数据
面试系列之《
Spark
》(持续更新...)
stage:一个job任务中从后往前划分,分区间每产生了shuffle也就是宽依赖则划分为一个stage,stage这体现了
spark
的pipeline思想,即数据在内存中尽可能的往后多计算,最后落盘,
atwdy
·
2024-02-20 06:07
Spark
面试
spark
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如Apache
Spark
,HadoopMapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
关于Embedding 操作的理解
在
推荐系统
中,原始向量往往会用超高维的稀疏one-hot向量来表示,使用embedding可以用较低的维度(即embeddingsize)来表示高维稀疏的特征,方便进行后续的模型训练。
小新0077
·
2024-02-20 03:10
深度学习
自然语言处理
算法
Python近似最近邻搜索库之annoy使用详解
概要在大数据时代,处理高维数据集的需求越来越迫切,尤其是在机器学习、
推荐系统
和自然语言处理等领域。高维数据集中的一个常见问题是最近邻搜索,即找到与给定数据点最接近的数据点。
Rocky006
·
2024-02-20 02:58
python
开发语言
美食推荐|美食推荐小程序|基于微信小程序的美食
推荐系统
设计与实现(源码+数据库+文档)
美食推荐小程序目录目录基于微信小程序的美食
推荐系统
设计与实现一、前言二、系统功能设计三、系统实现1、前台功能模块2、后台功能模块(1)用户信息管理(2)水果信息管理(3)水果类型管理(4)论坛信息管理四
伟庭大师兄
·
2024-02-20 01:03
计算机毕业设计项目
小程序
美食
微信小程序
美食推荐小程序
java
uniapp
源码
多模态
推荐系统
综述
推荐系统
(RS)已经成为在线服务不可或缺的工具。它们集成了各种深度学习技术,可以根据标识符和属性信息对用户偏好进行建模。随着短视频、新闻等多媒体服务的出现,在推荐的同时了解这些内容变得至关重要。
凤凰AI
·
2024-02-20 00:27
推荐系统论文阅读
人工智能
数据挖掘
机器学习
手机远程控制树莓派-BLINKER应用(物联网基础)
由于我买了坚果云这个软件服务,所以我对云储存并无太大的兴趣,只是有时候要远程回家翻翻服务器上的东西,或者挂着下载个东西,跑个py
spark
之类的。
crossni
·
2024-02-20 00:15
硬件
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化
Spark
、Hadoop、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
Linux下
Spark
offline安装graphframes包
文章目录背景安装步骤背景GraphX是
Spark
中用于图计算的模块.
Spark
安装包中内置Scala语言的GraphX库,但是对于Python语言的安装包,需要额外进行安装.对于内网服务器,不能访问外网
ithiker
·
2024-02-19 22:45
spark
linux
spark
hadoot离线与实时的电影
推荐系统
-计算机毕业设计源码10338
摘要随着互联网与移动互联网迅速普及,网络上的电影娱乐信息数量相当庞大,人们对获取感兴趣的电影娱乐信息的需求越来越大,个性化的离线与实时的电影
推荐系统
成为一个热门。
FYKJ_2010
·
2024-02-19 22:55
mysql
ajax
css
bootstrap
vue.js
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他