E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
推荐系统协同过滤spark
spark
集成hive
1.集成原理说明思考:
Spark
OnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为
Spark
的RDD程序(
Spark
程序),然后交给Yarn执行那么也就意味着,一旦
Spark
和HIVE
lijian972
·
2024-01-21 06:11
spark
on
hive
spark继承hive
hive
spark
big
data
spark
SQL
spark
SQL整合hive(
spark
on hive)
spark
SQL整合hive
spark
SQL整合hive
spark
SQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景
spark
SQL整合hive
spark
SQL整合hive,即
spark
onhive
爱吃甜食_
·
2024-01-21 06:39
Spark
Spark
完全分布式集群下的Hive的安装和配置-安装步骤
Spark
完全分布式集群下的Hive的安装和配置-安装步骤:文章目录
Spark
完全分布式集群下的Hive的安装和配置-安装步骤:2.安装MySQL数据库3.配置MySQL相关5.设置环境变量6.修改hive
Deng872347348
·
2024-01-21 06:39
Hadoop
Hive
hive
大数据
【
Spark
分布式内存计算框架——
Spark
SQL】14. 分布式SQL引擎
第八章分布式SQL引擎回顾一下,如何使用Hive进行数据分析的,提供哪些方式交互分析???方式一:交互式命令行(CLI)bin/hive,编写SQL语句及DDL语句方式二:启动服务HiveServer2(HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库,启动一个服务),端口为100001)、交互式命令行,bin/beeline,CDH版本HIVE建议使用此种方式
csdnGuoYuying
·
2024-01-21 06:38
spark
分布式
sql
scala
数据库
Spark
On Hive配置测试及分布式SQL ThriftServer配置
文章目录
Spark
OnHive的原理及配置配置步骤在代码中集成
Spark
OnHive
Spark
分布式SQL执行原理及配置配置步骤在代码中集成
Spark
JDBCThriftServer总结
Spark
OnHive
蜜桃上的小叮当
·
2024-01-21 06:07
Spark
分布式
spark
hive
一文让你记住Py
spark
下DataFrame的7种的Join 效果
最近看到了一片好文,虽然很简单,但是配上的插图可以让人很好的记住Py
spark
中的多种Join类型和实际的效果。
独家雨天
·
2024-01-21 06:04
data
python
spark
join
py
spark
之Structured Streaming文件file案例
#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式:eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero
·
2024-01-21 06:59
spark
mysql
python
数据库
spark
py
spark
之Structured Streaming window函数-滚动模式
#file文件使用py
spark
之StructuredStreamingfile文件案例1生成文件,以下代码主要探讨window函数使用window三种方式:滚动、滑动、会话,只有windowDuration
heiqizero
·
2024-01-21 06:59
spark
mysql
数据库
spark
python
py
spark
之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)
frompy
spark
.sqlimport
Spark
Session,DataFramefrompy
spark
.sql.functionsimportexplode,split,lit"""实现将数据保存到
heiqizero
·
2024-01-21 06:28
数据库
mysql
spark
python
Spark
面试题
1.
spark
core1.简述hadoop和
spark
的不同点(为什么
spark
更快)♥♥♥ shuffle都是需要落盘的,因为在宽依赖中需要将上一个阶段的所有分区数据都准备好,才能进入下一个阶段,那么如果一直将数据放在内存中
韩顺平的小迷弟
·
2024-01-21 06:53
大数据面试题
spark
大数据
分布式
一文详解py
spark
中sql的join
大家好,今天分享一下py
spark
中各种sqljoin。数据准备本文以学生和班级为单位进行介绍。学生表有sid(学生id)、sname(学生姓名)、sclass(学生班级id)。
不负长风
·
2024-01-21 06:23
#
python数据分析
sql
py
spark
之Structured Streaming file文件案例1
#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式:eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero
·
2024-01-21 06:23
spark
mysql
python
数据库
spark
Spark
和Flink的区别?
Flink和
Spark
都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同
Spark
的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘
·
2024-01-21 06:42
Flutter实现windows应用版本升级功能
可以使用auto_updater库,这个插件允许Flutter桌面应用自动更新自己(基于
spark
le和win
spark
le)地址如下:https://github.com/leanflutter/auto_updater
落华X
·
2024-01-21 05:32
Flutter
flutter
windows
一文读懂Delta Lake:大数据时代的数据湖框架新选择!
介绍:DeltaLake是一个开源存储层,为Apache
Spark
和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出,并已成为数据湖方案的重要组成部分。
知识分享小能手
·
2024-01-21 03:56
学习心得体会
大数据
大数据
数据分析
数据库
111.Parquet表的使用
Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,
Spark
大勇任卷舒
·
2024-01-21 02:33
通过WordCount解析
Spark
RDD内部源码机制
我们通过
Spark
WordCount动手实践,编写单词计数代码;在wordcount.scala的基础上,从数据流动的视角深入分析
Spark
RDD的数据处理过程。
联旺
·
2024-01-21 01:54
spark
on Yarn 动态资源分配
配置文件:
spark
.default.parallelism=40#
spark
.executor.memory=1536m#
spark
.executor.memoryOverhead=512m#
spark
.driver.cores
金刚_30bf
·
2024-01-20 23:09
Spark
读取kafka(流式和批数据)
spark
读取kafka(批数据处理)#按照偏移量读取kafka数据frompy
spark
.sqlimport
Spark
Sessionss=
Spark
Session.builder.getOrCreate
中长跑路上crush
·
2024-01-20 23:55
Spark阶段
spark
kafka
大数据
Spark
流式读取文件数据
流式读取文件数据frompy
spark
.sqlimport
Spark
Sessionss=
Spark
Session.builder.getOrCreate()#todo注意1:流式读取目录下的文件--》一定一定要是目录
中长跑路上crush
·
2024-01-20 23:25
Spark阶段
spark
javascript
前端
Spark
Streaming通过receiver方式消费kafka数据时数据积压问题
1.问题在通过receiver方式接受kafka消息时,发现有大量消息在队列中阻塞最终导致
spark
任务执行失败。
sinat_36710456
·
2024-01-20 22:23
大数据
数据积压
Spark
Streaming
kafka
Spark
(一): 基本架构及原理
前言:目标:架构及生态:
Spark
与hadoop:运行流程及特点:常用术语:
Spark
运行模式:RDD运行流程:前言:Apache
Spark
是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009
贝賏赑钡
·
2024-01-20 22:46
spark
架构
大数据
【
推荐系统
实践—好的
推荐系统
】
什么是
推荐系统
推荐系统
的任务是联系用户和信息,实现信息消费者和信息生产者的双赢帮助用户发现对自己有价值的信息让信息能够在对他感兴趣的用户面前推荐的方式:社会化推荐:向朋友咨询或者打开微博发帖子询问基于内容推荐
杨主任o_o
·
2024-01-20 20:44
推荐算法
PDF如何裁剪页面,PDF裁剪页面的小技巧
使用工具:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor操作方法:1:先打开旋风PDF编辑器,点击打开文件按钮打开需要编辑的PDF文件。2:在菜单
六号_db7a
·
2024-01-20 18:09
11.Join的MapReduce实现
Join在MapReduce中的实现一、概述tips:Hive:MapReduce/
Spark
巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能:考察点MapReduce
哈哈大圣
·
2024-01-20 18:40
推荐系统
数据集之MovieLens
简介MovieLens其实是一个
推荐系统
和虚拟社区网站,它由美国Minnesota大学计算机科学与工程学院的GroupLens项目组创办,是一个非商业性质的、以研究为目的的实验性站点。
HaloZhang
·
2024-01-20 18:33
推荐系统
--- 数据工程 --- 用户画像 --- 概述
概述概念:勾画用户(用户背景、特征、性格标签、行为场景等)和联系用户需求与产品设计的,旨在通过从海量用户行为数据中炼银挖金,尽可能全面细致地抽出一个用户的信息全貌目标:将定性和定量方法结合在一起定性化的方法:通过对用户的生活情境、使用场景、用户心智进行分析来对用户的性质和特征做出抽象与概括定量化:对特征做精细的统计分析与计算,获得对于用户较为精准的认识,便于在数值排序的基础上实现核心用户的发掘与突
micklongen
·
2024-01-20 17:51
人工智能垂直领域
人工智能
big
data
数据挖掘
标签生产引擎架构
数据查询平台在打通标签数据后,能支持更加丰富的分析及对比精细化运营从粗放式到精细化,将用户群体切割成更细的粒度,辅以短信、推送、邮件、活动等手段,驱以关怀、挽回、激励等策略数据产品应用用户标签是很多数据产品的基础,诸如个性化
推荐系统
bigdata_wangzhe
·
2024-01-20 17:49
用户画像
大数据
Spark
在降本增效中的一些思考
背景在大环境不好的情况下,本司也开始了“降本增效”,本文探讨一下,在这种背景下
Spark
怎么做的降本增效。
鸿乃江边鸟
·
2024-01-20 14:25
spark
大数据
分布式
基于SpringBoot的
协同过滤
算法商品
推荐系统
文章目录项目介绍主要功能截图:部分代码展示设计总结项目获取方式作者主页:超级无敌暴龙战士塔塔开简介:Java领域优质创作者、简历模板、学习资料、面试题库【关注我,都给你】文末获取源码联系项目介绍基于SpringBoot的
协同过滤
算法商品
推荐系统
超级无敌暴龙战士塔塔开
·
2024-01-20 13:53
Java课设与毕设资源2
spring
boot
算法
后端
hive 运行报错
Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用
spark
圆周率的后六位
·
2024-01-20 12:35
hadoop
spark
设计模式——管道模式(并发模式)
在分布式处理领域,由于管道模式是数据驱动,而目前流行的
Spark
分布式处理平台也是数据驱动的,两者非常合拍,于是在spar
码上得天下
·
2024-01-20 11:52
设计模式
spark
big
data
spark
的jdbc接口,类似于hiveserver2
https://
spark
.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server
Spark
SQL
zdkdchao
·
2024-01-20 10:53
spark
大数据
分布式
Kylin安装学习教程
Kylin安装学习教程Kylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111
·
2024-01-20 09:28
kylin
spark
连接操作
将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是PairRDD最常用的操作之一。连接的方式多种多样:右外连接,左外连接、交叉连接以及内连接普通的join操作符表示是内连接。只有在两个键值对中都存在的键才叫输出。
追赶的程序猿
·
2024-01-20 09:45
【
推荐系统
】item-id 作为特征的意义
因为其实模型本身就是基于记忆(拟合)的,是有一些预测/泛化的能力,但不影响模型在记忆的出发点,所以把item-idembedding后作为特征,就是一个让模型记住每个item信息的方式
热爱Coding
·
2024-01-20 08:10
推荐系统
推荐算法
Data Bricks Delta Lake 入门
DeltaLake是一个开源存储层,它将关系数据库语义添加到基于
Spark
的数据湖处理中。
AI普惠大师
·
2024-01-20 07:03
flask
python
后端
Spark
从入门到精通30:
Spark
SQL:核心源码深度剖析
在前面一节我们讲解了
Spark
SQL的工作原理,接下来在这一节,我们对
Spark
SQL工作原理进一步地深入和加强,这一节主要讲解
Spark
SQL核心源码导读和剖析首先,我们看SQLContext.scala
勇于自信
·
2024-01-20 07:57
python(django框架)电脑用品电商销售数据可视化和商品
推荐系统
设计与实现
博主介绍:黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者,CSDN博客专家,在线教育专家,CSDN钻石讲师;专注大学生毕业设计教育和辅导。所有项目都配有从入门到精通的基础知识视频课程,免费项目配有对应开发文档、开题报告、任务书、PPT、论文模版等项目都录了发布和功能操作演示视频;项目的界面和功能都可以定制,包安装运行!!!如果需要联系我,可以在CSDN网站查询黄菊华老师
黄菊华老师
·
2024-01-20 07:17
开题报告
python
django
信息可视化
【
Spark
】
Spark
容错及 HA--Master 异常
一、Master配置recoveryModeMaster作为
Spark
Standalone模式中的核心,如果Master出现异常,则整个集群的运行情况和资源将无法进行管理,整个集群将处于“群龙无首”的状况
w1992wishes
·
2024-01-20 05:37
余老师带你学习大数据-
Spark
快速大数据处理第十章Kafka第八节Kafka-Connect
kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分,左侧是数据源包括了数据库、hadoop、文本等等,右侧是数据结果包括了文本、hadoop、数据库,中间上层就是KafkaConnect,它里面会有很多的输入,将输入的内容的读取进来转交给Kafka里,也有可能将kafka里的内容拿出来放到我们的外部数据源中。2、KafkaConnect主要用来与其他
weixin_45810046
·
2024-01-20 03:41
kafka
kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人
·
2024-01-20 03:07
kylin
Kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。
终将老去的穷苦程序员
·
2024-01-20 03:04
kylin
CVE-2023-46226 Apache iotdb远程代码执行漏洞
它具有体量轻、性能高、易使用的特点,完美对接Hadoop与
Spark
生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩
·
2024-01-20 02:27
apache
iotdb
「2023 | 快手」PEPNet:融合个性化先验信息的多场景多任务网络
之前梳理过多场景建模方法:
推荐系统
(二十四)「知识梳理」多场景建模梳理,现在介绍快手提出的多场景多任务方法PEPNet。
WitsMakeMen
·
2024-01-20 00:13
推荐算法
推荐系统
模型(一) DFN 详解 Deep Feedback Network for Recommendation
背景在大多数的
推荐系统
中,往往注重于隐式正反馈(例如:点击),而忽略掉用户的其他行为(例如大多数CTR模型只考虑用户的喜欢,而忽略了不喜欢)。
WitsMakeMen
·
2024-01-20 00:42
推荐算法
【学习笔记】mark一篇
推荐系统
的文章
在做一道RNA中Dropout事件填充的建模题,里面要用到低秩矩阵的填充,基于矩阵分解的填充方法参考了
推荐系统
的相关算法。mark一篇
推荐系统
的文章基于矩阵分解的推荐算法
Jweeeeee
·
2024-01-19 23:53
自然语言处理大数据:
spark
ML Word2Vec详解
简介Word2Vec是一种著名的词嵌入(WordEmbedding)方法,它可以计算每个单词在其给定语料库环境下的分布式词向量(DistributedRepresentation,亦直接被称为词向量)。词向量表示可以在一定程度上刻画每个单词的语义。如果词的语义相近,它们的词向量在向量空间中也相互接近,这使得词语的向量化建模更加精确,可以改善现有方法并提高鲁棒性。词向量已被证明在许多自然语言处理问题
nnnancyyy
·
2024-01-19 17:23
机器学习
python
人工智能
自然语言处理
深度学习
大数据学长面试之OPPO面试题
1)技术部分(1)
Spark
Streaming消费方式及区别,
Spark
读取HDFS的数据流程(2)Kafka高性能(3)Hive调优,数据倾斜(4)Zookeeper怎么避免脑裂,什么是脑裂。
大数据小理
·
2024-01-19 16:01
大数据1
大数据
面试
职场和发展
某汽车外包-大数据开发-面试
4.
spark
的提交参数有那些命令5.
spark
rdd,dataframe,dataSe解释一下。
劝学-大数据
·
2024-01-19 16:28
大数据面试题
大数据
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他