E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark技术研究
Hudi学习 6:Hudi使用
准备工作:1.安装hdfshttps://mp.csdn.net/mp_blog/creation/editor/1096891432.安装
spark
spark
学习4:
spark
安装_hzp666的博客
hzp666
·
2024-02-05 14:58
Hudi
hudi
数据湖
湖仓一体
湖仓融合
实时数仓
spark
学习4:
spark
安装
1.下载
spark
安装包2.配置环境1.cd/bigdata/
spark
-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666
·
2024-02-05 14:58
spark
spark
大数据
计算机毕业设计hadoop+
spark
+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用hive建库建表;4.一半分析指标使用hive_sql完成,一半分析指标使用
Spark
-Scala
计算机毕业设计大神
·
2024-02-05 14:48
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
hadoop-3.1.3hbase-2.2.2-bin一、问题描述:在学习林子雨老师编写的《
Spark
编程基础》时使用如下命令运行jar包读取HBase时出现如下错误:Exceptioninthread
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
java
hadoop
hive
【
Spark
ML实践7】特征选择器FeatureSelector
本节介绍了用于处理特征的算法,大致可以分为以下几组:提取(Extraction):从“原始”数据中提取特征。转换(Transformation):缩放、转换或修改特征。选择(Selection):从更大的特征集中选择一个子集。局部敏感哈希(LocalitySensitiveHashing,LSH):这类算法结合了特征转换的方面与其他算法。FeatureSelectorsVectorSlicerVe
周润发的弟弟
·
2024-02-05 12:41
Spark机器学习
spark-ml
Spark
依赖包加载方式
1
Spark
依赖包来源我们知道
Spark
application运行加载依赖有三个地方:systemClasspath:
Spark
安装时候提供的依赖包,${
SPARK
_HOME}/jars下的包。
大数据AI
·
2024-02-05 12:11
大数据从入门到精通
spark
大数据
使用Py
Spark
处理DataFrame以拆分数组列
问题:用py
spark
处理df1,df1有三列,第一列是商品pid,第二列是商品name,第三列是候选标品cid_list(有多个cid),将df1中的cid_list拆开,转换成一个商品id和name
samoyan
·
2024-02-05 12:41
python
linux
服务器
运维
Spark
的JVM调优
目录导致gc因素内存不充足的时候,出现的问题降低cache操作的内存占比调节executor堆外内存与连接等待时长调节executor堆外内存调节连接等待时长
Spark
JVM参数优化设置
Spark
streaming
王一1995
·
2024-02-05 10:55
jvm
spark
Hadoop3.x单机安装教程
以最小化的成本学习和测试Hadoop;搭建基于Hadoop的上层应用,比如单机
Spark
环境需要先拥有单机的Hadoop;如果需要搭建分布式集群环境的Hadoop环境,请参考另外一篇:Hadoop3.x
文景大大
·
2024-02-05 10:06
[qtp581715564-18] ERROR
spark
.http.matching.GeneralError - org.neo4j.driver.exceptions.ResultConsum
今天使用java连接neo4j执行查询的时候遇到了这个问题,报错如下:[qtp581715564-18]ERROR
spark
.http.matching.GeneralError-org.neo4j.driver.exceptions.ResultConsumedException
路过Coder
·
2024-02-05 09:36
spark
neo4j
大数据
java
趣头条
Spark
Remote Shuffle Service最佳实践
1.业务场景与现状趣头条是一家依赖大数据的科技公司,在2018-2019年经历了业务的高速发展,主App和其他创新App的日活增加了10倍以上,相应的大数据系统也从最初的100台机器增加到了1000台以上规模。多个业务线依赖于大数据平台展开业务,大数据系统的高效和稳定成了公司业务发展的基石,在大数据的架构上我们使用了业界成熟的方案,存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术
·
2024-02-05 09:29
大数据
spark
Spark
Sql读取外部Hql文件的公共类开发
Spark
Sql读取外部Hql文件的公共类开发
Spark
SQL与Hive的区别简介一、什么是
Spark
SQL?
岁月的眸
·
2024-02-05 09:27
#
Hive总结
#
Spark总结
大数据
hive
大数据
spark
在 CDH 中调优 Apache Hive on
Spark
Spark
上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在
Spark
上运行Hive不需要更改用户查询。
海阔天空&沫语
·
2024-02-05 09:27
大数据/架构
hive
hadoop
spark
Spark
Shuffle Service简介与测试
Spark
管理资源有两种方式:静态资源分配和动态资源分配。静态资源分配:
spark
提交任务前,指定固定的资源,在
spark
运行任务过程中,一直占用这些资源不释放,job运行结束后才会释放。
大数据AI
·
2024-02-05 09:26
spark
大数据
CDH6.3.2 多
Spark
版本共存
一部署
Spark
客户端1.1部署
spark
3客户端tar-zxvf
spark
-3.3.1-bin-3.0.0-cdh6.3.2.tgz-C/opt/cloudera/parcels/CDH/libcd/
大数据AI
·
2024-02-05 09:56
大数据从入门到精通
spark
cdh
大数据-
Spark
调优(一)
大数据-
Spark
调优(一)分配更多的资源分配更多的资源是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的
海恋北斗星
·
2024-02-05 09:29
大数据
spark
大数据笔记--
Spark
(第五篇)
目录一、
Spark
的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景,用mapPartitions代替map5、避免使用collect二、
Spark
的共享变量1、广播变量
是小先生
·
2024-02-05 09:59
大数据08-Spark
spark
大数据 -
Spark
系列《三》- 加载各种数据源创建RDD
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn
·
2024-02-05 09:28
spark
大数据
spark
分布式
大数据原理-
Spark
概述:基于内存计算三大分布式计算系统:Hadoop、
Spark
、Storm特点:采用有向无环图DAG作业调度运行速度快循环数据流容易使用:可以通过
Spark
Shell交互式编程用途:SQL查询、流式计算
monster++
·
2024-02-05 09:28
大数据原理
分布式
编程语言
分布式计算
hadoop
spark
大数据 -
Spark
系列《四》-
Spark
分布式运行原理
Spark
系列文章:大数据-
Spark
系列《一》-从Hadoop到
Spark
:大数据计算引擎的演进-CSDN博客大数据-
Spark
系列《二》-关于
Spark
在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-05 08:54
spark
大数据
分布式
spark
案例|中国城市规划设计研究院 — 国土空间规划辅助分析平台
以中规院科技创新基金重点研究项目《综合多源数据的全国城镇化动态监测
技术研究
与信息平台建设》为基础,中规院信息中心于2017年开展了数据库建设、全国城镇化动态监测与评估平台建设等相关工作,并于201
倩倩_897c
·
2024-02-05 07:01
Windows系统运行py
spark
报错:Py4JJavaError
运行py
spark
时出现以下错误---------------------------------------------------------------------------Py4JJavaErrorTraceback
赫桃
·
2024-02-05 07:25
windows
spark
scala
py
spark
报错TypeError: an integer is required (got type bytes)
安装配置py
spark
,计算时报错如下:Using
Spark
'sdefaultlog4jprofile:org/apache/
spark
/log4j-defaults.propertiesSettingdefaultloglevelto"WARN
helluy
·
2024-02-05 07:23
bug解决
bug
spark
python
py
spark
报错:ValueError: object of IntegerType out of range
背景:py
spark
任务中,调用了udf处理数据,并使用了链接:py
spark
并行调用udf函数的方式,报错如上。但是在python中很少遇到整型越界问题。
leap_ruo
·
2024-02-05 07:53
pyspark
spark
Python调用py
spark
报错整理
Pycharm配置了SSH服务器和Anaconda的python解释器,如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下py
spark
_model.py
赫加青空
·
2024-02-05 07:52
Python
spark
大数据
python
开发语言
【美团】【技术专家】酒旅-后台开发工程师-供给
聚焦公司“零售+科技”战略,为美团休闲娱乐、丽人医美、教育母婴、LifeEvent、餐饮、酒店、民宿、门票度假、交通等业务提供从客户线索、商户入驻、供给上单、交易履约、整合营销、会员评价、经营收益等全方位
技术研究
和能力建设
探小虎
·
2024-02-05 07:42
大厂工作机会
java
spring
mybatis
【美团】酒旅用户增长-后端研发
聚焦公司“零售+科技”战略,为美团休闲娱乐、丽人医美、教育母婴、LifeEvent、餐饮、酒店、民宿、门票度假、交通等业务提供从客户线索、商户入驻、供给上单、交易履约、整合营销、会员评价、经营收益等全方位
技术研究
和能力建设
探小虎
·
2024-02-05 06:07
大厂工作机会
java
mybatis
spring
基于hadoop+
spark
的大规模日志的一种处理方案
而且CDN上的访问日志一般都非常大,需要用大数据处理架构来进行处理,本文描述了一种利用hadoop+
spark
来处理大量CDN日志的方法,当然本方
码农心语
·
2024-02-05 06:36
日志处理
大规模
大数据
hadoop
spark
cdn
Flink实时流计算入门系列——广播变量使用
Flink和
Spark
一样,都有支持广播变量这定义。广播变量,可以理解成为日常的广播,是一个公共的变量。广播变量创建后,它可以运行在集群中的任何function上,而不需要多次传递给集群节
晨冉1688
·
2024-02-05 06:19
91.网游逆向分析与插件开发-游戏窗口化助手-游戏窗口化助手的UI设计
内容参考于:易道云信息
技术研究
院VIP课上一个内容:项目需求与需求拆解-CSDN博客码云地址(游戏窗口化助手分支):https://gitee.com/dye_your_fingers/sro_-ex.git
染指1110
·
2024-02-05 03:05
游戏
网游逆向
c++
90.网游逆向分析与插件开发-游戏窗口化助手-项目需求与需求拆解
内容参考于:易道云信息
技术研究
院VIP课上一个内容:实现物品使用策略的功能-CSDN博客项目需求:在游戏窗口化时,可以在游戏之外弹出一个窗口,可以隐藏或者显示游戏窗口,显示游戏人物的基本状态,以及其它的重要信息需求拆解
染指1110
·
2024-02-05 03:35
游戏
网游逆向
逆向
HIVE
--------hive数据仓库hive底层执行引擎有MapReduceTez
Spark
压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_
·
2024-02-05 00:23
spark
-submit 任务提交过程分析
https://blog.csdn.net/u013332124/article/details/91456422一、
spark
-submit脚本分析
spark
-submit的脚本内容很简单:#如果没设置
疯狂的哈丘
·
2024-02-04 22:08
运行环境jre版本和jar包编译版本不一致导致:Unsupported major.minor version 52.0
问题我在本地使用IntellijIdea打包了一个
spark
的程序jar包,放到linux集群上运行,报错信息是:Unsupportedmajor.minorversion52.0环境本机系统->windows10
stone_zhu
·
2024-02-04 18:51
win10环境下通过anaconda安装py
spark
解决方法本来应该可以在anaconda上直接搜索安装,但是非常慢,而且还有错误,说python3.8无法和和py
spark
3.1.2兼容,需要安装python3.8之前的版本才行。
零下2度
·
2024-02-04 14:36
笔记
python
大数据
大数据技术未来发展前景及趋势分析
Spark
:
Spark
是一个兼容Hadoop数据源的内存数据处理平台,运行速度相比于HadoopMapReduce更快。
丨程序之道丨
·
2024-02-04 12:54
大数据入门-大数据技术概述(二)
目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务:Zookeeper2.分布式资源管理器:Yarn3.计算引擎:
Spark
4.
水坚石青
·
2024-02-04 11:11
大数据理论
大数据
spark
kafka
完结,从零开始学python(十八)想成为一名APP逆向工程师,需要掌握那些技术点?
我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoop
Spark
5
爬完虫变成龙
·
2024-02-04 07:52
python
python开发
APP逆向
python
开发语言
python爬虫
python开发
java
APP逆向
NDK
Fink CDC数据同步(三)Flink集成Hive
利用Flink来读写Hive的表Flink打通了与Hive的集成,如同使用
Spark
SQL或者Impala操作Hive中的数据一样,我们可以使用Flink直接读写Hive中的表。
苡~
·
2024-02-04 07:20
flink
hive
大数据
子雨大数据之
Spark
入门教程---
Spark
入门:RDD的设计与运行原理1.3
Spark
的核心是建立在统一的抽象RDD之上,使得
Spark
的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务。
千寻~
·
2024-02-04 06:38
spark
rdd
Spark
Exception: A master URL必须在配置中设置
问题描述当你遇到org.apache.
spark
.
Spark
Exception:AmasterURLmustbesetinyourconfiguration错误时,这意味着你的
Spark
应用程序尝试启动时没有找到有效的
小湘西
·
2024-02-04 06:07
Spark
spark
大数据
分布式
Spark
部署模式
目录部署模式概述1.LocalMode2.StandaloneMode3.YARNMode4.MesosMode5.KubernetesMode部署模式选择部署模式概述Apache
Spark
支持多种部署模式
小湘西
·
2024-02-04 06:02
Spark
spark
大数据
分布式
Spark
的Driver程序中定义的外部变量或连接为什么不能在各种算在中直接用,如果要要如何做?
在Driver程序中定义的外部变量或连接不能在算子中直接使用,因为它们不会被序列化并发送到各个Executor。如果需要在算子使用外部资源,应该在算子内部初始化这些资源。例如,将RDD数据写入数据库可以这样实现:rdd.foreach(record=>{//在这里初始化数据库连接valconnection=createNewConnection()//假设这是创建连接的函数connection.s
小湘西
·
2024-02-04 06:32
Spark
spark
大数据
分布式
大数据本地环境搭建03-
Spark
搭建
pwd=e20h提取码:e20h将
spark
-3.1.2-bin-hadoop3.2.tar.gz压缩包到node1下的/export/server目录1.2解压压缩包tar-zxvf/export
OnePandas
·
2024-02-04 06:31
Spark
大数据集群环境搭建
大数据
spark
分布式
spark
运维问题记录
环境:
spark
-2.1.0-bin-hadoop2.71.
Spark
启动警告:neither
spark
.yarn.jarsnot
spark
.yarn.archiveisset,fallingbacktouploadinglibrariesunder
SPARK
_HOME
lishengping_max
·
2024-02-04 05:11
Spark
spark
Spark
提交任务到yarn 报错提示虚拟内存不足解决办法
spark
context初始化失败ERROR
spark
.
Spark
Context:Errorinitializing
Spark
Context.java.lang.IllegalStateException
动若脱兔--
·
2024-02-04 05:11
Spark
spark
大数据
scala
解决“
Spark
context stopped while waiting for backend“ issue
在配置为4C16G的虚拟机上安装hadoop生态全家桶,在安装
Spark
2,使用了社区版2.3的版本。
江畔独步
·
2024-02-04 05:10
Spark
bigdata
Spark
context stopped while waiting for backend
目录报错信息解决办法解释报错信息
Spark
contextstoppedwhilewaitingforbackend翻译过来就是:
Spark
上下文在等待后端时停止解决办法通过在yarn-site.xml中添加如下配置项
十二点的泡面
·
2024-02-04 05:36
大数据报错信息的解决
spark
大数据
分布式
Spark
Streaming实战:窗口操作,每10秒,把过去30秒的数据取出来(读取端口号1235中的数据)
1.需求:窗口操作,每10秒,把过去30秒的数据取出来窗口长度:30秒滑动距离:10秒2.代码:(1)pom.xmlorg.apache.
spark
spark
-core_2.112.1.0org.apache.
spark
spark
-sql
Movle
·
2024-02-04 05:52
Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测
####################################################################最新消息:关于
spark
和Hudi的安装部署文档,本人已经写完,连接
运维道上奔跑者
·
2024-02-04 05:43
分布式
hbase
zookeeper
hadoop
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他