E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据处理Spark
111.Parquet表的使用
Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,
Spark
大勇任卷舒
·
2024-01-21 02:33
通过WordCount解析
Spark
RDD内部源码机制
我们通过
Spark
WordCount动手实践,编写单词计数代码;在wordcount.scala的基础上,从数据流动的视角深入分析
Spark
RDD的数据处理过程。
联旺
·
2024-01-21 01:54
客户案例|知名证券机构核心大数据平台升级之路
某综合类证券机构,早年以Hadoop平台为基础,结合多种
大数据处理
技术,构建了大数据专用存储与处理系统。但随着实际
云掣YUNCHE
·
2024-01-21 01:17
产品介绍
大数据
云原生
运维开发
spark
on Yarn 动态资源分配
配置文件:
spark
.default.parallelism=40#
spark
.executor.memory=1536m#
spark
.executor.memoryOverhead=512m#
spark
.driver.cores
金刚_30bf
·
2024-01-20 23:09
Spark
读取kafka(流式和批数据)
spark
读取kafka(批数据处理)#按照偏移量读取kafka数据frompy
spark
.sqlimport
Spark
Sessionss=
Spark
Session.builder.getOrCreate
中长跑路上crush
·
2024-01-20 23:55
Spark阶段
spark
kafka
大数据
Spark
流式读取文件数据
流式读取文件数据frompy
spark
.sqlimport
Spark
Sessionss=
Spark
Session.builder.getOrCreate()#todo注意1:流式读取目录下的文件--》一定一定要是目录
中长跑路上crush
·
2024-01-20 23:25
Spark阶段
spark
javascript
前端
Spark
Streaming通过receiver方式消费kafka数据时数据积压问题
1.问题在通过receiver方式接受kafka消息时,发现有大量消息在队列中阻塞最终导致
spark
任务执行失败。
sinat_36710456
·
2024-01-20 22:23
大数据
数据积压
Spark
Streaming
kafka
Spark
(一): 基本架构及原理
前言:目标:架构及生态:
Spark
与hadoop:运行流程及特点:常用术语:
Spark
运行模式:RDD运行流程:前言:Apache
Spark
是一个围绕速度、易用性和复杂分析构建的
大数据处理
框架,最初在2009
贝賏赑钡
·
2024-01-20 22:46
spark
架构
大数据
PDF如何裁剪页面,PDF裁剪页面的小技巧
使用工具:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor操作方法:1:先打开旋风PDF编辑器,点击打开文件按钮打开需要编辑的PDF文件。2:在菜单
六号_db7a
·
2024-01-20 18:09
11.Join的MapReduce实现
Join在MapReduce中的实现一、概述tips:Hive:MapReduce/
Spark
巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能:考察点MapReduce
哈哈大圣
·
2024-01-20 18:40
Spark
在降本增效中的一些思考
背景在大环境不好的情况下,本司也开始了“降本增效”,本文探讨一下,在这种背景下
Spark
怎么做的降本增效。
鸿乃江边鸟
·
2024-01-20 14:25
spark
大数据
分布式
hive 运行报错
Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用
spark
圆周率的后六位
·
2024-01-20 12:35
hadoop
spark
大数据的常见处理流程
具体的
大数据处理
方法其实有很多,但是根据长时间的实践,笔者总结了一个基本的
大数据处理
流程,并且这个流程应该能够对大家理顺大数据的处理有所帮助。
kuntoria
·
2024-01-20 11:17
设计模式——管道模式(并发模式)
在分布式处理领域,由于管道模式是数据驱动,而目前流行的
Spark
分布式处理平台也是数据驱动的,两者非常合拍,于是在spar
码上得天下
·
2024-01-20 11:52
设计模式
spark
big
data
spark
的jdbc接口,类似于hiveserver2
https://
spark
.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server
Spark
SQL
zdkdchao
·
2024-01-20 10:53
spark
大数据
分布式
Kylin安装学习教程
Kylin安装学习教程Kylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111
·
2024-01-20 09:28
kylin
spark
连接操作
将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是PairRDD最常用的操作之一。连接的方式多种多样:右外连接,左外连接、交叉连接以及内连接普通的join操作符表示是内连接。只有在两个键值对中都存在的键才叫输出。
追赶的程序猿
·
2024-01-20 09:45
Data Bricks Delta Lake 入门
DeltaLake是一个开源存储层,它将关系数据库语义添加到基于
Spark
的数据湖处理中。
AI普惠大师
·
2024-01-20 07:03
flask
python
后端
Spark
从入门到精通30:
Spark
SQL:核心源码深度剖析
在前面一节我们讲解了
Spark
SQL的工作原理,接下来在这一节,我们对
Spark
SQL工作原理进一步地深入和加强,这一节主要讲解
Spark
SQL核心源码导读和剖析首先,我们看SQLContext.scala
勇于自信
·
2024-01-20 07:57
【
Spark
】
Spark
容错及 HA--Master 异常
一、Master配置recoveryModeMaster作为
Spark
Standalone模式中的核心,如果Master出现异常,则整个集群的运行情况和资源将无法进行管理,整个集群将处于“群龙无首”的状况
w1992wishes
·
2024-01-20 05:37
余老师带你学习大数据-
Spark
快速
大数据处理
第十章Kafka第八节Kafka-Connect
kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分,左侧是数据源包括了数据库、hadoop、文本等等,右侧是数据结果包括了文本、hadoop、数据库,中间上层就是KafkaConnect,它里面会有很多的输入,将输入的内容的读取进来转交给Kafka里,也有可能将kafka里的内容拿出来放到我们的外部数据源中。2、KafkaConnect主要用来与其他
weixin_45810046
·
2024-01-20 03:41
kafka
kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人
·
2024-01-20 03:07
kylin
Kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。
终将老去的穷苦程序员
·
2024-01-20 03:04
kylin
Apache Flink 1.15正式发布
目前
大数据处理
的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析,而FlinkSQL则是这种低代码方式数据分析的典型代表。越来越多的用户开始采用Fl
魏铁锤爱摸鱼
·
2024-01-20 02:00
apache
flink
大数据
CVE-2023-46226 Apache iotdb远程代码执行漏洞
它具有体量轻、性能高、易使用的特点,完美对接Hadoop与
Spark
生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。
棱镜七彩
·
2024-01-20 02:27
apache
iotdb
自然语言处理大数据:
spark
ML Word2Vec详解
简介Word2Vec是一种著名的词嵌入(WordEmbedding)方法,它可以计算每个单词在其给定语料库环境下的分布式词向量(DistributedRepresentation,亦直接被称为词向量)。词向量表示可以在一定程度上刻画每个单词的语义。如果词的语义相近,它们的词向量在向量空间中也相互接近,这使得词语的向量化建模更加精确,可以改善现有方法并提高鲁棒性。词向量已被证明在许多自然语言处理问题
nnnancyyy
·
2024-01-19 17:23
机器学习
python
人工智能
自然语言处理
深度学习
大数据学长面试之OPPO面试题
1)技术部分(1)
Spark
Streaming消费方式及区别,
Spark
读取HDFS的数据流程(2)Kafka高性能(3)Hive调优,数据倾斜(4)Zookeeper怎么避免脑裂,什么是脑裂。
大数据小理
·
2024-01-19 16:01
大数据1
大数据
面试
职场和发展
某汽车外包-大数据开发-面试
4.
spark
的提交参数有那些命令5.
spark
rdd,dataframe,dataSe解释一下。
劝学-大数据
·
2024-01-19 16:28
大数据面试题
大数据
spark
读取MySQL数据机器学习预测存入MySQL
importorg.apache.
spark
.
Spark
Confimportorg.apache.
spark
.ml.classification.
大数据驱动
·
2024-01-19 14:12
#
spark
mysql
机器学习
关于jenkins集成python的单元测试
最近在研究jenkins的集成,然后想把自己写的python工具也用jenkins集成一下废话少说,来看结构
spark
ing.py@author:lianying'''class
Spark
ing:@staticmethoddefget_num_of_zero
百晓生说测试
·
2024-01-19 13:21
软件测试
jenkins
python
单元测试
自动化测试
软件测试
功能测试
程序人生
Python在
大数据处理
中的实践运用
大数据基于被分析的海量数据。如何有效地提取和利用这些信息成为一个巨大的挑战。雅虎、谷歌等搜索引擎可以辅助检索数据和信息,但存在一定的不足。搜索引擎返回的结果信息量涉及方方面面,没有分类,针对性不强;造成搜索引擎服务器资源与无限网络数据资源之间的冲突;针对一般搜索引擎存在的问题,针对特定主题需求,针对网络资源进行定向爬取的聚焦爬虫应运而生。在实现网络爬虫时,他尽量保证只爬取和需求相关的网页信息并进行
Python分享阁
·
2024-01-19 11:38
html源码(html+css)
运维&从测试>UI设计>产品>我的课程表继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象继续学习程序语言设计正在学习-使用对象全部课程精品推荐JQuery
Spark
MySQLJava
奇遇少年
·
2024-01-19 11:26
html
css
html5
css3
其他
Flink1.17 基础知识
Flink1.17基础知识来源:B站尚硅谷目录Flink1.17基础知识Flink概述Flink是什么Flink特点Flinkvs
Spark
StreamingFlink的应用场景Flink分层APIFlink
魅美
·
2024-01-19 08:16
大数据基础
大数据
flink
spark
dateformat源码排错
背景有一个任务yyyy写成了YYYY,导致年份不对触发告警selectfrom_unixtime(unix_timestamp(),'YYYY-MM-ddHH:mm:ss')第一时间用
spark
dateformat
这个程序猿可太秀了
·
2024-01-19 06:47
spark
大数据
数据仓库
利用 Apache
Spark
和 Databricks 进行企鹅种类预测的机器学习实践入门
这里演示使用Apache
Spark
和Databricks平台进行企鹅物种预测的完整机器学习流程。
AI普惠大师
·
2024-01-19 06:17
机器学习
人工智能
spark
+phoenix读取hbase
spark
直接操作hbase也是通过hbase的原语操作,操作起来比较繁琐,下面就是将
spark
和phoenix相结合的方法步骤。我用的是scala语言,首先pom.xml中添加依赖o
潮落拾贝
·
2024-01-19 06:16
spark
hbase
大数据
py
spark
笔记:窗口函数window
窗口函数相关的概念和基本规范可以见:py
spark
笔记:over-CSDN博客1创建Py
spark
dataFramefrompy
spark
.sql.windowimportWindowimportpy
spark
.sql.functionsasFemployee_salary
UQI-LIUWJ
·
2024-01-19 06:15
python库整理
笔记
Spark
基础学习--基础介绍
1.
Spark
基本介绍1.1定义
Spark
是可以处理大规模数据的统一分布式计算引擎。
Yan_bigdata
·
2024-01-19 06:37
spark
学习
大数据
mapreduce
对比
入门案例
词频统计
Py
spark
安装(Mac M2版)
引言本文为个人本地部署py
spark
遇到的问题以及解决办法,包含个人的一些理解,仅供参考。
矮人三等
·
2024-01-19 06:35
工具
java
相关
macos
spark
python
使用Apache
Spark
处理Excel文件的简易指南
对此,我们可借助Apache
Spark
这一分布式计算框架,凭借其强大的计算与数据处理能力,快速有效地处理Excel数据。这些数据进行一个分析,整理
i查拉图斯特拉如是
·
2024-01-19 06:33
apache
spark
excel
LightGBM On
Spark
通常业务中对计算性能有要求时,通常不使用GPU跑tf,会使用xgbooston
Spark
来解决,既保证速度,准确率也能接受。LightGBM是使用基于树的学习算法的梯度增强框架。
wong小尧
·
2024-01-19 04:10
spark
读取hive的数据
下载源码包:
spark
-2.3.3.tgz解压:tar-xzvf
spark
-2.3.3.tgz进入目录:cd
spark
-2.3.3.
IT烧麦
·
2024-01-19 04:17
FineBI实战项目一(25):实战项目一总结
没有集群,hdfs、hive、
spark
、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致,以便后期出现问题排查。mysql同步到数仓,数仓
不死鸟.亚历山大.狼崽子
·
2024-01-19 02:39
FineBI
finebi
py
spark
结构数据处理
现在随着技术的更新,数据化实现越来越高效便捷,一整套大数据系统,至少需要从数据建模、技术选型、页面交互三方面实现。数据建模如水流,贯穿整个数据分析系统;技术选型是基础设施,支撑整个系统高效运转;页面交互是面向用户,用数据说话,对业务增长进行数据赋能,实现数据驱动。在复杂的数据分析场景中,通常需要基于用户画像与用户行为,对用户进行OLAP多维自由交叉组合分析。因此,对于百万级以上的产品业务,使用My
haleyprince
·
2024-01-19 00:20
shell
spark
-submit提交之后获取appid,并在程序中扫描状态
首先看一下提交脚本#/sbin/bash/opt/cloudera/parcels/
SPARK
2/bin/
spark
2-submit\exportJAVA_HOME=/opt/jdk1.8.0_31TASK_TYPE
南修子
·
2024-01-18 22:16
大数据之
Spark
知识体系完整解读
Spark
简介
Spark
是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey
金乐笑
·
2024-01-18 20:15
数字孪生时代,一起探索云端建模的无限潜能
它基于云计算和
大数据处理
的优势,以及先进的三维建模技术,开启了建筑设计、城市规划和工程领域的全新时代。云端建模不仅实现了高效的数据处理和计算能力,还提供了无限潜能的探索空间。
LhcyyVSO
·
2024-01-18 17:43
实景三维
spark
streaming实时写入hive
pom文件
spark
-streaming-kafka-0-10_2.112.1.0
spark
-core_2.11
spark
-sql_2.11scala-library采用的是scala2.11.8实现逻辑
会飞的蜗牛66666
·
2024-01-18 16:11
Python环境下基于自适应滤波器的音频信号(wav格式)降噪方法
Python的集成环境我一般使用的是Winpython,Winpytho脱胎于pythonxy,面向科学计算,兼顾数据分析与挖掘;Anaconda主要面向数据分析与挖掘方面,在
大数据处理
方面有自己特色的一些包
哥廷根数学学派
·
2024-01-18 14:23
python
开发语言
从术语到
Spark
,10篇必读大数据学习资源
大数据文摘作品编译:王一丁、王梦泽、夏雅薇本文给想进入大数据领域的朋友提供了一系列的资源,由浅入深,比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前,我们已就数据可视化进行了深入探讨。这次,我们将从更基本的概念讲起,以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领
金光闪闪耶
·
2024-01-18 13:45
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他