E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark)
[AIGC大数据基础]
Spark
入门
其中,
Spark
作为一个快速、通用的大数据处理引擎备受关注。本文将从“是什么、怎么用、为什么用”三个角度来介绍
Spark
。
程序员三木
·
2024-01-28 12:32
大后端
大数据
AIGC
spark
Impala-shell卡顿分析——记一次曲折的Debug经历
Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持,以修正跟Hive、
Spark
等基于Java的系统在UTF-8字符串上的不兼容表现(如
stiga-huang
·
2024-01-28 12:06
Impala
大数据
impala
debug
Impala元数据简介
Impala元数据简介背景Impala是一个高性能的OLAP查询引擎,与其它SQL-on-Hadoop的ROLAP解决方案如Presto、
Spark
SQL等不同的是,Impala对元数据(Metadata
stiga-huang
·
2024-01-28 12:05
Impala
Spark
:Task Locality参考
Datalocalitycanhaveamajorimpactontheperformanceof
Spark
jobs.Ifdataandthecodethatoperatesonitaretogetherthencomputationtendstobefast.Butifcodeanddataareseparated
liuzx32
·
2024-01-28 12:38
Spark
的宽依赖和窄依赖
Apache
Spark
中的依赖关系指的是转换操作(transformations)之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。
小湘西
·
2024-01-28 08:52
Spark
spark
大数据
分布式
Spark
——
Spark
SQL逻辑计划(Logical Plan)、物理计划(Physical Plan)和Catalyst优化器(Catalyst Optimizer)
文章目录TreesRules
Spark
SQL中使用CatalystAnalysis逻辑优化(LogicalOptimizations)物理计划(PhysicalPlanning)代码生成(CodeGeneration
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark
——
Spark
覆盖分区表中指定的分区
问题描述
Spark
中向分区表写数据的时候,如果写入模式为“overwrite”,那会将整个表覆盖掉;如果写入模式为“ap
Southwest-
·
2024-01-28 08:18
Spark
Spark
Spark
——
Spark
OOM Error问题汇总分析
.广播了大变量Executor端OOMError1.低效的查询2.不合适的Driver端和Executor端内存3.不合适的YARNContainer内存4.内存中缓存大量数据5.不合适任务并行度参考
Spark
Southwest-
·
2024-01-28 08:17
Spark
Spark
Spark
——
Spark
写MySQL太慢、很慢、非常慢的原因分析及优化方法
文章目录问题背景原因分析解决方法参考问题背景有这样一个业务场景:需要将通过
Spark
处理之后的数据写入MySQL,并在在网页端进行可视化输出。
Southwest-
·
2024-01-28 08:17
Spark
Spark
MySQL
Spark
——
Spark
/Hive向量化查询执行原理分析(Vectorization Query Execution)
文章目录什么是向量化查询执行列式存储
Spark
向量化查询执行Hive向量化查询执行参考什么是向量化查询执行在标准的查询执行系统中,每次只处理一行数据,每次处理都要走过较长的代码路径和元数据解释,从而导致
Southwest-
·
2024-01-28 08:47
Spark
Spark
Hive
向量化
Spark
——
Spark
缓存临时视图(View)
文章目录RDD/Dataset缓存复用纯SQL结果缓存复用RDD/Dataset缓存复用我们知道在使用RDD和DatasetAPI开发
Spark
应用程序的时候,如果要缓存某个RDD或Dataset来进行复用
Southwest-
·
2024-01-28 08:47
Spark
Spark
Spark
——
Spark
DataFrame导出为Excel文件
文章目录问题背景实现1.Maven依赖2.代码实现3.参数详解1.'sheet_name'!B3:C35。2.sheet_name[#All]参考问题背景有时候我们在进行一些表的计算之后,会生成一些指标,需要导出来给其它同事用,虽说可以将DataFrame直接写成表,然后通过工具(比如Hue)导出为Excel,但是步骤就多了,而且如果要导出的表比较多的话,就更浪费时间了,那么这时候调用第三方插件就
Southwest-
·
2024-01-28 08:17
Spark
spark
Spark
—— JSON对象/数组转成
Spark
Dataset/DataFrame
JSON转DataFrame在日常使用
Spark
处理数据时,半结构化的JSON数据(JSONObject,JSONArray)可能是最常见的一种数据结构,那么能熟练并快速地处理JSON格式数据应该是数据开发人员的必备技能
Southwest-
·
2024-01-28 08:16
Spark
spark
json
Spark
——
Spark
读写MongoDB
文章目录
Spark
直连MongoDB1.通过
Spark
Conf2.通过ReadConfig3.通过DataFrameReaderHive中创建映射表mongoexport导出文件参考如果我们要想通过
Spark
Southwest-
·
2024-01-28 08:46
Spark
Spark
MongoDB
Spark
——
Spark
读写Greenplum/Greenplum-
Spark
Connector高速写Greenplum
文章目录问题背景解决方式代码实现
Spark
写Greenplum
Spark
读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum(因为DataX原生不支持GreenplumWriter
Southwest-
·
2024-01-28 08:42
Spark
spark
大数据
分布式
Hive之set参数大全-18
指定在执行
Spark
上的动态分区裁剪时,用于评估分区数据大小的最大限制在Hive中,hive.
spark
.dynamic.partition.pruning.max.data.size是一个配置参数,用于指定在执行
OnePandas
·
2024-01-28 07:33
Hive
hive
数据仓库
hive面试题
本质上是将SQL转换为MapReduce或者
spark
来进行计算,数据是存储在hdfs上,简单理解来说hive就是MapReduce的一个客户端工具。补充1:你可以说一下HQL转换为MR的任务流程吗?
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
大数据——Flink 知识点整理
目录1.Flink的特点2.Flink和
Spark
Streaming的对比3.Flink和Blink、Alink之间的关系4.JobManager和TaskManager的职责5.Flink集群部署有哪些模式
Vicky_Tang
·
2024-01-28 06:17
Flink
flink
面试
big
data
大数据
Apache
Spark
架构与特点
1.背景介绍Apache
Spark
是一个开源的大数据处理框架,由AMLLabs公司开发,后被Apache软件基金会所支持。
OpenChat
·
2024-01-27 23:35
apache
spark
架构
大数据
分布式
Spark
-core
什么是
Spark
Spark
是基于内存的快速,通用,可扩展的大数据分析引擎
Spark
的内置模块
Spark
Core是
Spark
可以离线处理的部分,实现了
spark
的基本功能,包含任务调度,错误恢复,与存储系统交互等模块
luckboy0000
·
2024-01-27 23:12
学习笔记
独家解读 | 滴滴机器学习平台架构演进之路
所谓大同是指大家所要处理的问题都相似,技术架构和选型也差不太多,比如都会使用GPU集群、采用
Spark
或K8s平台等。
csdn产品小助手
·
2024-01-27 19:18
人工智能
运维
大数据
apache 前30个开源项目
高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃4Apache
Spark
临水逸
·
2024-01-27 17:35
apache
开源
如何使用irsa将火花提交给亚马逊eks集群
Inpreviousarticle,Ihaveintroducedhowwesubmita
Spark
jobtoanEKScluster.Aslongaswe’reusingotherAWScomponentsforourpipelinestointeract
weixin_26755331
·
2024-01-27 15:26
java
Py
spark
分类--LogisticRegression
LogisticRegression:逻辑回归分类classpy
spark
.ml.classification.LogisticRegression(featuresCol=‘features’,labelCol
Gadaite
·
2024-01-27 14:53
ML基础
分类
机器学习
人工智能
搭建大数据平台常用的端口号
journalnode默认的端口号9000:非高可用访问数rpc端口8020:高可用访问数据rpc8088:yarn的webUI的端口号8080:master的webUI,Tomcat的端口号7077:
spark
修勾勾L
·
2024-01-27 13:51
Linux
大数据
Spark
连接Hive的两种方式
一、使用hive-site.xml第一步:将集群中的hive-site.xml的内容复制出来,并放在idea项目的resources下,要求文件命名为:hive-site.xmldatanucleus.schema.autoCreateAlltruejavax.jdo.option.ConnectionURLjdbc:mysql://192.168.38.160:3306/hive_db?crea
修勾勾L
·
2024-01-27 13:50
Spark
Hive
hive
spark
mysql
项目中常用的utils
importcryptofrom'crypto'import
Spark
MD5from'
spark
-md5'importCryptoJsfrom'crypto-js'importJSEncryptfrom'jsencrypt'importstoragefrom
乐夫天命兮
·
2024-01-27 13:05
javascript
前端
开发语言
flume+kafka+
Spark
Streaming+mysql+ssm+高德地图热力图项目
第一步、编写python脚本,产生模拟数据#coding=UTF-8importrandomimporttimephone=["13869555210","18542360152","15422556663","18852487210","13993584664","18754366522","15222436542","13369568452","13893556666","1536669855
printf200
·
2024-01-27 12:24
【Scala-
spark
.mlib】分布式矩阵——分布式计算的基石与利器
分布式矩阵1.mlib.linalg.distributed包2.DistributedMatrix特质3.BlockMatrix类4.CoordinateMatrix类5.IndexedRowMatrix类6.RowMatrix类7.小结1.mlib.linalg.distributed包 矩阵计算是很多科学计算的重要步骤,而分布式矩阵存储则是分布式计算的基础。根据不同的计算需求,需要将用于计
JimmyShis
·
2024-01-27 10:12
spark
大数据
分布式
scala
分布式计算
2019年12月10日
今天在公司继续看
spark
教程,这么说来我已经快一个月没啥正事了(望向每日记录Excel文档),究竟说明公司药丸还是我药丸……反正先做好多手准备【今天明明温度不低办公室的三恒系统却还是开着高温,仿佛电费不要钱
真昼之月
·
2024-01-27 08:49
Spark
-RDD持久化
(1)persist算子使用方法:varrdd=sc.textFile("test")rdd=rdd.persist(StorageLevel.MEMORY_ONLY)valcount=rdd.count()//或者其他操作StorageLevel说明:StorageLevel的构造函数:classStorageLevelprivate(privatevar_useDisk:Boolean,#是否
printf200
·
2024-01-27 08:02
Spark
SQL中掌控sql语句的执行 - 了解你的查询计划
本文翻译自BeinchargeofQueryExcutionin
Spark
SQL背景自
spark
2.x的sql以及申明行DataFrameAPi以来,在
spark
查询数据越来越方便。
鸿乃江边鸟
·
2024-01-27 08:18
Hadoop与
Spark
横向比较【大数据扫盲】
大数据场景下的数据库有很多种,每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性,都有其特定的使用场景。以下是一些常见的大数据数据库:1.**NoSQL数据库**:这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言,并强调水平扩展和高可用性。例如:-**键值存储**:如Redis,AmazonDynamoDB-**列式存储**:如ApacheCassandra,
super_journey
·
2024-01-27 07:51
大数据
hadoop
spark
使用
spark
mllib训练中文文本分类器的
importorg.apache.
spark
.mllib.classification.NaiveBayesimportorg.apache.
spark
.mllib.feature.HashingTFimportorg.apache.
spark
.mllib.linalg.Vectorsimportorg.apache.
spark
.sql.functions
DreamNotOver
·
2024-01-27 07:45
spark-ml
中文分类
使用
Spark
MLlib 使用 jieba 分词训练中文分类器
importorg.apache.
spark
.ml.classification.NaiveBayesimportorg.apache.
spark
.ml.feature.HashingTFimportorg.apache.
spark
.sql.functions
DreamNotOver
·
2024-01-27 07:45
spark-ml
中文分类
集群
Spark
Thrift Server 架构和原理介绍
也可以看我CSDN的博客:https://blog.csdn.net/u013332124/article/details/90339850一、
Spark
ThriftServer介绍
Spark
ThriftServer
疯狂的哈丘
·
2024-01-27 04:17
实时分析海量新数据的难点 和解决方案
解决方案:使用分布式计算和存储技术,如Hadoop、
Spark
、Kafka等,将数据分散存储在多个节点上,同时进行分布式计算和处理,以实现数据的实时处理和分析。2.数据质量的保障:海量新
云台095
·
2024-01-27 03:40
大数据的应用
大数据
idea上搭建py
spark
开发环境
1环境版本说明python版本:Anaconda3.6.5
spark
版本:
spark
-2.4.8-bin-hadoop2.7idea版本:2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163
·
2024-01-27 00:06
Spark
2.3.4 StandAlone 集群模式部署
Spark
2.3.4StandAlone集群模式部署相关文档依赖服务系统优化创建路径配置/etc/profile配置$
SPARK
_HOME/conf/
spark
-env.sh配置$
SPARK
_HOME/
JP.Hu
·
2024-01-26 19:07
Spark
spark
大数据
分布式
Flink 基础入门
前言
Spark
Streaming准确来说算是一个微批处理伪实时的做法,可是Flink是真的来一条就会处理一条,而且在
Spark
Streaming和Kafka进行整合时我们需要手动去管理偏移量的问题,而在
IT领域君
·
2024-01-26 19:28
Spark
常见问题解决-日志和排查办法
Spark
日志与排查报错问题查看:https://blog.csdn.net/qq_33588730/article/details/109353336
Spark
常见问题1.org.apache.
spark
.
Spark
Exception
for your wish
·
2024-01-26 15:39
spark
大数据
分布式
Spark
3内核源码与优化
文章目录一、
Spark
内核原理1、
Spark
内核概述1.1简介1.2
Spark
核心组件1.3
Spark
通用运行流程概述2、
Spark
部署模式2.1YARNCluster模式(重点)2.2YARNClient
魅Lemon
·
2024-01-26 15:38
大数据
spark
Spark
3学习笔记
文章目录一、
Spark
基础1、
Spark
概述1.1
Spark
简介1.2
Spark
VSHadoop1.3
Spark
特点1.4
Spark
入门Demo2、
Spark
运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon
·
2024-01-26 15:38
大数据
spark
py
spark
学习_dataframe常用操作_02
#回顾01常用操作frompy
spark
import
Spark
Session,DataFrame
spark
=
Spark
Session.builder.getOrCreate()peopleDF=
spark
.read.json
heiqizero
·
2024-01-26 15:07
spark
spark
梳理离线批次
spark
作业提交脚本
/bin/bash-x#
[email protected]
_NAME="
Spark
ALS"CDHUSER=adminCDHPASSWORD=adminCDHURL=http:/
赛尔木
·
2024-01-26 11:47
Apache
Spark
Apache
Spark
是一种快速、通用的大数据处理引擎,用于分布式数据处理和分析。它支持在大规模数据集上进行高性能计算,并且具有内置的分布式数据处理功能。
先------------------
·
2024-01-26 10:30
apache
spark
大数据
深度干货|谈谈阿里云AnalyticDB
Spark
如何构建低成本数据湖分析
本文将分享AnalyticDBMySQL
Spark
助力构建低成本数据湖分析的最佳实践。
阿里云瑶池数据库
·
2024-01-26 06:57
阿里云
spark
云计算
Spark
OLAP高阶分析函数总结
我们经常困惑在数据挖掘和报表分析场景中sql不会写,或者因为sql太长以至于可读性降低;今天我为大家总结了一些
Spark
SQL中的高阶函数,它们将会对你的业务形成助力,百倍提升你的工作效率GROUPING
易企秀工程师
·
2024-01-26 06:47
Spark
学习笔记五:
Spark
资源调度和任务调度
一、Stage
Spark
任务会根据RDD之间的依赖关系,形成一个DAG有向无环图,DAG会提交给DAGScheduler,DAGScheduler会把DAG划分相互依赖的多个stage,划分stage的依据就是
开发者连小超
·
2024-01-26 04:42
py
spark
数据类型转换_apache
spark
-将py
spark
字符串转换为日期形式
apache
spark
-将py
spark
字符串转换为日期形式我有一个日期py
spark
数据框,其中的字符串列格式为df.select(to_date(df.STRING_COLUMN).alias('new_date
weixin_39860201
·
2024-01-26 04:39
pyspark
数据类型转换
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他