E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spar
分布式离线计算—Spark—基础介绍
各种概念之间的关系Executor的优点Spark运行基本流程Spark运行架构的特点Spark的部署模式Spark三种部署方式Hadoop和Spark的统一部署摘要:Spark是基于内存计算的大数据并行计算框架
Spar
测试开发abbey
·
2024-09-13 11:11
人工智能—大数据
数据中台建设方案-基于大数据平台(下)
本建设方案满足甲方对于数据计算层建设的基本要求:利用了MapReduce、
Spar
FRDATA1550333
·
2024-09-11 03:49
大数据
数据库架构
数据库开发
数据库
大数据秋招面经之spark系列
问题怎么产生的以及解决方案5.storm与flink,sparkstreaming之间的区别6.spark的几种部署方式:7.复习spark的yarn-cluster模式执行流程:8.spark的job提交流程:9.
spar
wq17629260466
·
2024-09-06 19:54
大数据
spark
Spark MLlib模型训练—回归算法 GLR( Generalized Linear Regression)
本文将深入探讨
Spar
猫猫姐
·
2024-09-02 08:28
Spark
实战
回归
spark-ml
线性回归
spark
Spark编程实验五:Spark Structured Streaming编程
二、实验内容1、通过Socket传送Syslog到
Spar
Francek Chen
·
2024-02-13 05:49
Spark编程基础
spark
大数据
分布式
syslog
数据清洗
valspark=SparkSession.builder().appName("DataCleaning").master("local[2]").getOrCreate()valaccess=spark.
spar
扣篮的左手
·
2024-02-12 23:46
spark sql 数据类型转换_spark sql时间类型转换以及其他
2018-10-1012:34:43第二种使用时间戳的形式to_timestamp(a.REACHTIME,"yyyy-MM-ddHH24:mi:ss")//转后是1970年至今的时间戳一大长串数据2.如果
spar
weixin_39535527
·
2024-02-08 10:02
spark
sql
数据类型转换
Python调用pyspark报错整理
执行的脚本执行如下pyspark_model.py的python脚本,构建SparkSession来执行sparksql"""脚本名称:Pycharm使用pyspark测试功能:Pycharm远程执行
spar
赫加青空
·
2024-02-05 07:52
Python
spark
大数据
python
开发语言
SAP 电商云 Spartacus UI 的 External Routes 设计明细
但是,如果您要从传统店面系统(例如SAPCommerceAccelerator)逐步(和逐个路由)迁移到Spartacus,则
Spar
JerryWang_汪子熙
·
2024-01-26 19:32
Pyspark
SparkFiles7.StorageLevel二、SparkSQL1.读取数据2.保存/写入数据3.Dataframes3.pysparkSQL函数三、SparkStreaming四、MLlib一、SparkCore在
Spar
李明朔
·
2024-01-23 12:24
机器学习
spark-ml
Spark学习(8)-SparkSQL的运行流程,Spark On Hive
DataFrame:100%是二维表结构,可以被针对
Spar
技术闲聊DD
·
2024-01-21 06:50
大数据
hive
spark
学习
设计模式——管道模式(并发模式)
在分布式处理领域,由于管道模式是数据驱动,而目前流行的Spark分布式处理平台也是数据驱动的,两者非常合拍,于是在
spar
码上得天下
·
2024-01-20 11:52
设计模式
spark
big
data
Spark SQL基础
每一列的类型都是一致的我们将这样的数据称为结构化的数据例如:mysql的表数据1张三202李四153王五184赵六12SparkSQL的优势1-SparkSQL既可以编写SQL语句,也可以编写代码,甚至可以混合使用2-
Spar
小希 fighting
·
2024-01-12 07:55
spark
sql
大数据
Spark的错误处理与调试技巧
以下是一些常见的
Spar
晓之以理的喵~~
·
2023-12-31 07:52
Spark
spark
ajax
大数据
Spark集群- 连接hadoop、hive集群
机器都能解析hadoop集群的机器名称如果spark和hadoop部署在同样的集群,则可以省略这一步如果spark和hadoop部署在不同的集群,则需要配置hosts文件复制hdfs、hive配置文件至$
SPAR
_HOME
heichong
·
2023-12-29 13:59
【Hadoop】YARN简介(YARN产生的技术需求/YARN的基本架构)
YARN从某种那个意义上来说应该算做是一个云操作系统,它负责集群的资源管理和任务调度,在YARN之上可以开发各类的应用程序,例如批处理MapReduce,内存处理
Spar
不怕娜
·
2023-12-24 18:41
hadoop
架构
大数据
LAS Spark+云原生:数据分析全新解决方案
文章主要介绍了火山引擎湖仓一体分析服务LAS(下文以LAS指代)基于Spark的云原生湖仓分析实践,利用
Spar
字节数据平台
·
2023-12-22 07:15
云原生
数据分析
大数据
数据库
火山引擎
Spark入门
spark.apache.org/docs/latest/sql-ref-syntax-dml-insert-into.htmlhttps://sparkbyexamples.com/spark/explode-
spar
yujkss
·
2023-12-21 11:33
#
Spark
SpringBoot集成websocket(5)|(使用OkHttpClient实现websocket以及详细介绍)
OkHttpClient实现websocket以及详细介绍)@[TOC]前言一、初始化OkHttpClient1.OkHttpClient实现二、websocket服务代码实现1.websocket服务端实现2.
Spar
Oak科技
·
2023-12-17 04:07
websocket
spring
boot
websocket
后端
Spark分布式内存计算框架
Spark运行基本流程四、Spark编程模型(一)核心数据结构RDD(二)RDD上的操作(三)RDD的特性(四)RDD的持久化(五)RDD之间的依赖关系(六)RDD计算工作流五、Spark的部署方式一、
Spar
Francek Chen
·
2023-12-14 12:43
大数据技术基础
Spark编程基础
spark
大数据
分布式
SeaTunnel 2.1.3 任务执行流程源码解析
通过我们努力让Spark、Flink的使用更简单、更高效,将行业的优质经验和我们对
Spar
、Flinkk的使用固化到产品SeaTunnel中,显着降低学习成本,加速分布式数据处理能力的部署
EdwardsWang丶
·
2023-11-30 09:57
大数据平台-架构之道
java
大数据
flink
京东:Flink SQL 优化实战
可以看到实时和离线是分开的,离线数据处理大部分用的是Hive/
Spar
Apache Flink
·
2023-11-28 09:00
算法
大数据
编程语言
数据库
python
[Spark版本更新]--2.3.0发行说明(二)
·[SPARK-14516]-聚类评估器·[SPARK-15689]-数据源APIv2·[SPARK-15767]-SparkR中的决策树回归封装·[SPARK-16026]-基于成本的优化器框架·[
SPAR
浅汐王
·
2023-11-22 13:54
大数据学习(22)-spark
Spark内置了
Spar
viperrrrrrr
·
2023-11-20 07:23
大数据
学习
spark
【Spark 深入学习 02】- 我是一个凶残的spark
一、spark帅不帅·五官长相-
spar
weixin_34055910
·
2023-11-19 21:47
大数据
Spark 数据倾斜
例如,reduce点一共要处理100万条数据,第一个和第二个task分别被分配到了1万条数据,计算5分钟内完成,第三个task分配到了98万数据,此时第三个task可能需要10个小时完成,这使得整个
Spar
火成哥哥
·
2023-11-19 17:10
spark
spark
java
大数据
hive
scala
Spark 性能调优
资源的分配在使用脚本提交Spark任务时进行指定,标准的Spark任务提交脚本如代码清单2-1所示:代码清单2-1标准Spark提交脚本/usr/opt/modules/
spar
高个子男孩
·
2023-11-17 10:09
Spark
spark
大数据
scala
Spark创建DataFrame的三种方法
方法一,Spark中使用toDF函数创建DataFrame通过导入(importing)
Spar
hellozhxy
·
2023-11-15 09:18
spark
Spark类库----PySpark(本地开发环境配置&&远程SSH解释器配置)
是可以在Python代码中:importpysparkPySpark是Spark官方提供的一个Python类库,内置了完全的SparkAPI,可以通过PySpark类库来编写Spark应用程序,并将其提交到
Spar
北海怪兽Monster
·
2023-11-11 20:13
大数据
spark
ssh
python
【Flink面试题】(4.8M)
中,并行度设置可以从4个层次级别指定8.Flink的Slot和parallelism区别9.Task与SubTask10.OperatorChains(任务链)11.为什么使用FlinkonYarn或
Spar
大数据组件
·
2023-11-05 18:20
大数据求职-面试
flink
即使数据量很小,spark仍报total size of serialized results is bigger than spark.driver.maxResultSize
经过搜索,这个在
spar
lsr_flying
·
2023-10-31 02:59
Spark简介
3.1安装3.2配置历史服务器3.3配置查看历史日志5、Mesos模式6、几种模式对比7、常用端口三、Yarn模式详解1、简介2、Client模式3、Cluster模式一、简介1)官网地址:http://
spar
ha_lydms
·
2023-10-22 23:26
大数据
spark
大数据
分布式
Apache DolphinScheduler 官方发布3.2.0版本!大数据调度【重磅更新】
云原生支持新增
Spar
DolphinScheduler社区
·
2023-10-19 04:41
大数据
java spark 消费kafka_spark streaming消费kafka数据写入hdfs避免文件覆盖方案(java版)
当然高版本的
spar
吴羽舒
·
2023-10-16 11:40
java
spark
消费kafka
spark streaming从指定offset处消费Kafka数据
那么我们需要记录每次消费的offset,以便下次检查并且从指定的offset开始读取二.环境kafka-0.9.0、spark-1.6.0、jdk-1.7、scala-2.10.5、idea16三.实现代码1.引入
spar
L.ZZ
·
2023-10-16 11:33
kafka
大数据
Spark
kafka
spark
大数据
模型轻量化操作——剪枝
需要特殊硬件支持)权重级别(Fine-gained)sparsity0-D向量级别(介于二者之间)Sparsity1-D结构化剪枝(卷积核Kernel特征图Featuremap)(不需要特殊硬件支持)卷积核级别
Spar
氵文大师
·
2023-10-15 01:12
剪枝
算法
机器学习
CoT 的方式使用 LLM 设计测试用例实践
find_dotenv())appid=os.getenv("SPARK_APP_ID")api_secret=os.getenv("SPARK_APP_SECRET")api_key=os.getenv("
SPAR
CrissChan
·
2023-10-13 00:45
AI系统的测试入门与实践
测试用例
一文理清Apache Spark内存管理脉络
在执行Spark的应用程序时,
Spar
weixin_34228387
·
2023-10-12 23:07
大数据
内存管理
运维
spark 提交java_java中使用SparkLauncher提交spark应用
下面来介绍使用
Spar
米佗耶目
·
2023-10-10 18:15
spark
提交java
SPARK
FailedtoconnecttotheMetaStoreServerspark-shell在默认启动的时候会选择Hive做为SqlContext的默认SessionCatalog,所谓catalog就是
spar
innersense
·
2023-10-09 14:59
spark
spark
hive
Spark性能优化指南——基础篇
大多数同学(包括笔者在内),最初开始尝试使用
Spar
一条水里的鱼
·
2023-10-04 00:57
pyspark
spark
big
data
性能优化
如何关闭 sparkstreaming 任务
如何优雅的关闭
spar
小癫僧
·
2023-09-25 23:31
一个逆天的small RNA-seq数据挖掘神器
先看看大概长啥样,简洁干净清爽的界面,名字就叫
SPAR
,不是那
医科研
·
2023-09-22 17:27
Apache Spark 的基本概念和在大数据分析中的应用
2.SparkSQL:是
Spar
IKUN家族
·
2023-09-17 09:08
spark
数据分析
大数据
计算机毕业设计之Python+Spark+LSTM电商爬虫 商品推荐系统 商品评论情感分析 电商大数据 电商推荐系统 大数据毕业设计
支付宝沙箱支付、百度AI身份证自动识别整体架构设计大屏统计端API接口端爬虫端用户门户系统后台管理系统功能描述端的要求:web用户端、大屏端、后台管理系统角色要求:系统管理员、普通用户框架:沿用【新闻推荐系统】
spar
计算机毕业设计大神
·
2023-09-16 22:57
【无标题】
,access=WRITE,inode="/user/hudi":root:supergroup:drwxr-xr-xhadoopfs-chmod-R777/user/hudi2org.apache.
spar
超短腿迪迦
·
2023-09-12 06:36
hudi
大数据
idea
ajax
javascript
大数据
pyspark报错
Constructororg.apache.spark.sql.SparkSession([classorg.apache.spark.SparkContext,classjava.util.HashMap])doesnotexist一、org.apache.
spar
我爱夜来香A
·
2023-09-07 06:52
Python
python
spark
使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift
另一方面Hue自己独特的优势可以使用SparkSQL进行
Spar
·
2023-09-02 23:50
amazon-emr
使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift
另一方面Hue自己独特的优势可以使用SparkSQL进行
Spar
亚马逊云开发者
·
2023-09-02 23:52
Amazon
EMR
Spark 环境安装与案例演示
2.1.0-bin-hadoop2.7.tgz-C/training/由于Spark的脚本命令和Hadoop有冲突,只需在.bash_profile中设置一个即可(不能同时设置),所以有hadoop的就不设置
spar
Agatha方艺璇
·
2023-09-02 15:46
Spark
大数据
spark
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他