java调用spark

Spark调优解析-sparkshuffle和程序开发优化2(七)

1Shuffle调优1.1调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。
有语忆语·2024-01-05 12:49

python 并发、并行处理、分布式处理

定义协程阻塞代码->非阻塞ThreadPoolExecutor3.响应式编程被观察者运算符4.并行编程线程进程使用多个进程接口Executor，ProcessPoolExecutor5.锁6.分布式处理daskpysparkmpi4py
cjz0422·2024-01-05 12:18

JAVA调用PageOffice在线打开、编辑Word文档

普通的MSOfficeWord只能在本地磁盘上打开和编辑保存，这使得程序员在开发项目时受到很多的约束，许多的功能无法实现或者无法达到理想的效果。下面我就简单的和大家分享一下如何实现Word文档的在线打开、编辑和保存。第一步：请先安装PageOffice的服务器端的安装程序，之后在WEB项目下的“WebRoot/WEB-INF/lib”路径中添加pageoffice.cab和pageoffice.j
童先生·2024-01-05 11:20

Spark SQL（六）：JDBC数据源

SparkSQL支持使用JDBC从关系型数据库（比如MySQL）中读取数据。读取的数据，依然由DataFrame表示，可以很方便地使用SparkCore提供的各种算子进行处理。
雪飘千里·2024-01-05 11:12

Spark内核解析-部署模式解析8(六)

1、部署模式解析1.1部署模式概述Spark支持的主要的三种分布式部署方式分别是standalone、sparkonmesos和sparkonYARN。
有语忆语·2024-01-05 10:06

Spark内核解析-内存管理7(六)

1、Spark内存管理Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。
有语忆语·2024-01-05 10:36

Spark调优解析-spark调优基本原则1（七）

1调优基本原则1.1基本概念和原则首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起：每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor
有语忆语·2024-01-05 10:36

Spark内核解析-整体概述1（六）

1、Spark整体概述1.1整体概念ApacheSpark是一个开源的通用集群计算系统，它提供了High-level编程API，支持Scala、Java和Python三种编程语言。
有语忆语·2024-01-05 10:35

Spark内核解析-Spark shuffle6(六)

1、SparkShuffle过程1.1MapReduce的Shuffle过程介绍Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。
有语忆语·2024-01-05 10:35

SparkStreaming基础解析（四）

1、SparkStreaming概述1.1SparkStreaming是什么SparkStreaming用于流式数据的处理。
有语忆语·2024-01-05 10:05

Spark内核解析-脚本解析2（六）

2、脚本解析在看源码之前，我们一般会看相关脚本了解其初始化信息以及Bootstrap类，Spark也不例外，而Spark中相关的脚本如下：%SPARK_HOME%/sbin/start-master.sh
有语忆语·2024-01-05 10:05

Spark内核解析-数据存储5（六）

1、Spark的数据存储Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系
有语忆语·2024-01-05 10:05

Spark基础解析（一）

1、Spark概述1.1什么是Spark1.2Spark内置模块SparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。
有语忆语·2024-01-05 10:04

2024.1.4 Spark Core ,RDD ,算子

的五大特点四.算子五.分区算子,重分区算子,聚合算子,关联算子分区算子:重分区算子聚合算子关联算子:一.RDD(弹性分布式数据集)Resilent弹性Distrbuted分布式Dataset数据集1.rdd是Spark
白白的wj·2024-01-05 10:01

SparkCore基础解析（二）

1、RDD概述1.1什么是RDDRDD（ResilientDistributedDataset）叫做分布式数据集，是Spark中最基本的数据抽象。
有语忆语·2024-01-05 10:58

Spark内核解析-节点启动4（六）

Master作为Endpoint的具体实例，下面我们介绍一下Master启动以及OnStart指令后的相关工作1.1脚本概览下面是一个举例：/opt/jdk1.7.0_79/bin/java-cp/opt/spark
有语忆语·2024-01-05 10:12

【Spark精讲】RDD共享变量：广播变量与累加器

在Spark中，提供了两种类型的共享变量：广播变量(broadcastvariable)与累加器(accumulator)广播变量：主要用于在节点间高效分发大对象。
话数Science·2024-01-05 10:42

【Spark精讲】Spark on Hive性能优化

yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.scheduler.maximum-allocation-mbyarn.scheduler.minimum-allocation-mb第三章Spark
话数Science·2024-01-05 10:10

【大数据】Spark学习笔记

初识SparkSpark和HadoopHadoopSpark起源时间20052009起源地MapReduceUniversityofCaliforniaBerkeley数据处理引擎BatchBatch编程模型
pass night·2024-01-05 09:16

Spark内核解析-通信架构3(六)

3、Spark通信架构Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。Spark一开始使用Akka作为内部通信部件。
有语忆语·2024-01-05 08:42

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
乐姐·2024-01-05 08:18

【Spark精讲】性能优化：并行度

Reduce端并行度RDD：参数：spark.default.parallelism手动：groupByKey(10)，10即为并行度SparkSQL：参数：spark.sql.shuffle.partitionsHiveonSpark
话数Science·2024-01-05 07:58

Unity UGUI开发，0GC更新视图

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！
UWA·2024-01-05 06:43

字节跳动 Spark 支持万卡模型推理实践

摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次CommunityOverCodeAsia2023中的《字节跳动Spark支持万卡模型推理实践》主题演讲。
字节跳动云原生计算·2024-01-05 06:09

Python_PySpark实战

1.PySpark库的安装清华大学源：pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepyspark2.构建PySpark执行环境入口对象"""演示获取
Hooray11·2024-01-05 05:48

linux增加用户

#linux创建账户并自动生成主目录和主目录下的文件useradd-d/home/spark-mspark#带有加入root组的创建方式useradd-d/home/spark-groot-mspark
心在梦梦藏心·2024-01-05 05:47

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark
kikiki2·2024-01-05 00:48

SparkSQL、RDD和DataFrame基本操作

1三者比较易操作程度SparkSQL>DataFrame>RDD2创建RDD、DataFrame和SparkSQL2.1创建RDDrawUserData=sc.textFile("file:/home/
路人乙yh·2024-01-04 23:39

金色麦芒的2023

通过学习Hadoop、Spark等框架，我掌握了大数据的存储、处理和分析技术，能够更高效地处理大规模数据集。同时，我也深入学习
溜达的大象·2024-01-04 22:44

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-01-04 21:46

数据构造费时？使用RestTemplate调用多个第三方接口，二次封装成新接口，提高数据构造效率。【RestTemplateUtils.java】两个文件搞定二次封装第三方接口，提效造数！！

使用RestTemplateUtils.java调用多个第三方接口，二次封装成新接口。
Cyril-zxy·2024-01-04 19:03

RDD持久化

RDD（ResilientDistributedDataset）叫做弹性分布式数据集，的其中一个特性就是弹性存储的弹性:spark计算过程中中间结果会保存
万事万物·2024-01-04 19:33

aaaaaa

然后，在SimpleApp.scala代码文件中输入以下代码：/*SimpleApp.scala*/importorg.apache.spark.SparkContextimportorg.apache.spark.SparkContext
SunsPlanter·2024-01-04 15:24

Spark---RDD算子(单值类型Value)

文章目录1.RDD算子介绍2.转换算子2.1Value类型2.1.1map2.1.2mapPartitions2.1.3mapPartitionsWithIndex2.1.4flatMap2.1.5glom2.1.6groupBy2.1.7filter2.1.8sample2.1.9distinct2.1.10coalesce2.1.11repartition2.1.12sortBy1.RDD算子
肥大毛·2024-01-04 11:16

实时数据处理概述与Spark Streaming简介

SparkStreaming是ApacheSpark生态系统中的一个模块，专门用于实时数据处理。本文将深入探讨实时数据处理的概念，并介绍如何使用SparkStreaming来处理实时数据流。
晓之以理的喵~~·2024-01-04 11:16

2024.1.3 Spark on Yarn部署方式与工作原理

目录Spark集群类型有以下几种：Spark的部署方式有以下几种：SparkonYARN的部署方式有两种：client模式和cluster模式。
白白的wj·2024-01-04 11:44

Spark Streaming的DStream与窗口操作

实时数据处理已经成为当今大数据时代的一个重要领域，而SparkStreaming是ApacheSpark生态系统中的一个关键模块，用于处理实时数据流。
晓之以理的喵~~·2024-01-04 11:42

Java技术栈 —— Hadoop入门（一）

解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN-核心组件3.1.4其它组件3.1.4.1HBase3.1.4.2Hive3.1.4.3Spark
键盘国治理专家·2024-01-04 08:02

Spark二、Spark技术栈之Spark Core

SparkCorespark核心：包括RDD、RDD算子、RDD的持久化/缓存、累加器和广播变量学习链接：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ
eight_Jessen·2024-01-04 08:51

2024.1.3 Spark架构角色和提交任务流程

目录一.Yarn的角色回顾二、Spark提交任务流程1、SparkOnStandalone2.SparkonYarn三.Spark比MapReduce执行效率高的原因四.Spark的排序算子一.Yarn
白白的wj·2024-01-04 08:46

mllib可扩展学习库java api使用

mllib可扩展学习库javaapi是使用ApacheSpark构建的机器学习库，包括分类，聚类，特征提取和预处理等功能。本文将从以下几个方面详细介绍如何使用mllib可扩展学习库javaapi。
卖兔子的胡萝卜zz·2024-01-04 08:43

Spark - SQL查询文件数据

那么我们可以利用spark-sql直接操作文件的特性处理这类的需求，姐姐再也不用担心我不会spark了，因为我就只会sql。使用方法csvspark.sql("select*fromcsv.
大猪大猪·2024-01-04 07:02

spark 资源动态释放

通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。
kikiki2·2024-01-04 07:35

【深度学习】02--框架

文章导读：•机器学习框架：•Scikit-Learn•SparkMLlib•深度学习框架•Theano蒙特利尔理工学院•TensorFlow谷歌•PytorchFacebook•Deeplearning4j
创造new_world·2024-01-04 06:55

手动调接口给第三方传值_Java调用第三方http接口的方式

1.概述在实际开发过程中，我们经常需要调用对方提供的接口或测试自己写的接口是否合适。很多项目都会封装规定好本身项目的接口规范，所以大多数需要去调用对方提供的接口或第三方接口(短信、天气等)。在Java项目中调用第三方接口的方式有：①通过JDK网络类Java.net.HttpURLConnection；②通过common封装好的HttpClient；③通过Apache封装好的CloseableHtt
weixin_39621870·2024-01-04 05:19

Java 调用第三方接口方法

Java调用第三方接口方法一、通过JDK网络类Java.net.HttpURLConnection1.java.net包下的原生javaapi提供的http请求使用步骤：1、通过统一资源定位器（java.net.URL
小东西的东西·2024-01-04 05:48

Antlr4 - 自定义SparkSQL解析

Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙
大猪大猪·2024-01-04 04:40

Spark RDD及其常用算子介绍

一、RDD介绍1.1什么是RDDRDD（ResilientDistributedDataSet），称作弹性分布式数据集，是Spark中最基本的数据抽象，表示一个不可变的，分区的，其中元素可以被并行计算的数据集合
文景大大·2024-01-03 23:40

Spark---RDD介绍

文章目录1.Spark核心编程2.RDD介绍2.1.RDD基本原理2.2RDD特点1.弹性2.分布式：数据存储在大数据集群的不同节点上3.数据集：RDD封装了计算逻辑，并不保存数据4.数据抽象：RDD是一个抽象类
肥大毛·2024-01-03 23:34

Spark相关知识点（期末复习集锦）

嗨喽，最近小伙伴们快要期末考试了吧，下面是我对《Spark零基础实战》的总结，希望能帮助到你们。
夜をむかえる·2024-01-03 22:49
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他