spark边缘计算

Spark异步事件总线机制源码分析

收录于话题#大数据常用技术15#大数据17#spark2Spark事件总线贯彻整个应用，TaskScheduler、Executor、JobScheduler、SQLExecution等关键交互逻辑离不开
跃ge·2023-11-24 16:03

Spark核心机制总结

文章目录1.RDD2.与MapReduce对比3.Spark的各大组件4.Spark执行流程5.执行过程中的一些细节6.Spark的部署模式和作业提交部署模式Spark的作业提交7.宽窄依赖DAGScheduler
Icedzzz·2023-11-24 16:33

Spark读取外部数据的原理解读

收录于话题#spark2#大数据17#大数据常用技术15为了简化理解，该文尝试使用SparkContext.textFile()为入口进行分析。
跃ge·2023-11-24 16:33

【Spark源码分析】事件总线机制分析

Spark事件总线机制采用Spark2.11源码，以下类或方法被@DeveloperApi注解额部分，可能出现不同版本不同实现的情况。Spark中的事件总线用于接受事件并提交到对应的监听器中。
顧棟·2023-11-24 16:02

测试可用的安防视频分析软件：烟火检测、车型检测、玩手机打电话检测、厨帽检测、抽烟检测、人员入侵检测

pwd=wa33随着AI、大数据、云计算和边缘计算等技术的迅猛发展，我国的视频监控市场正处于全新的阶段。
xiejiashu·2023-11-24 16:59

大数据集群报错集锦及解决方案

4Azkaban4.1Azkaban页面登陆乱码5Oozie5.1Oozie初始化失败5.2脚本修改之后Oozie任务执行失败6Kerberos6.1启用Kerberos之后，hdfs浏览器打开鉴权失败7Spark7.1Spa
陈舟的舟·2023-11-24 16:22

Doris系列之高级功能-Rollup操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作

Doris系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
29597739c454·2023-11-24 15:56

电力感知边缘计算网关产品设计方案-边缘计算自控算法模型

边缘计算网关与其他数据采集的IoT网关设备不同之处在于可以根据应用场景和产品解决方案，单独设置一些边缘计算算法模型，实现离线系统和边缘计算自控逻辑判别+执行系统方案，自控算法逻辑单元也是边缘计算网关自控系统方案的核心单元
人生淡然·2023-11-24 14:17

电力感知边缘计算网关产品设计方案-软件架构（业务流程）

1.外部设备通信前端系统前端系统连接新的外部设备后，加载前端系统默认的设备驱动库，建立外部设备的硬件电气通信；陌生外部设备通过边缘计算网关前端系统通信端口连接后，通过前端系统集成的默认设备
人生淡然·2023-11-24 14:10

【spark on kubernetes】spark operator部署安装 v1beta2-1.2.0-3.0.0

最近开始研究sparkonkubernetes，经过调研，sparkonkubernetes有两种方案，一种是官方的spark提供的原生支持按照spark-submit方式提交任务，第二种是google
秦拿希·2023-11-24 11:18

【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

HiveStandaloneMetastore管理MinIO（S3）_hiveminio_BigDataToAI的博客-CSDN博客一.背景团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark
秦拿希·2023-11-24 11:35

spark中write算子和format算子详解

在spark中，想要往数据库或者某sink路径里面写数据，存到外部存储系统，如文件系统、数据库或数据仓库，经常会用到write算子。
后季暖·2023-11-24 11:02

spark写入关系型数据库的duplicateIncs参数使用

在看一段spark写数据到关系型数据库代码时，发现一个参数没有见过：df.write.format("org.apache.spark.sql.execution.datasources.jdbc2")
后季暖·2023-11-24 11:25

思考: 为什么 Flink 要弃用Scala API呢？

2.个人浅薄的理解在使用FlinkScalaAPI的时候，发下很多Scala代码都是对JavaAPI的调用，这样就带来了很多不必须要的使用麻烦，不像Spark底层使用Scala开发一样，所以我们可以使用
广阔天地大有可为·2023-11-24 11:22

spark sql本地测试Demo

spark本地测试Demoimportorg.apache.spark.sql.SparkSessionimportorg.apache.spark.sql.functions.
jiayeliDoCn·2023-11-24 11:52

为什么 Flink 抛弃了 Scala

曾经红遍一时的Scala想当初Spark横空出世之后，Scala简直就是语言界的一颗璀璨新星，惹得大家纷纷侧目，连Kafka这类技术框架也选择用Scala语言进行开发重构。
shengjk1·2023-11-24 10:40

【大数据实训】基于赶集网租房信息的数据分析与可视化(七)

CSDN平台官方提供的博主的联系方式，有偿帮忙部署基于赶集网租房信息的数据分析与可视化一、实验环境（1）Linux：Ubuntu16.04（2）Python:3.6（3）Hadoop：3.1.3（4）Spark
AI_Maynor·2023-11-24 10:54

Spark数据倾斜解决方案

数据倾斜的解决，跟之前讲解的性能调优，有一点异曲同工之妙。性能调优，跟大家讲过一个道理，“重剑无锋”。性能调优，调了半天，最有效，最直接，最简单的方式，就是加资源，加并行度，注意RDD架构（复用同一个RDD，加上cache缓存）；shuffle、jvm等，都是次要的。数据倾斜的解决方案，第一个方案和第二个方案，是最朴素、最简谱、最直接、最有效、最简单的，解决数据倾斜问题的方案。重剑无锋。后面的五个
000X000·2023-11-24 09:52

Spark数据倾斜解决办法

Spark数据倾斜解决办法一个Spark程序会根据其内部的Action操作划分成多个job，每个作业内部又会根据shuffle操作划分成多个Stage，每个Stage由多个Task任务并行进行计算，每个
不会打球的摄影师不是好程序员·2023-11-24 09:50

Spark 优化——数据倾斜解决方案

目录一、什么是数据倾斜数据倾斜的表现：定位数据倾斜问题：二、解决方案解决方案一：聚合原数据1)避免shuffle过程2)缩小key粒度（增大数据倾斜可能性，降低每个task的数据量）3)增大key粒度（减小数据倾斜可能性，增大每个task的数据量）解决方案二：过滤导致倾斜的key解决方案三：提高shuffle操作中的reduce并行度reduce端并行度的设置reduce端并行度设置存在的缺陷解决
TRX1024·2023-11-24 09:49

Spark 数据倾斜及其解决方案

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。
沐白的微笑·2023-11-24 09:17

Spark 数据倾斜解决方案

文章目录Spark数据倾斜解决方案1聚合原数据1.1避免shuffle过程1.2缩小key粒度（增大数据倾斜可能性，降低每个task的数据量）1.3增大key粒度（减小数据倾斜可能性，增大每个task的数据量
陈舟的舟·2023-11-24 09:46

spark 数据倾斜 解决思路

比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时,这种情况很常见-原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈
maketubu7·2023-11-24 09:44

Spark 数据倾斜解决思路

１．优化数据结构２．修改并行度1.改变并行度可以改善数据倾斜的原因是因为如果某个task有100个key并且数据巨大，那么有可能导致OOM或者任务运行缓慢;2.此时如果把并行度变大，那么可以分解每个task的数据量，比如把该task分解给10个task,那么每个task的数据量将变小，从而可以解决OOM或者任务执行慢.对应reduceByKey而言可以传入并行度参数也可以自定义partition．
仰望星空的我·2023-11-24 09:44

34-spark数据倾斜解决

1.聚合源数据（1）避免shuffle过程绝大多数情况下，spark作业的数据来源都是Hive表，这些Hive表基本都是经过ETL之后的昨天的数据。
大数据捌圆·2023-11-24 09:13

【云计算大数据】Spark数据倾斜解决方案，java程序设计简明教程答案

spark代码，是怎么划分成一个一个的stage的。哪一个stage生成的task特别慢，就能够自己用肉眼去对你的spark《一线大厂Java面试
m0_64867435·2023-11-24 09:13

spark数据倾斜的解决思路

数据倾斜是：多个分区中，某个分区的数据比其他分区的数据多的多数据倾斜导致的问题：导致某个spark任务耗时较长，导致整个任务耗时增加，甚至出现OOM运行速度慢：主要发生在shuffle阶段，同样的key
阿君聊风控·2023-11-24 09:09

jdk11新特性，是否有必要从JDK8切换到JDK11

1.完全支持Linux容器（包括docker）许多运行在Java虚拟机中的应用程序（包括ApacheSpark和Kafk
程小明的coding·2023-11-24 09:30

MacOS开发 简单的应用更新升级

的更新升级要怎么做，网上查了一下基本没有什么文章可以参考，仅有的思路是这篇文章https://blog.csdn.net/lovechris00/article/details/80247987使用的是三方sparkle
包砸豆沙馅·2023-11-24 07:13

Spark算子

目录什么是算子1.Transformation转换算子1.1转换算子1.2转换算子是干什么的1.3转换算子分类1.4转换算子详解1.4.1map1.4.2flatMap1.4.3distinct1.4.5glom1.4.6union1.4.7cartesian1.4.8groupBy1.4.9subtract1.4.10sample1.4.11mapValues1.4.12reduceByKey1
光数葱丁·2023-11-24 07:28

spark算子总结

spark算子总结RDD介绍rdd是（resilientdistributedataset）弹性分布式数据集代表一个不可变，可分区，里面的元素可并行计算的集合对rdd的改动，只能通过转换算子，转换成一个新的形态的
Cciccd·2023-11-24 07:28

spark算子大全glom_spark 算子总结

本文主要介绍spark中常用的算子的作用记忆部分示例总结。
higf12586·2023-11-24 07:27

一文学完Spark常用算子（Spark算子大全）

目录前言转换算子一、Value类型1.map2.mapPartitions3.mapPartitionsWithIndex4.flatMap5.glom6.groupBy7.filter8.sample9.distinct10.coalesce11.sortBy二、双Value类型1.intersection2.union3.subtract4.zip三、K-V类型1.partitionBy2.r
笑看风云路·2023-11-24 07:56

Java版本的一些常见Spark算子

这里我列举了几个常见的Java类型的spark算子，主要包括Join、GroupByKey、mapPartition、mapPartitionWithIndex、sortBy算子Join案例:packagecom.liuze
liuSir的一亩三分地·2023-11-24 07:55

spark 算子

  什么是spark算子？可以理解成sparkRDD的方法，这些方法作用于RDD的每一个partition。  
正经黑天鹅·2023-11-24 07:54

Spark算子综合应用案例

hadoopmapreduceyarnhdfshadoopmapreducemapreduceyarnlagoulagoulagou案例:Scala版defmain(args:Array[String]):Unit={valconf=newSparkConf
谷应泰·2023-11-24 07:24

Spark算子--Scala版本(头歌)

第1关转换算子之map和distinct算子代码如下：importorg.apache.spark.rdd.RDDimportorg.apache.spark.
小kamil·2023-11-24 07:24

spark 算子java实例

在我看来，Spark编程中的action算子的作用就像一个触发器，用来触发之前的transformation算子。
Ebaugh·2023-11-24 07:50

Java操作MongoDB报错 java.lang.IllegalStateException: state should be: open

问题描述我在使用Spark整合MongoDB，涉及到了MongoDBColletion中的文档删除与新建（也就是更新文档）时，出现了报错java.lang.IllegalStateException:stateshouldbe
书香恋仁心·2023-11-24 07:20

spark的算子

spark的算子1.spark的单Value算子Spark中的单Value算子是指对一个RDD中的每个元素进行操作，并返回一个新的RDD。
地球魔·2023-11-24 07:49

pyspark使用hbase详解

pyspark使用hbase详解一、测试代码：defwrite2hbase():frompyspark.sqlimportSparkSessionfrompysparkimportSparkContext
小码良·2023-11-24 06:06

【实用】2021年你不可错过的Facebook营销趋势资讯！

从FacebookMessenger机器人到FacebookSparkAR，全球最流行的社交媒体平台Facebook为营销人员提供了丰富的机会来丰富客户参与度并增加销售。
AdsPower·2023-11-24 06:32

大数据技术，Spark任务调度原理 四种集群部署模式介绍

一、spark-submit任务提交机制spark-submit\--classorg.apache.spark.examples.SparkPi\--masterspark://ns1.hadoop:
喵感数据·2023-11-24 06:01

5G边缘计算网关助力建筑能耗监测系统

边缘计算网关助力建筑能耗监测系统一、项目背景到2020年，我国建筑能耗占社会总能耗的比例将达到35%左右，超越工业用能，成为用能的第一领域，据了解，根据住房和城乡建设部统计，建筑能耗占我国能源消费总量28%
赛博朋克物联网·2023-11-24 03:59

边缘计算网关在储能系统中的应用——提高储能系统的安全性和稳定性

而作为储能技术中的关键设备之一，边缘计算网关在储能系统中的应用也越来越受到关注。本文将从边缘计算网关的定义、特点以及其在储能行业中的应用三个方面来介绍4G功能的边缘计算网关如何应用于储能行业。
百度_开发者中心·2023-11-24 03:58

低碳节能智慧路灯杆解决方案

低碳节能智慧路灯杆的好处：通过搭载智能网关，智慧路灯杆融合了物联网、边缘计算、电源综合管理等技术，从而能够精准、实时、全面地对智慧路灯杆系统状态进行监测与管理，在照明控制、设备运行和功耗管理方面实现精细化节电
ianvtenr·2023-11-24 03:25

智慧储能边缘计算网关应用，提升能源效率

智慧储能通过边缘计算网关物联网技术来实现对储能电池等设备的在线监控和远程管理。边缘计算网关可以将储能数据转化为可用的信息，并传输到储能系统中，为储能管理提供优化与调度等数据支持。
智联物联·2023-11-24 03:15

2023年中国边缘计算网关现状及发展趋势分析[图]

边缘计算网关是一种可以在设备上运行本地计算、消息通信、数据缓存等功能的工业智能网关，可以在无需联网的情况下实现设备的本地联动以及数据处理分析。
gycyyjy86·2023-11-24 03:15
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他