Spark系统性学习专栏

大数据笔记--Spark（第五篇）

目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量
是小先生·2024-02-05 09:59

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

84.如何设计高性能系统

文章目录一、简介二、性能指标三、影响系统性能因素有哪些四、高性能设计|硬件层面五、高性能设计|软件层面六、高性能设计|数据层面七、高性能设计|安全和可靠性层面一、简介互联网时代，业务系统的主要特点是用户多
百里守约学编程·2024-02-05 08:43

论“因果”有感

这个智慧知识上中央电视台，说明大智慧系统，已经到了指引人心智系统性趋势吧。而自己也是里面听到专家坦述因果，是一个不仅时间系统，还有就是人与人之间教育引起因果关系。
毛毛宋·2024-02-05 08:38

Windows系统运行pyspark报错：Py4JJavaError

运行pyspark时出现以下错误---------------------------------------------------------------------------Py4JJavaErrorTraceback
赫桃·2024-02-05 07:25

pyspark报错TypeError: an integer is required (got type bytes)

安装配置pyspark，计算时报错如下：UsingSpark'sdefaultlog4jprofile:org/apache/spark/log4j-defaults.propertiesSettingdefaultloglevelto"WARN
helluy·2024-02-05 07:23

pyspark报错：ValueError: object of IntegerType out of range

背景：pyspark任务中，调用了udf处理数据，并使用了链接:pyspark并行调用udf函数的方式，报错如上。但是在python中很少遇到整型越界问题。
leap_ruo·2024-02-05 07:53

Python调用pyspark报错整理

Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下pyspark_model.py
赫加青空·2024-02-05 07:52

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方
码农心语·2024-02-05 06:36

Flink实时流计算入门系列——广播变量使用

Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节
晨冉1688·2024-02-05 06:19

2018-04-10

当我们系统性地去学习这些能力后，就能够变得擅长于用他人能接受的方式，表达出内心的感受；变得懂得及时觉察、有效处理自己的负面情绪；变得擅长管理自己的情绪、不让情绪成为完成任务的阻碍；变得擅长用情绪感染他人
qiao老胖·2024-02-05 06:26

Skywalking 应用笔记

概念Skywalking是一款分布式的系统性能监视工具，专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。
KEEPMA·2024-02-05 05:29

电脑系统垃圾清理软件哪个好用？ CleanMyMac对比CCleaner

对于不熟悉系统的用户来说，使用一些小众工具，往往很多用户都不懂这些清理工具如何操作，从而也不能够起到全面提高系统性能的效果。
FLflStudio·2024-02-05 04:06

mac系统占100多G怎么清除?让你拥有更多的可用存储空间

虽然这些文件初衷是为了提高系统性能，但长时间累积会导致硬盘空间不足。旧版本软件和安装包一些应用软
CoCo玛奇朵·2024-02-05 03:35

学习风格的4种类型，你是哪一种？

但缺点可能是深度思考不够，因此大量的学习可能只停留在战术层面，很难举一反三、触类旁通，也很难升级到系统性、全
颜记杂货铺·2024-02-05 03:09

原来，java竟然可以这样系统性的自学？

我是自学的，没有报过班（穷），看书是不可能完全看书的，还是看视频舒服，一般都是照着视频敲，有的视频得反反复复来回看来回写，如何入门的话前面大家都说的很清楚了，我来贴一下我看过的视频给想要学习Java的同学吧~。首先，不得不说进大厂必须得具备扎实的基本功，比如掌握好计算机基础知识与数据与算法。程序员必须掌握哪些算法？www.zhihu.com程序员吴师兄：计算机基础知识总结与操作系统PDF下载zhu
你今天善良了吗·2024-02-05 02:32

如何培养自己深度思考的习惯？

这套「正U型思考法」，严格遵循这个顺序，能帮你系统性剖析一件事情，不被舆论轻易带着跑，希望你能坚持看完，一定会让你产生不小的改变。第一步：少说我觉得。
杨然谦·2024-02-05 00:23

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_·2024-02-05 00:23

[Java并发]-----第2章 并发编程的其他基础知识

并且都没有执行结束.2.为什么要进行多线程并发编程(废话)多核CPU时代的到来打破了单核CPU对多线程效能的限制.对多个CPU意味着每个线程可以使用自己的CPU运行,这减少了线程上下文切换的开销,但随着对应用系统性能和吞吐量要求的提高
Benjamin_Lee·2024-02-04 23:07

心理咨询常见问题汇总及说明。4

心理咨询是一个系统性的连续过程，正如心理问题的产生不是一天形成的一样，心理问题的化解也需要一个过程。每次咨询都会有一定的效果。
陈教练的礼物·2024-02-04 22:57

spark-submit 任务提交过程分析

https://blog.csdn.net/u013332124/article/details/91456422一、spark-submit脚本分析spark-submit的脚本内容很简单:#如果没设置
疯狂的哈丘·2024-02-04 22:08

LeetCode笔记：反转链表专题

但是平时刷题缺少目的性、系统性，最终导致算法方面进步缓慢。最终，为了自己的未来，我决定开始在LeetCode上进行系统的学习和练习，同时将刷题的轨迹整理记录，分享出来与大家共勉。
耿鬼不会笑·2024-02-04 20:43

超越POSIX：一个时代的终结？

September8,2022在本文中，我们通过对PortableOperatingSystemInterface（POSIX）抽象的历史演变进行系统性的回顾，提供了一个全面的视图。
hzp666·2024-02-04 19:56

血压高的人，谨记：早起三不宜，饭后三不急，血压稳定更健康

高血压，是一种全身系统性疾病，是在中老年人当中，十分常见的慢性疾病。高血压本身，也许并不可怕，可怕的是血压长期居高不下，就会导致一系列的并发症！那么，血压高的人，日常生活中，有哪些禁忌呢？
小娜每日说·2024-02-04 19:44

【计算机组成原理 第一章】 计算机系统概论 华中科技大学 秦磊华老师

计算机系统概论目录文章目录计算机系统概论目录前言一、冯诺依曼结构原理1.1计算机之父的传奇1.2冯诺依曼计算机的组成1.2.1硬件系统1.2.2软件系统1.3计算机的层次结构二、计算机系统性能评价2.1
worker618·2024-02-04 18:27

运行环境jre版本和jar包编译版本不一致导致：Unsupported major.minor version 52.0

问题我在本地使用IntellijIdea打包了一个spark的程序jar包，放到linux集群上运行，报错信息是：Unsupportedmajor.minorversion52.0环境本机系统->windows10
stone_zhu·2024-02-04 18:51

win10环境下通过anaconda安装pyspark

解决方法本来应该可以在anaconda上直接搜索安装，但是非常慢，而且还有错误，说python3.8无法和和pyspark3.1.2兼容，需要安装python3.8之前的版本才行。
零下2度·2024-02-04 14:36

MySQL数据库入门学习 #CSDN博文精选# #IT技术# #数据库# #MySQL#

大家好，小C将继续与你们见面，带来精选的CSDN博文~又到周一啦，上周的系统化学习专栏已经结束，我们总共一起学习了20篇文章，这周将开启全新专栏《放假不停学，全栈工程师养成记》在这里，你将收获：将系统化学习理论运用于实践
高校俱乐部·2024-02-04 13:50

数字化时代的商业方法论

所谓方法论就是通过一个框架、N个工具，系统性地设计出行动计划。通过洞察变和不变的，找到未来的趋势以及企业的方向，以终为始的终局思维。通过战略选择，确定企业的路径、模式和资源分配。
如是说vv·2024-02-04 12:39

大数据技术未来发展前景及趋势分析

Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。
丨程序之道丨·2024-02-04 12:54

2018-12-30晨间日记

：习惯养成：周目标·完成进度学习·信息·阅读健康·饮食·锻炼人际·家人·朋友跟艺娃说关于苏州六中考试的事，看清方向，明白动机，而后规划行为工作·思考《新零售》读完，变革新时代，要有进化思维、本质思维、系统性思维
妮子的世界·2024-02-04 11:34

大数据入门-大数据技术概述(二)

目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务：Zookeeper2.分布式资源管理器：Yarn3.计算引擎：Spark4.
水坚石青·2024-02-04 11:11

线程池的7大参数及4大拒绝策略详解

为什么要使用线程池线程池是多线程编程中常用的一种优化手段，可以提高资源利用率，提升系统性能，并降低系统的复杂性。这里借用《Java并发编程的艺术》提到的来说一下使用线程池的好处：降低资源消耗
YangYangYang24·2024-02-04 11:06

人工智能福利站，初识人工智能，机器学习，第五课

欢迎点赞✍评论⭐收藏人工智能领域知识链接专栏人工智能专业知识学习一机器学习专栏人工智能专业知识学习二机器学习专栏人工智能专业知识学习三机器学习专栏人工智能专业知识学习四机器学习专栏人工智能专业知识学习五机器学习专栏文章目录初识人工智能
普修罗双战士·2024-02-04 07:23

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5
爬完虫变成龙·2024-02-04 07:52

Fink CDC数据同步（三）Flink集成Hive

利用Flink来读写Hive的表Flink打通了与Hive的集成，如同使用SparkSQL或者Impala操作Hive中的数据一样，我们可以使用Flink直接读写Hive中的表。
苡~·2024-02-04 07:20

子雨大数据之Spark入门教程---Spark入门：RDD的设计与运行原理1.3

Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务。
千寻～·2024-02-04 06:38

SparkException: A master URL必须在配置中设置

问题描述当你遇到org.apache.spark.SparkException:AmasterURLmustbesetinyourconfiguration错误时，这意味着你的Spark应用程序尝试启动时没有找到有效的
小湘西·2024-02-04 06:07

Spark部署模式

目录部署模式概述1.LocalMode2.StandaloneMode3.YARNMode4.MesosMode5.KubernetesMode部署模式选择部署模式概述ApacheSpark支持多种部署模式
小湘西·2024-02-04 06:02

Spark 的Driver程序中定义的外部变量或连接为什么不能在各种算在中直接用，如果要要如何做？

在Driver程序中定义的外部变量或连接不能在算子中直接使用，因为它们不会被序列化并发送到各个Executor。如果需要在算子使用外部资源，应该在算子内部初始化这些资源。例如，将RDD数据写入数据库可以这样实现：rdd.foreach(record=>{//在这里初始化数据库连接valconnection=createNewConnection()//假设这是创建连接的函数connection.s
小湘西·2024-02-04 06:32

大数据本地环境搭建03-Spark搭建

pwd=e20h提取码：e20h将spark-3.1.2-bin-hadoop3.2.tar.gz压缩包到node1下的/export/server目录1.2解压压缩包tar-zxvf/export
OnePandas·2024-02-04 06:31

了解MySQL 开发规范

尤其是涉及到大量数据时，数据库的负荷会变得沉重，影响系统性能。将复杂运算移到业务应用层，有助于分担数据库的压力。
tot_lbr·2024-02-04 06:58

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max·2024-02-04 05:11

Spark提交任务到yarn 报错提示虚拟内存不足解决办法

sparkcontext初始化失败ERRORspark.SparkContext:ErrorinitializingSparkContext.java.lang.IllegalStateException
动若脱兔--·2024-02-04 05:11

解决“Spark context stopped while waiting for backend“ issue

在配置为4C16G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。
江畔独步·2024-02-04 05:10

Spark context stopped while waiting for backend

目录报错信息解决办法解释报错信息Sparkcontextstoppedwhilewaitingforbackend翻译过来就是：Spark上下文在等待后端时停止解决办法通过在yarn-site.xml中添加如下配置项
十二点的泡面·2024-02-04 05:36

Spark Streaming实战：窗口操作，每10秒，把过去30秒的数据取出来(读取端口号1235中的数据)

1.需求：窗口操作，每10秒，把过去30秒的数据取出来窗口长度：30秒滑动距离：10秒2.代码：(1)pom.xmlorg.apache.sparkspark-core_2.112.1.0org.apache.sparkspark-sql
Movle·2024-02-04 05:52

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

####################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接
运维道上奔跑者·2024-02-04 05:43
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他