Spark公开课第10页

企业Spark案例--酒店数据分析实战提交

第1关：数据清洗--过滤字段长度不足的且将出生日期转：packagecom.yyimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.

cz学java·2024-02-08 10:30

Spark的timestamp 数据时间问题

使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。

kk_io·2024-02-08 10:29

大数据毕业设计PySpark+PyFlink航班预测系统飞机票航班数据分析可视化大屏机票预测机票爬虫飞机票推荐系统大数据毕业设计计算机毕业设计

博主介绍：✌全网粉丝100W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌由于篇幅限制，想要获取完整文章或者源码，或者代做，可以给我留言或者找我聊天。感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助更多的人。1.DrissionPage自动化Python爬虫工具采

B站计算机毕业设计超人·2024-02-08 09:17

【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像

一、Flink实时计算第一章：Flink快速入门1.Flink架构2.Flink应用场景3.FlinkVSSpark4.实时计算技术选型第二章：Flink项目构建与测试1.快速构建Flink项目2.第一个

大数据研习社·2024-02-08 08:56

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException):Thedirectoryitemlimitof/spark_dir

不会吐丝的蜘蛛侠。·2024-02-08 08:58

Flink on Yarn的两种模式

首先，在集群运行时，可能会有很多的集群实例包括MapReduce、Spark、Flink等等，那么如果它们全基于onYarn就可以完成资源分配，减少单个实例集群的维护，提高集群的利用率。

GOD_WAR·2024-02-08 07:22

Flink流式数据倾斜

1.流式数据倾斜流式处理的数据倾斜和Spark的离线或者微批处理都是某一个SubTask数据过多这种数据不均匀导致的，但是因为流式处理的特性其中又有些许不同2.如何解决2.1窗口有界流倾斜窗口操作类似Spark

orange大数据技术探索者·2024-02-08 07:58

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python

道-闇影·2024-02-08 06:07

Spark安装（Yarn模式）

一、解压链接：https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码：mb4htar-zxvf/opt/software/spark-3.0.3-bin-hadoop3.2

莫噶·2024-02-08 04:44

袁小均老师

他的公开课一向激情

新晴yue·2024-02-08 03:26

图解大数据 | 大数据分析挖掘-Spark初步

图解大数据|大数据分析挖掘-Spark初步作者：韩信子@ShowMeAI教程地址：www.showmeai.tech/tutorials/8…本文地址：www.showmeai.tech/article-det

Dashesand·2024-02-08 03:22

docker数据科学与spark镜像源与使用常见问题疑难解答

DreamNotOver·2024-02-08 01:16

用docker 配置scala spark环境

要使用Docker配置Scala和Spark环境，您可以按照以下步骤进行操作。以下是一个基本的示例，您可能需要根据您的具体需求进行调整。安装Docker:在您的系统上安装Docker。

DreamNotOver·2024-02-08 01:14

第12课：如何利用免费资源“投资自己”

想学哲学可以听名校免费公开课，想摇身变码农也非难事，各种文字、视频教程满天飞，想学投资理财，长投学堂是个好选择，官网有免费入门课，有点击过百万的《跟着钱钱学理财》书籍下载，每个月还有免费电子杂志看。

简JA0·2024-02-08 01:26

Spark Standalone 集群配置

集群管理类型Spark支持三种集群管理类型：Standalone-Spark附带的一个简单的集群管理器，可以轻松地设置集群。

董可伦·2024-02-07 23:01

正定矩阵 Positive definite matrix

我看了MIT的公开课视频才知道所谓的正定矩阵是positivedefinitematrix。下面是授课视频的linkhttp://v.163.com/movie/2010/11/3/P

JasonLeaster·2024-02-07 23:24

2019-1-17晨间日记

1月17日晨间日记/今日小确幸起床：7:00就寝：23:18天气：雾霾心情：平稳纪念日：老板公开课任务清单昨日完成的任务，最重要的三件事：改进：要按计划完成工作习惯养成：番茄时间管理周目标·完成进度学习

小小_小燕·2024-02-07 22:24

RDD vs DataFrame vs Dataset

RDD是Spark最基础的数据结构。RDD允许开发者使用容错的形式在集群中使用内存计算，这样可以提高计算速度。1.2DataFrameDataFrame是使用数据组成命名

一生逍遥一生·2024-02-07 22:20

10月公开课复盘：这个国庆假期，我花了4天，上了一门颠覆过去二十多年的阅读认知课

一直以来，我跟很多人一样，都是按照学校教授的阅读方法进行阅读的。但是，这个国庆，我上过镜姐的4天高效阅读训练营之后，我的阅读认知完全被颠覆了。这门课讲了什么，能让一个人颠覆了二十多年的固有阅读认知？下面，我把我的收获分享给你DAY1主题：揭秘高效阅读变现3个秘诀，告别无效阅读1、为什么你会掉进无效阅读的误区？回答这个问题之前，需要先来一句灵魂之问：阅读本身可以改变命运吗？你是不是觉得“可以”，但是

王小鱼读书·2024-02-07 21:00

《观课议课与课程建设》的读书总结

听教师的讲，所以我们关注的重点是讲课的教师，把教师当成课堂的主体，所以常规的公开课更像是教师的表演，公开课是否成功取决于学生的配合。注意，此时我们强调的是学生的配合，学生不再是学习的主体。

丹_172f·2024-02-07 21:22

【教师随笔】姜自平

一天，一位老教师上了一堂非常精彩的公开课，她的风采吸引了在场的所有老师。

e535d8966f2e·2024-02-07 18:47

黑猴子的家：Spark SQL 的性能

1、内存列存储（In-MemoryColumnarStorage）内存列存储来说，将所有原生数据类型的列采用原生数组来存储，将Hive支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储。这样，每个列创建一个JVM对象，从而导致可以快速的GC和紧凑的数据存储。额外的，还可以用低廉CPU开销的高效压缩方法来降低内存开销。更有趣的是，对于分析查询中频繁使用的聚合特定列，性能会

黑猴子的家·2024-02-07 18:48

简单使用Spark、Scala完成对天气数据的指标统计

目录一、前言&什么是Spark？

db_lcz_2014·2024-02-07 18:33

网易公开课“Programming Paradigms” 笔记

一网易公开课中提供的“ProgrammingParadigms”由杰弗瑞·凯恩（JerryCain）讲授，共27集，中英文字幕。Jerry还是facebook公司的engineer。

铅笔楼·2024-02-07 16:04

小时候的游戏（二）：最短路径算法1

周末看了网易公开课上的那门算法导论，从第17课开始讲关于图的问题。由于语言的关系，看的不是太明白。后来，只好拿起纸和笔，对照书，一步一步地写，才明白dijkstra算法（以下简称D算法）的过程。

铅笔楼·2024-02-07 16:34

天呐，奶茶真的会让我失眠

人才感觉略微舒服一点，躺在床上想起来后天的公开课有点担心，给好菜菜发了个信息，结果这家伙过了20分钟来一句，他也睡不着。那时我似乎刚来一点睡意，又清醒了。

阳光的园子·2024-02-07 14:59

第一次上公开课

因为是新教师，中心校安排了一次新教师公开课比赛，因为经验不足，还是有点紧张的。从学校发文件开始，就开始选课文，听网课，做PPT课件和教案设计。

萦绕米心·2024-02-07 13:16

2021-07-21

改变从PPT践行开始一、结缘PPT与PPT结缘是在PPT的公开课上。之前对PPT的了解只是停留在开会是做个文字或图片动画。当时聆听了老师的PPT课程以后，发现原来PPT适用于任何一种人群。

思敏·2024-02-07 13:16

【Iceberg学习一】什么是Iceberg？

Iceberg为包括Spark、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能，使用一种高性能的表格格式，其工作方式就像一个SQL表一样。

周润发的弟弟·2024-02-07 10:56

RDD任务切分之Stage任务划分(图解和源码)

RDD任务切分中间分为：Application、Job、Stage和Task（1）Application：初始化一个SparkContext即生成一个Application；（2）Job：一个Action

大数据左右手·2024-02-07 09:34

kyuubi 接入starrocks | doris

kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi

甜甜的巧克力阿·2024-02-07 09:48

《韩军与新语文教育》读书打卡day20

《大堰河，我的保姆》实践课韩军在讲《大堰河，我的保姆》公开课时，有前面的导入序曲，配着音乐，声情并茂地“唱”一首《大堰河，我的保姆》，入课后老师一直用提问的方式引起学生讨论回答。

刘倩琳·2024-02-07 09:58

安全生产怎么搜题答案？ #职场发展#其他

1.iTunesUiTunesU是一种免费的网络公开课诸多学校如：哈佛、MIT、牛津等都把自己的课堂的音频、视频、文档，放在网上，可以通过itunes这款软件来下载。

红色小鬼头·2024-02-07 08:18

宜宾五中综合课改引领新启航———记七年级综合课改教研活动

从第二周起，每位老师每周上一节公开课，校领导、年级主任、本班班主任和本学科教师都会亲自到场听课，课后进行认真的评课，力争师生尽快进入小组合作学习模式。

张俊华·2024-02-07 07:53

胆怯的勇士不再胆怯啦！

上公开课又特别害怕同行过来听课。现在她却变得勇敢，自信，在讲台上也是从容不迫，落落大方。她是怎么做到的呢？一切都得从她的贵人说起。001【靠近】向优秀的人靠近。观察她的做法，学习她的方法。

胆怯的勇士·2024-02-07 07:46

Hive Sql优化记录

日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveonspark要快70%，与正常的认知正好相反，所以对该sql进行了详细分析。

风筝flying·2024-02-07 07:40

SparkJDBC读写数据库实战

默认的操作代码valdf=spark.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option

SunnyRivers·2024-02-07 07:41

IDEA 本地运行Spark

IDEA本地运行Spark1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读Spark源码，

fir_dameng·2024-02-07 06:41

Spark Scala大数据编程实例

一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想，只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java虚拟机）上，并兼容现有

一直de不完的bug·2024-02-07 06:38

win10 spark scala 本地运行wordcount

hadoopcommon，可以从github下载zip，解包以后设置HADOOP_HOME环境变量指向它，然后在PATH里加上HADOOP_HOME\bin，特别注意，hadoopcommon的版本要和spark

疯琴·2024-02-07 06:06

Scala与java

目录Scala简介Scala和java的区别Spark选择Scala的原因Scala：Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala

K. Bob·2024-02-07 06:05

Spark scala如何本地运行

Sparkscala如何本地运行Spark任务调试太费时间啦SparkScala本地运行Spark任务调试太费时间啦ApacheSpark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算

HanhahnaH·2024-02-07 06:03

Zeppelin结合Flink查询hudi数据

目前ApacheZeppelin支持ApacheSpark、ApacheFlink、Python、R、JDBC、

BigDataToAI·2024-02-07 05:38

Apache Zeppelin 整合 Spark 和 Hudi

一环境信息1.1组件版本组件版本Spark3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合Spark参考：ApacheZeppelin一文打尽

大数据AI·2024-02-07 05:03

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了

lixia0417mul2·2024-02-07 05:22

星火故事-2022年04月11日

今天呢，有两个学科借我们班来上公开课。这是件喜事！这说明我们的班集体还是受到老师喜爱的。接下来就让咱们一起来聊一聊。首先是下午第一节公开课：生物公开课，内容是神经系统的组成。

佳书·2024-02-07 04:00

Kuberntes DNS

kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12

zhixingheyi_tian·2024-02-07 03:02

Spark RDD的学习(JAVA)

注：本文是跟着《Spark快速大数据分析》一书学习的笔记式总结，不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是Spark对数据的核心抽象。

啊其11·2024-02-07 02:47

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用

深海suke·2024-02-07 01:34

Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）

文章目录每日一句正能量第3章SparkRDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪，后来者居上

想你依然心痛·2024-02-07 01:53

推荐频道

Spark公开课