Spark公开课第12页

走南闯北

和于永正老师不一样，很少甚至没有走南闯北的外出上过公开课。今天拜读于老师的“走南闯北”一文，真是满满的干货，受益匪浅！聆听于老师的教诲，今后上公开课努力做到以下几点：一、外出上课要吃透教材和学生。

南风入弦souther·2024-02-05 13:16

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread

学习BigData·2024-02-05 13:01

《修心日记》第四十四天

生活中，我们会遇到很多人，而兜兜转转能让我们信任的人却很少；所以，一直都觉得很庆幸，通过偶然的公开课，接触到"止定文化"这个平台，认识了好多位正能量的同学！

李甫贵水肤兰全国市场总监·2024-02-05 12:46

【SparkML实践7】特征选择器FeatureSelector

本节介绍了用于处理特征的算法，大致可以分为以下几组：提取（Extraction）：从“原始”数据中提取特征。转换（Transformation）：缩放、转换或修改特征。选择（Selection）：从更大的特征集中选择一个子集。局部敏感哈希（LocalitySensitiveHashing,LSH）：这类算法结合了特征转换的方面与其他算法。FeatureSelectorsVectorSlicerVe

周润发的弟弟·2024-02-05 12:41

Spark 依赖包加载方式

1Spark依赖包来源我们知道Sparkapplication运行加载依赖有三个地方：systemClasspath：Spark安装时候提供的依赖包，${SPARK_HOME}/jars下的包。

大数据AI·2024-02-05 12:11

使用PySpark处理DataFrame以拆分数组列

问题：用pyspark处理df1,df1有三列，第一列是商品pid,第二列是商品name,第三列是候选标品cid_list(有多个cid),将df1中的cid_list拆开,转换成一个商品id和name

samoyan·2024-02-05 12:41

Spark的JVM调优

目录导致gc因素内存不充足的时候，出现的问题降低cache操作的内存占比调节executor堆外内存与连接等待时长调节executor堆外内存调节连接等待时长SparkJVM参数优化设置Sparkstreaming

王一1995·2024-02-05 10:55

Hadoop3.x单机安装教程

以最小化的成本学习和测试Hadoop；搭建基于Hadoop的上层应用，比如单机Spark环境需要先拥有单机的Hadoop；如果需要搭建分布式集群环境的Hadoop环境，请参考另外一篇：Hadoop3.x

文景大大·2024-02-05 10:06

[qtp581715564-18] ERROR spark.http.matching.GeneralError - org.neo4j.driver.exceptions.ResultConsum

今天使用java连接neo4j执行查询的时候遇到了这个问题，报错如下：[qtp581715564-18]ERRORspark.http.matching.GeneralError-org.neo4j.driver.exceptions.ResultConsumedException

路过Coder·2024-02-05 09:36

趣头条Spark Remote Shuffle Service最佳实践

1.业务场景与现状趣头条是一家依赖大数据的科技公司，在2018-2019年经历了业务的高速发展，主App和其他创新App的日活增加了10倍以上，相应的大数据系统也从最初的100台机器增加到了1000台以上规模。多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv

阿里云技术·2024-02-05 09:29

SparkSql读取外部Hql文件的公共类开发

SparkSql读取外部Hql文件的公共类开发SparkSQL与Hive的区别简介一、什么是SparkSQL？

岁月的眸·2024-02-05 09:27

在 CDH 中调优 Apache Hive on Spark

Spark上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在Spark上运行Hive不需要更改用户查询。

海阔天空&沫语·2024-02-05 09:27

Spark Shuffle Service简介与测试

Spark管理资源有两种方式：静态资源分配和动态资源分配。静态资源分配：spark提交任务前，指定固定的资源，在spark运行任务过程中，一直占用这些资源不释放，job运行结束后才会释放。

大数据AI·2024-02-05 09:26

CDH6.3.2 多 Spark 版本共存

一部署Spark客户端1.1部署spark3客户端tar-zxvfspark-3.3.1-bin-3.0.0-cdh6.3.2.tgz-C/opt/cloudera/parcels/CDH/libcd/

大数据AI·2024-02-05 09:56

大数据-Spark调优（一）

海恋北斗星·2024-02-05 09:29

大数据笔记--Spark（第五篇）

目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量

是小先生·2024-02-05 09:59

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1

王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算

monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-05 08:54

Windows系统运行pyspark报错：Py4JJavaError

运行pyspark时出现以下错误---------------------------------------------------------------------------Py4JJavaErrorTraceback

赫桃·2024-02-05 07:25

pyspark报错TypeError: an integer is required (got type bytes)

安装配置pyspark，计算时报错如下：UsingSpark'sdefaultlog4jprofile:org/apache/spark/log4j-defaults.propertiesSettingdefaultloglevelto"WARN

helluy·2024-02-05 07:23

pyspark报错：ValueError: object of IntegerType out of range

背景：pyspark任务中，调用了udf处理数据，并使用了链接:pyspark并行调用udf函数的方式，报错如上。但是在python中很少遇到整型越界问题。

leap_ruo·2024-02-05 07:53

Python调用pyspark报错整理

Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考大数据单机学习环境搭建(8)Linux单节点Anaconda安装和Pycharm连接Pycharm执行的脚本执行如下pyspark_model.py

赫加青空·2024-02-05 07:52

即速应用发布小程序 2018 年行业报告：总量或将超 500 万，用户预计达 9 亿

摘要日活用户超1.5亿、开放40+入口、……上线半年的百度智能小程序在12月的首届公开课上证明了它的起跑速度。即将开讲的微信公开课也将预告微信小程序接下来的战略布局。

压你头发·2024-02-05 07:18

基于hadoop+spark的大规模日志的一种处理方案

而且CDN上的访问日志一般都非常大，需要用大数据处理架构来进行处理，本文描述了一种利用hadoop+spark来处理大量CDN日志的方法，当然本方

码农心语·2024-02-05 06:36

Flink实时流计算入门系列——广播变量使用

Flink和Spark一样，都有支持广播变量这定义。广播变量，可以理解成为日常的广播，是一个公共的变量。广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节

晨冉1688·2024-02-05 06:19

理想课堂初认知(3)-理想课堂三重境界有感

一直以来，不论是上公开课，还是平时的课，都不敢挑战古诗，真是教学20年来，从未涉足。可是新教育实验关于古诗的教学，刷新了我的认知，原来古诗教学还可以如此有滋有味。

杜香开花2008·2024-02-05 03:54

学习总结

拉访根据每个员工数据辅助分析后制定每日到访目标4：制定业绩目标团队目标+个人目标（结合时间情况跳一跳能完成）5：监督反馈游戏奖励和惩罚机制设定6：每日复盘笔记（会员档案）+（每人工作安排和次日计划+个人设计奖励惩罚机制）7：会员活动公开课

閞俪詳·2024-02-05 01:24

【每日开心打卡• Day 3】

2优化了后天去百丽公司分享的公开课课件。3母亲今天吃了3次饭。给她熬的小米百合红枣粥。4小吴一大早来接母亲去医院检查，帮助缴费。谢谢老公安排。5女儿今天早上发脾气，忍住当时没说她。

杨荷有爱倾听·2024-02-05 00:15

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF

Yagami_·2024-02-05 00:23

spark-submit 任务提交过程分析

https://blog.csdn.net/u013332124/article/details/91456422一、spark-submit脚本分析spark-submit的脚本内容很简单:#如果没设置

疯狂的哈丘·2024-02-04 22:08

不要666的老师，不是好主播！

像准备公开课一样，头一天晚上反反复复整了好几遍，还绞尽脑汁地搭配小视频。总之，最后睡的时候，我真的是尽力了。睡之前又反复确定闹钟，手机压根儿没敢调静音。

阿拉小仙儿·2024-02-04 18:34

运行环境jre版本和jar包编译版本不一致导致：Unsupported major.minor version 52.0

问题我在本地使用IntellijIdea打包了一个spark的程序jar包，放到linux集群上运行，报错信息是：Unsupportedmajor.minorversion52.0环境本机系统->windows10

stone_zhu·2024-02-04 18:51

大梦初醒

年后很忙，先是奶奶住院去世，然后是公开课，然后是一模，这中间还穿插着体育模拟口语模拟周六补课，出去学习。反正是不得闲。

诗语人生·2024-02-04 18:10

今天察觉自己，感悟不一样！20221128周一

昨天去参加线下周震老师的公开课，让我一下子打开了我的思维，2个多小时的课，周老师一口水没喝，而且一直是站着给我们讲课，这个真的是太厉害了。

憬怡心里学创富·2024-02-04 14:26

一腔热血洒教育

我看见过许许多多的教师为了一节公开课或一节录相课而四处奔走呼告，也看见过许许多多的教师为了一项活动而大张旗鼓的宣传，还看见过许许多多的教师为了一项荣誉而互不相让，但今天我要说的是我看见过这样一组乡村教师

何冬娟·2024-02-04 14:44

win10环境下通过anaconda安装pyspark

解决方法本来应该可以在anaconda上直接搜索安装，但是非常慢，而且还有错误，说python3.8无法和和pyspark3.1.2兼容，需要安装python3.8之前的版本才行。

零下2度·2024-02-04 14:36

“007不写就出局”公开课感悟：人至践则无敌

齐帆齐微课打卡第181篇1568字，累计266290字这个月21-27号在出差途中把007不出局的公开课给听完。

徐小仙爱修炼·2024-02-04 12:38

读《数字时代的学与教》第二模块随感

这让我联想到去年中山数学教研组开展了几节应用Hiteach软件公开课，让我第一次

中山李芳·2024-02-04 12:54

大数据技术未来发展前景及趋势分析

Spark:Spark是一个兼容Hadoop数据源的内存数据处理平台，运行速度相比于HadoopMapReduce更快。

丨程序之道丨·2024-02-04 12:54

最有职责的老师：学生家里死人要扣分，死四个直接重修

老师的不近人情虽然寒心，但也算不上新闻，可这位老师竟然在全年级的公开课上把他当例子强调纪律。

疑无路·2024-02-04 12:35

大数据入门-大数据技术概述(二)

目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务：Zookeeper2.分布式资源管理器：Yarn3.计算引擎：Spark4.

水坚石青·2024-02-04 11:11

男人需要被尊重，女人需要被关注

公开课好像听了一场爆笑的段子课；干货一波接着一波

心心向阳Glenna·2024-02-04 10:17

一本书，一门课O_o《公正》公正！

《公正》是在哈佛大学同名公开课的内容基础上改写出版的。想了解这本书，就得先来了解一下这门迄今为止最受欢迎的哈佛公开课。讲这门课的老师是美国著名的政治哲学家迈克尔·桑德尔，他是哈佛大学的明星教授。

寻世良方Cc_Sandy拎0·2024-02-04 08:50

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5

爬完虫变成龙·2024-02-04 07:52

2022.4.3每周复盘

2022.4.3每周复盘【做了什么】1.上课，改作业，上课后服务两次，上公开课，听课，评课2.户外慢跑每次3公里*2天3.上书画课+点评反馈4.写硬笔书法作品（说是延迟交稿继续再写写）5.假期回家一天【

C玉莹·2024-02-04 07:37

Fink CDC数据同步（三）Flink集成Hive

利用Flink来读写Hive的表Flink打通了与Hive的集成，如同使用SparkSQL或者Impala操作Hive中的数据一样，我们可以使用Flink直接读写Hive中的表。

苡~·2024-02-04 07:20

如何上好一堂语文课？

结合老师的课和我之前聆听了一些优秀老师的公开课，悟得

泸水143余晓杭·2024-02-04 06:09

子雨大数据之Spark入门教程---Spark入门：RDD的设计与运行原理1.3

Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务。

千寻～·2024-02-04 06:38

SparkException: A master URL必须在配置中设置

问题描述当你遇到org.apache.spark.SparkException:AmasterURLmustbesetinyourconfiguration错误时，这意味着你的Spark应用程序尝试启动时没有找到有效的

小湘西·2024-02-04 06:07

推荐频道

Spark公开课