Spark公开课第5页

大数据开发（Spark面试真题-卷一）

大数据开发（Spark面试真题）1、什么是SparkStreaming？简要描述其工作原理。2、什么是Spark内存管理机制？请解释其中的主要概念，并说明其作用。

Key-Key·2024-03-13 07:58

基于HBase和Spark构建企业级数据处理平台

摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。

weixin_34071713·2024-03-12 22:44

lightGBM专题4:pyspark平台下lightgbm模型保存

之前的文章（pysparklightGBM1和pysparklightGBM2）介绍了pyspark下lightGBM算法的实现，本文将重点介绍下如何保存训练好的模型，直接上代码：frompyspark.sqlimportSparkSessionfrompyspark.ml.featureimportStringIndexer

I_belong_to_jesus·2024-03-12 12:30

大数据开发（Spark面试真题-卷六）

大数据开发（Spark面试真题）1、SparkHashPartitioner和RangePartitioner的实现？

Key-Key·2024-03-12 02:16

大数据开发（Hadoop面试真题-卷二）

6、Spark为什么比MapReduce更快？7、详细描述一

Key-Key·2024-03-12 02:15

2022-02-08《远行到时间尽头》——永不枯竭的想象力

这很像学校里面教师上公开课的感觉，一名教师上课，上完之后，其他的教师和专家评委进行评课，这样可以让所有的人对这节公开课有更加深入

柏拉图的背叛·2024-03-11 22:35

0216致家人

赵诚彬·2024-03-11 21:57

Spark从入门到精通29:Spark SQL：工作原理剖析以及性能优化

SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面，例如MySQL、Oracle等，包括现在大数据领域的数据仓库，例如Hive。

勇于自信·2024-03-11 00:20

今日内心暖暖

这里不是在写今天公开课后有怎样的感觉，而是想先说说今天公开课前有怎样的经历。敲定最后的教案已经是昨晚的9点零5分，给张华老师发了短信，麻烦他今早第一节课前帮忙打印教案。

姗姗心语·2024-03-10 03:23

大数据开发（Hadoop面试真题-卷九）

3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe

Key-Key·2024-03-09 10:06

Spark Streaming（二）：DStream数据源

1、输入DStream和Receiver输入（Receiver）DStream代表了来自数据源的输入数据流，在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。除了文件数据流之外，所有的输入DStream都会绑定一个Receiver对象，该对象是一个关键的组件，用来从数据源接收数

雪飘千里·2024-03-09 01:28

VBA窗体控件练习2

前几天夜里在听网易公开课app里的TED演讲中，听到有关学习类型方面的描述。

猛犸象和剑齿虎·2024-03-08 21:31

Spark常见问题汇总

注意：如果Driver写好了代码，eclipse或者程序上传后，没有开始处理数据，或者快速结束任务，也没有在控制台中打印错误，那么请进入spark的web页面，查看一下你的任务，找到每个分区日志的stderr

midNightParis·2024-03-08 03:25

SparkShop开源可商用，匹配小程序H5和PC端带分销功能！

SparkShop(星火商城)B2C商城是基于thinkphp6+elementui的开源免费可商用的高性能商城系统；包含小程序商城、H5商城、公众号商城、PC商城、App，支持页面diy、秒杀、优惠券

行动之上·2024-03-05 15:09

智联社保纳税公开课

2018年11月16号下午，智联组织关于最新社保、纳税实务的培训。前半场主要介绍社保的最新变化，后半场讲税务变化及税务筹划。图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自App图片发自A

昕妮·2024-03-05 15:43

怎么把“上公开课”理解为“为了表现呢？

她是这样说的：我不需要上公开课，我不想像其他老师那样表现自己，我也不想听谁的公开课，我只想安安静静地上自己的课。我就纳闷她为什么把“上公开课”理解为“为了表现”呢？首先，我想从其个人角度来看。

七乡师者·2024-03-04 22:19

【Hadoop】在spark读取clickhouse中数据

clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties

方大刚233·2024-03-03 06:54

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢

不想起的昵称·2024-03-02 15:03

hive join中出现的数据暴增（数据重复）

我们来看一下案例：spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid

不想起的昵称·2024-03-02 15:03

hive四种常见的join

1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname

不想起的昵称·2024-03-02 15:33

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop

万家林·2024-02-29 09:47

我为韩军老师的错点赞!

在全国上公开课、讲学几百场。你一定认为韩老师上课不会出错？但是，在六阶作文研讨会上他讲的《南来北往》阅读课就出了好多"错"。然而，我要为他出的"错"点赞！韩老师的"错

待到山花烂漫666·2024-02-28 13:38

在 Spark 数据导入中的一些实践细节

best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱

NebulaGraph·2024-02-27 07:53

Spark开发_简单DataFrame判空赋值逻辑

valtable1="实时转存数据"valtable2="历史存hdf数据"valdfin1=inputRDD(table1).asInstanceOf[org.apache.spark.sql.DataFrame

Matrix70·2024-02-26 22:06

Spark SQL编程指南

SparkSQL编程指南SparkSQL是用于结构化数据处理的一个模块。同SparkRDD不同地方在于SparkSQL的API可以给Spark计算引擎提供更多地信息，例如:数据结构、计算算子等。

<>=·2024-02-26 05:46

教学能手公开课随想

周三听了两位教学能手的公开课，一节是化学钠，一节是政治课经济生活，具体内容听不大懂本来也没打算能听懂，就是想看看学校隆重推出的这些优秀教师的课堂是什么流程，他们如何调动学生学习积极性，引导学生参与思考的

婴宁嫣然·2024-02-23 20:41

放手课堂智慧绽放

那是一次即将上市级公开课的凌晨，我从睡梦中惊醒陷，到底怎样才能把握好学生分享的时间，又不至于偏题？到底怎样才能让学生的思

江畔桃圓·2024-02-20 20:54

Pandas将单列XML格式数据转化为字典再拆分成多列列表拆分成多列

单列XML扩展成多列遇到了个需求是需要把XML格式的数据拆分成多列的一个需求，本来需要使用spark进行处理的，但是没想到什么优雅的解决方案，所以打算先使用pandas找找感觉。样例数据如下所示。

aoyi1337·2024-02-20 18:22

D1基于当下自己感受090702

刚结束一场身心灵的公开课。轻松、愉悦、释然是当下的感受。回顾这么些年，自己从没好好停下来。以致于都快忘了自己是谁。父母练习的那一part，自认为没有情绪，挂碍。原来内心深处还是有放不下，有抱怨。

范琳琳123·2024-02-20 17:42

2022-04-27

听了特级教师程翔的一节公开课，为他课堂的真实而喝彩。这是一节文言文新授课，讲的是王安石的《伤仲永》。课堂上，程翔老师安排了这样几个环节：“初读课文一自主学习一合作交流一质疑释疑一翻译课文一提炼主旨”。

暖阳_ab3b·2024-02-20 17:11

航班数据预测与分析

数据清洗：数据存储到HDFS：使用pyspark对数据进行分析：//数据导入frompysparkimportSparkContextfrompyspark.sqlimportSQLContextsc=

林坰·2024-02-20 16:15

再聊阴影裁剪与高性能视锥剔除

【USparkle专栏】如果你深怀绝技，爱“搞点研究”，乐于分享也博采众长，我们期待你的加入，让智慧的火花碰撞交织，让知识的传递生生不息！

·2024-02-20 16:50

spark为什么比mapreduce快？

spark为什么比mapreduce快？

·2024-02-20 16:30

[CDH] Spark 属性、内存、CPU相关知识梳理

version：2.4.0-cdh6.3.0文章目录sparkproperties常用配置sparktasksparktask使用的cpu核数sparkarchitecturesparkmemorysparkonyarn

枪枪枪·2024-02-20 15:24

spark CTAS nuion all （union all的个数很多）导致超过spark.driver.maxResultSize配置（2G）

背景该sql运行在spark版本3.1.2下的thriftserver下现象在运行包含多个union的sparksql的时候报错（该sql包含了50多个uinon，且每个union字查询中会包含join

鸿乃江边鸟·2024-02-20 13:29

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复

不二人生·2024-02-20 12:59

TechDay公开课实录:PaddlePaddle车牌识别实战和心得

2019年1月5日百度深度学习线下技术公开课PaddlePaddleTechDay第一期演讲则邀请了百度认证布道师胡晓曼老师分享基于PaddlePaddle最新版

PaddleWeekly·2024-02-20 11:03

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

Hive切换引擎(MR、Tez、Spark)

Hive切换引擎(MR、Tez、Spark)1.MapReduce计算引擎(默认)sethive.execution.engine=mr;2.Tez引擎sethive.execution.engine=

落空空。·2024-02-20 10:54

周末|《良知的力量》公开课中，江波老师那些让人醍醐灌顶的句子，句句富有哲理

01立志者，有三命生命：心存感恩，尊重生命天命：尽心知性，敬畏天命使命：不忘初心，牢记使命02良知人生三立立德：好品德泽天下立功：好事业济天下立言：好口才赢天下03好口才的三个层次敢讲--战胜自我，控制紧张，基本流畅能讲--主题明确，结构清晰，感染力强会讲--独特风格，塑造品牌，创造价值04何为立志立志，是立命的根本立志，是立德的基础立志，是立功的源泉立志，是立言的起点05良知的四大学习目标好好生

致良知書院·2024-02-20 08:05

jmeter3.x以上版本安装插件的方法

点击链接加入QQ群522720170（免费公开课、视频应有尽有）：https://jq.qq.com/?

测试帮日记·2024-02-20 08:32

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark

kikiki5·2024-02-20 07:17

php实现讯飞星火大模型3.5

星火大模型-科大讯飞2.修改对应php文件中的key等可以参考文档说明，以及下载demo星火认知大模型WebAPI文档|讯飞开放平台文档中心其中appid等都需要修改还有uid，3.5模型wss://spark-ap

随风万里无云·2024-02-20 07:38

2024.2.19 阿里云Flink

一、Flink基本介绍Spark底层是微批处理,Flink底层则是实时流计算流式计算特点:数据是源源不断产生,两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions

白白的wj·2024-02-20 07:05

Flink Catalog 解读与同步 Hudi 表元数据的最佳实践

在当前的大数据格局中，Spark/Hive/Flink是最为主流的ETL或Strea

　Laurence·2024-02-20 06:28

2019-01-14 皇城礼制下的胡同文化——重读《胡同文化》

第一次接触《胡同文化》是十几年前，那时刚刚工作，我来DG参加教研活动，听的公开课就是《胡同文化》，由费执教。记得当时小费姐姐领着学生细品文中京味十足的句子，课堂颇有韵味。

守夜乌丫·2024-02-20 06:47

微信是什么做什么怎么做

2019年1月15日，微信之父张小龙在微信公开课上阐述了微信的价值观，小程序是什么，以及微信的未来之路。今天我在这里复述总结一下，因为他关系到每个人。

德罗巴007_592·2024-02-20 06:42

面试系列之《Spark》（持续更新...）

stage：一个job任务中从后往前划分，分区间每产生了shuffle也就是宽依赖则划分为一个stage，stage这体现了spark的pipeline思想，即数据在内存中尽可能的往后多计算，最后落盘，

atwdy·2024-02-20 06:07

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。

这次靠你了·2024-02-20 05:26

推荐频道

Spark公开课