spark_core

2024.1.6 Spark_Core 分词处理,RDD持久化,内核调度

目录一.分词处理二.RDD持久化1.使用缓存:2.RDD的checkpoint检查点:3.缓存和checkpoint的区别:三.Spark内核调度1.RDD依赖2.DAG和Stage3.shuffle阶段4.JOB调度流程5.SparkRDD并行度一.分词处理1.创建SparkContext对象2.数据输入3.数据处理4.数据输出5.释放资源说明：发现在数据中，并没有直接的关键词，关键词数据是包含
白白的wj·2024-01-06 23:04

spark_core根据IP地址计算访问日志中每一个归属地的出现的次数

根据IP地址计算访问日志中每一个归属地的出现的次数#根据IP地址计算访问日志中每一个归属地的出现的次数（用累计器实现各个省份的访问次数）##实现object_09_IP{defmain(args:Array[String]):Unit={valsc:SparkContext=SparkUtils.getSparkContext//1.0.1.0|1.0.3.255|16777472|1677823
undo_try·2023-07-18 13:41

大数据基础课第三课 spark_core、Spark_sql&Spark_streaming

spark入门课程目标：了解spark概念知道spark的特点（与hadoop对比）独立实现sparklocal模式的启动1.1spark概述1、什么是spark基于内存的计算引擎，它的计算速度非常快。但是仅仅只涉及到数据的计算，并没有涉及到数据的存储。2、为什么要学习sparkMapReduce框架局限性1，Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据2，任务调度和
办公模板库 素材蛙·2022-07-16 15:28
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他