WordCount

Spark从入门到精通38:Spark Streaming：输入DStream和Receiver详解

在之前的wordcount例子中，lines就是一个输入DStream（JavaReceiverInputDStream），代表了从netcat（nc）服务接收到的数据流。
勇于自信·2023-08-25 13:51

在阿里云Serverless K8S集群上部署Spark任务并连接OSS（详细步骤）

在阿里云ASK集群上部署Spark任务并连接OSS简介ASK是阿里云的一个产品，属于ServerlessKubernetes集群，这次实验是要在ASK集群上运行Spark计算任务（以WordCount为例
Sicilly_琬姗·2023-08-24 21:10

Flink中批处理优化器的作用以及流程调试（一）

以批处理程序中的wordCount为例，调试一下Plan的生成以及对于优化计划OptimizedPlan的转化过程。
北子萌·2023-08-24 11:20

java笔试手写算法面试题大全含答案

publicclassWordCounting{publicstaticvoidmain(String[]args){try(FileReaderfr=newFileReader("a.txt")){intcounter
海清源·2023-08-23 12:00

大数据课程K4——Spark的DAG&&RDD依赖关系

接下来以“WordCount”为例，详细描述这个DAG生成的实现过程
伟雄·2023-08-23 08:15

1.Flink源码编译

目录目录1.1软件安装1.1.1jdk1.1.2maven1.1.3nodejs1.2下载flink源码1.3编译源码1.4idea打开flink源码1.5运行wordcount1.1软件安装软件地址链接
键盘上的艺术家w·2023-08-23 05:07

PySpark安装及WordCount实现（基于Ubuntu）

先盘点一下要安装哪些东西：VMwareubuntu14.04（64位）Java环境（JDK1.8）Hadoop2.7.1Spark2.4.0（Local模式）Pycharm（一）UbuntuVMware和ubuntu14.04（64位）的安装见：在vmware上安装ubuntu14.04（64位）_study_note_mark的博客-CSDN博客安装Ubuntu完成后需要完成一些前期准备工作，包
如何原谅奋力过但无声·2023-08-22 13:37

spark第四课

countByValue数据源中相同的值有多少个,也就是WordCountcountByKey表的是键值对中的key出现了几次,与Value的值无关不推荐collect,因为他是将数据放入内存,但是内存不够大的话
叫我莫言鸭·2023-08-22 06:30

大数据课程K3——Spark的常用案例

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪掌握Spark的常用案例——WordCount；⚪掌握Spark的常用案例——求平均值；⚪掌握Spark的常用案例——求最大值和最小值
伟雄·2023-08-21 10:31

flink使用12-用 table API 实现WordCount

TableAPI是Flink构建在DataSet和DataStreamAPI之上的一套结构化编程接口.本文希望通过一个简单的wordCount的例子首先来体验一下普通的FlinkTable的代码是由哪些部分构成的
CheckChe·2023-08-21 07:49

Apache Flink从入门到放弃——快速上手（Java版）（二）

目录1.环境准备和创建项目1.1软件准备及版本1.2IDEA下创建Java项目FlinkTutorial2.DataSetAPI批处理实现wordcount3.DataSetAPIVSDataStreamAPI4
╭⌒若隐_RowYet——大数据·2023-08-20 20:01

SparkCore-RDD编程

SparkCore-RDD编程操作0.大纲Spark程序的执行过程RDD的操作RDD的转换操作共享变量高级排序1.Spark程序执行过程1.1.WordCount案例程序的执行过程1.2.Spark程序执行流程
wuyangcc·2023-08-19 23:47

Day67_Spark(二）Spark RDD操作

课程大纲课程内容学习效果掌握目标Spark执行流程Wordcount执行流程掌握Spark作业提交流程掌握RDD操作RDD初始化掌握RDD操作掌握变量掌握排序高级排序掌握一、Spark执行流程在上一讲中
dogedong·2023-08-19 23:46

PySpark-RDD编程入门

2.2.2获取RDD分区数2.2.3读取文件创建2.3RDD算子2.4常用Transformation算子2.4.1map算子2.4.2flatMap算子2.4.3reduceByKey算子2.4.4WordCount
白莲居仙·2023-08-19 17:17

PySpark-核心编程

2.2.2获取RDD分区数2.2.3读取文件创建2.3RDD算子2.4常用Transformation算子2.4.1map算子2.4.2flatMap算子2.4.3reduceByKey算子2.4.4WordCount
白莲居仙·2023-08-19 17:44

Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$.refArrayOps

使用IDEA工具运行SparkStreaming的WordCount时，运行报错，报错信息如下:Exceptioninthread"main"java.lang.NoSuchMethodError:scala.Predef
UserOrz·2023-08-19 09:28

Flink学习笔记【巨详细！】（三）

第5章DataStreamAPI（基础篇）我们在第2章介绍Flink快速上手时，曾编写过一个简单的词频统计（WordCount）程序，相信读者已经对Flink的编程方式有了基本的认识。
水花还在漂移·2023-08-18 06:15

flink使用16-正确打包Flink程序并使用Cli提交任务

本文的计划是使用正确的maven插件打包当前教程代码库batch模块下的WordCount代码，并通过命令行的方式提交到Flink来启动任务。
CheckChe·2023-08-17 08:06

实战：使用Docker部署Hadoop集群

文章目录Hadoop简介Hadoop优势Hadoop应用场景docker与docker-compose安装Hadoop集群搭建环境变量docker-compose环境文件树结构编排并运行容器运行wordcount
小沈同学呀·2023-08-17 03:32

Spark：StructStreaming

目录01：上篇回顾02：本篇内容03：SparkStreaming的缺点04：StructStreaming的设计05：官方示例WordCount06：自定义开发WordCount实现07：Source
多么哇塞的陈哇塞·2023-08-14 19:36

03-第一个Spark程序WordCount

Scala版1）创建项目增加Scala插件Spark由Scala语言开发的，咱们当前使用的Spark版本为3.2.0，默认采用的Scala编译版本为2.13，所以后续开发时。我们依然采用这个版本。开发前请保证IDEA开发工具中含有Scala开发插件创建Maven工程创建MavenProject工程，GAV如下：GroupIdArtifactIdVersioncom.clear.sparkbigda
书香恋仁心·2023-08-14 05:06

IDEA中查看RDD.scala源码方法

一、问题场景我在IDEA中学习运行Spark的样例程序WordCount时，想看下RDD的源码，结果跳转过去是RDD.class，而视频教程里跳转过去是RDD.scala，明明maven的依赖配置一模一样
程光CS·2023-08-12 15:54

ERROR:Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

问题场景我在学习尚硅谷的Hadoop课程的群起集群（p31）这一节时，在配置好core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml这四个文件后，启动集群并运行wordcount
程光CS·2023-08-12 15:24

RDD -- flatmap

String]):Unit={//设置log级别Logger.getLogger("org").setLevel(Level.WARN)valconf=newSparkConf().setAppName("WordCountDemo
游九河·2023-08-12 12:50

2019-05-15

1.eclipse和hadoop连起来了用的是桥接模式但是wordcount远程不成功2.界面想用mvc的模式现在已有一个bootstrap的前端界面但是前端和后端怎么连接怎么和数据库连接起来显示3.倒计时
0be47bf15d8d·2023-08-11 05:57

【IDEA+Spark Streaming 3.4.1+Dstream监控套接字流统计WordCount保存至MySQL8】

【IDEA+SparkStreaming3.4.1+Dstream监控套接字流统计WordCount保存至MySQL8】把DStream写入到MySQL数据库中Spark3.4.1MySQL8.0.30sbt1.9.2
pblh123·2023-08-08 12:28

2、Spark Streaming编码实践

StreamingContext2，从StreamingContext中创建一个数据对象3，对数据对象进行Transformations操作4，输出结果5，开始和停止利用SparkStreaming实现WordCount
Wzideng·2023-08-07 13:51

Hadoop学习指南：探索大数据时代的重要组成——Hadoop运行模式(上）

Hadoop运行模式前言Hadoop运行模式1本地运行模式（官方WordCount）2完全分布式运行模式（开发重点）2.1虚拟机准备2.2编写集群分发脚本xsync1）scp（securecopy）安全拷贝
老虎也淘气·2023-08-05 13:38

六万字！Spark Core、Spark SQL、Spark Streaming一锅端

RDD依赖关系DAG分区Shuffle过程RDD创建方式算子常用的转换算子(Scala版)常用的转换算子(Java版)常用的动作算子(Scala)RDD持久化RDD共享变量RDD分区设计数据倾斜示例：WordCount
菜鸟也学大数据·2023-08-05 02:16

IDEA上面书写wordcount的Scala文件具体操作

的项目简单介绍_intellij创建scala目录系列文章目录1、编写Scala程序2、更换pom.xml文件3、更新Maven的依赖文件4、执行代码即可总结前言本文主要在上述文章的基础上编辑和创建一个WordCount
张小鱼༒·2023-08-04 11:06

IDEA项目实践——创建Java项目以及创建Maven项目案例、使用数据库连接池创建项目简介

系列文章目录IDEA上面书写wordcount的Scala文件具体操作IDEA创建项目的操作步骤以及在虚拟机里面创建Scala的项目简单介绍目录系列文章目录前言一准备工作1.1安装Maven1.1.1Maven
张小鱼༒·2023-08-04 11:34

Spark RDD操作之ReduceByKey

一、reduceByKey作用reduceByKey将RDD中所有K,V对中，K值相同的V进行合并，而这个合并，仅仅根据用户传入的函数来进行，下面是wordcount的例子。
dong_lxkm·2023-08-03 18:45

Spark——core——4

spark-core实战案例课程目标：独立实现SparkRDD的wordcount案例独立实现sparkRDD的PVUV统计案例4.0Pycharm编写spark代码环境配置准备pycharm环境1，对接到
Wzideng·2023-08-02 09:57

spark入门

的单机模式及测试1.3.1Spark在Linux上Anaconda部署Python1.3.2Spark本地模式部署1.3.3SparkPythonShell单机部署1.3.4.Map算子实现分布式转换1.3.5WordCount
蝉43301·2023-08-01 20:30

我的第一个Flink程序 - 三种WordCount方式

水善利万物而不争，处众人之所恶，故几于道目录一、Flink批处理二、Flink流处理-有界流三、Flink流处理-无界流一、Flink批处理publicclassFlink01_Batch_WordCount
阿年、嗯啊·2023-07-31 08:16

黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令

MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交wordcount
蓝净云·2023-07-31 07:04

wordcount

software\spark-2.2.0-bin-hadoop2.6\python\pyspark目标目录：D:\software\Anaconda3\Lib\site-packages安装py4j新建wordcount
一只特立独行的猪1991·2023-07-30 21:31

spark-core 实战案例

课程目标：独立实现SparkRDD的wordcount案例独立实现sparkRDD的PVUV统计案例4.0Pycharm编写spark代码环境配置准备pycharm环境1，对接到centos服务器，下载环境
Wzideng·2023-07-28 06:05

环境准备（05）MapReduce编程模型&WordCount案例

MapReduce编程模型inputmap&reduceoutput实例代码importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.In
乌鲁木齐001号程序员·2023-07-26 14:03

第 7 章 集合-----Scala集合继承图

7.1.1不可变集合继承图7.1.2可变集合继承图7.2.3不可变数组与可变数组的转换7.7.6复杂WordCount案例1）方式一objectTestWordCount{defmain(args:Array
Wzideng·2023-07-22 15:31

解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/ap

outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，之前的wordcountdemo
Lcreator·2023-07-22 00:06

MapReduce编程基础

1.WordCount示例及MapReduce程序框架2.MapReduce程序执行流程3.深入学习MapReduce编程（1）4.参考资料及代码下载.WordCount示例及MapReduce程序框架首先通过一个简单的程序来实际运行一个
weixin_30455661·2023-07-21 00:58

'gbk' codec can't decode byte 0xae 解决方法

gbk'codeccan'tdecodebyte0xaeinposition32:illegalmultibytesequenceSource=C:\Users\xzy56\source\repos\wordcount.pyStackTrace
Andrew@csdn·2023-07-19 23:51

Scala函数综合练习 - WordCount

水善利万物而不争，处众人之所恶，故几于道目录一、思路分析及步骤详解二、完整程序一、思路分析及步骤详解对List中的单词进行统计，并取计数排名前三的结果。要求使用Scala中的函数。期望输出结果：List((Hello,4),(Scala,3),(Hbase,2))待处理集合：valstringList=List("HelloScalaHbasekafka","HelloScalaHbase","H
阿年、嗯啊·2023-07-19 17:33

【Flink】详解Flink任务提交流程

启动一个任务通常我们会使用bin/flinkrun-tyarn-per-job-ccom.xxx.xxx.WordCount/WordCount.jar方式启动任务；我们看一下flink文件中到底做了什么
小猪猪家的大猪猪·2023-07-19 13:03

Yarn调度MapReduce

当我们执行这条命令时：hadoopjarhadoop-mapreduce-examples-2.7.3.jarwordcount/input/outputhadoop为我们做了那些事情？
忆华灯纵博·2023-07-18 21:11

Spark编程模型

使用Scala语言在Spark上编写WordCount程序，主要代码只需要三行。valtextFile=sc.textFile("hdfs://...")valcounts=textFil
do_young·2023-07-17 10:41

实时Flink1.14.4 doit

每个算子都可以成为一个独立的任务入门程序WordCount基本Source算子Kafka只有生产者有事务消费者没有事务机制。Flink批
wqy19941008·2023-07-17 06:17

Scala 集合常用函数

常用方法2、案例示例二、衍生集合1、衍生集合常用方法操作2、案例示例三、集合简单计算函数1、常用计算操作2、案例示例四、集合计算高级函数1、语义说明2、案例示例五、应用案例应用案例(1)-合并Map普通WordCount
气质&末雨·2023-07-16 10:28

Hexo添加字数统计和阅读统计

Hexo博客添加字数统计和阅读统计安装hexo-wordcount插件npmi--savehexo-wordcount成功会在根目录下的package.json中多出"hexo-wordcount":"
天天152·2023-07-16 00:49
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他