E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
WordCount
Spark从入门到精通38:Spark Streaming:输入DStream和Receiver详解
在之前的
wordcount
例子中,lines就是一个输入DStream(JavaReceiverInputDStream),代表了从netcat(nc)服务接收到的数据流。
勇于自信
·
2023-08-25 13:51
在阿里云Serverless K8S集群上部署Spark任务并连接OSS(详细步骤)
在阿里云ASK集群上部署Spark任务并连接OSS简介ASK是阿里云的一个产品,属于ServerlessKubernetes集群,这次实验是要在ASK集群上运行Spark计算任务(以
WordCount
为例
Sicilly_琬姗
·
2023-08-24 21:10
云计算
大数据
spark
阿里云
serverless
oss
Flink中批处理优化器的作用以及流程调试(一)
以批处理程序中的
wordCount
为例,调试一下Plan的生成以及对于优化计划OptimizedPlan的转化过程。
北子萌
·
2023-08-24 11:20
java笔试手写算法面试题大全含答案
publicclass
WordCount
ing{publicstaticvoidmain(String[]args){try(FileReaderfr=newFileReader("a.txt")){intcounter
海清源
·
2023-08-23 12:00
java
java
算法
开发语言
大数据课程K4——Spark的DAG&&RDD依赖关系
接下来以“
WordCount
”为例,详细描述这个DAG生成的实现过程
伟雄
·
2023-08-23 08:15
大数据
spark
分布式
1.Flink源码编译
目录目录1.1软件安装1.1.1jdk1.1.2maven1.1.3nodejs1.2下载flink源码1.3编译源码1.4idea打开flink源码1.5运行
wordcount
1.1软件安装软件地址链接
键盘上的艺术家w
·
2023-08-23 05:07
#
从0到1阅读Flink源码
flink
大数据
PySpark安装及
WordCount
实现(基于Ubuntu)
先盘点一下要安装哪些东西:VMwareubuntu14.04(64位)Java环境(JDK1.8)Hadoop2.7.1Spark2.4.0(Local模式)Pycharm(一)UbuntuVMware和ubuntu14.04(64位)的安装见:在vmware上安装ubuntu14.04(64位)_study_note_mark的博客-CSDN博客安装Ubuntu完成后需要完成一些前期准备工作,包
如何原谅奋力过但无声
·
2023-08-22 13:37
大数据组件
hadoop
spark
hdfs
spark第四课
countByValue数据源中相同的值有多少个,也就是
WordCount
countByKey表的是键值对中的key出现了几次,与Value的值无关不推荐collect,因为他是将数据放入内存,但是内存不够大的话
叫我莫言鸭
·
2023-08-22 06:30
大数据
Spark
spark
大数据
分布式
大数据课程K3——Spark的常用案例
文章作者邮箱:
[email protected]
地址:广东惠州▲本章节目的⚪掌握Spark的常用案例——
WordCount
;⚪掌握Spark的常用案例——求平均值;⚪掌握Spark的常用案例——求最大值和最小值
伟雄
·
2023-08-21 10:31
大数据
spark
分布式
flink使用12-用 table API 实现
WordCount
TableAPI是Flink构建在DataSet和DataStreamAPI之上的一套结构化编程接口.本文希望通过一个简单的
wordCount
的例子首先来体验一下普通的FlinkTable的代码是由哪些部分构成的
CheckChe
·
2023-08-21 07:49
Apache Flink从入门到放弃——快速上手(Java版)(二)
目录1.环境准备和创建项目1.1软件准备及版本1.2IDEA下创建Java项目FlinkTutorial2.DataSetAPI批处理实现
wordcount
3.DataSetAPIVSDataStreamAPI4
╭⌒若隐_RowYet——大数据
·
2023-08-20 20:01
Apache
Flink
java
apache
flink
SparkCore-RDD编程
SparkCore-RDD编程操作0.大纲Spark程序的执行过程RDD的操作RDD的转换操作共享变量高级排序1.Spark程序执行过程1.1.
WordCount
案例程序的执行过程1.2.Spark程序执行流程
wuyangcc
·
2023-08-19 23:47
Spark
大数据
spark
Day67_Spark(二)Spark RDD操作
课程大纲课程内容学习效果掌握目标Spark执行流程
Wordcount
执行流程掌握Spark作业提交流程掌握RDD操作RDD初始化掌握RDD操作掌握变量掌握排序高级排序掌握一、Spark执行流程在上一讲中
dogedong
·
2023-08-19 23:46
#
spark
scala
big
data
PySpark-RDD编程入门
2.2.2获取RDD分区数2.2.3读取文件创建2.3RDD算子2.4常用Transformation算子2.4.1map算子2.4.2flatMap算子2.4.3reduceByKey算子2.4.4
WordCount
白莲居仙
·
2023-08-19 17:17
spark
python
大数据
PySpark-核心编程
2.2.2获取RDD分区数2.2.3读取文件创建2.3RDD算子2.4常用Transformation算子2.4.1map算子2.4.2flatMap算子2.4.3reduceByKey算子2.4.4
WordCount
白莲居仙
·
2023-08-19 17:44
spark
python
大数据
Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$.refArrayOps
使用IDEA工具运行SparkStreaming的
WordCount
时,运行报错,报错信息如下:Exceptioninthread"main"java.lang.NoSuchMethodError:scala.Predef
UserOrz
·
2023-08-19 09:28
Spark
scala
java
spark
Flink学习笔记【巨详细!】(三)
第5章DataStreamAPI(基础篇)我们在第2章介绍Flink快速上手时,曾编写过一个简单的词频统计(
WordCount
)程序,相信读者已经对Flink的编程方式有了基本的认识。
水花还在漂移
·
2023-08-18 06:15
Flink
flink
学习
大数据
flink使用16-正确打包Flink程序并使用Cli提交任务
本文的计划是使用正确的maven插件打包当前教程代码库batch模块下的
WordCount
代码,并通过命令行的方式提交到Flink来启动任务。
CheckChe
·
2023-08-17 08:06
实战:使用Docker部署Hadoop集群
文章目录Hadoop简介Hadoop优势Hadoop应用场景docker与docker-compose安装Hadoop集群搭建环境变量docker-compose环境文件树结构编排并运行容器运行
wordcount
小沈同学呀
·
2023-08-17 03:32
hadoop
docker
大数据
docker
hadoop
容器
Spark:StructStreaming
目录01:上篇回顾02:本篇内容03:SparkStreaming的缺点04:StructStreaming的设计05:官方示例
WordCount
06:自定义开发
WordCount
实现07:Source
多么哇塞的陈哇塞
·
2023-08-14 19:36
大数据
spark
spark
03-第一个Spark程序
WordCount
Scala版1)创建项目增加Scala插件Spark由Scala语言开发的,咱们当前使用的Spark版本为3.2.0,默认采用的Scala编译版本为2.13,所以后续开发时。我们依然采用这个版本。开发前请保证IDEA开发工具中含有Scala开发插件创建Maven工程创建MavenProject工程,GAV如下:GroupIdArtifactIdVersioncom.clear.sparkbigda
书香恋仁心
·
2023-08-14 05:06
spark
spark
大数据
分布式
IDEA中查看RDD.scala源码方法
一、问题场景我在IDEA中学习运行Spark的样例程序
WordCount
时,想看下RDD的源码,结果跳转过去是RDD.class,而视频教程里跳转过去是RDD.scala,明明maven的依赖配置一模一样
程光CS
·
2023-08-12 15:54
踩坑日记
maven
spark
ERROR:Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
问题场景我在学习尚硅谷的Hadoop课程的群起集群(p31)这一节时,在配置好core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml这四个文件后,启动集群并运行
wordcount
程光CS
·
2023-08-12 15:24
踩坑日记
hadoop
RDD -- flatmap
String]):Unit={//设置log级别Logger.getLogger("org").setLevel(Level.WARN)valconf=newSparkConf().setAppName("
WordCount
Demo
游九河
·
2023-08-12 12:50
spark
core
flatmap
2019-05-15
1.eclipse和hadoop连起来了用的是桥接模式但是
wordcount
远程不成功2.界面想用mvc的模式现在已有一个bootstrap的前端界面但是前端和后端怎么连接怎么和数据库连接起来显示3.倒计时
0be47bf15d8d
·
2023-08-11 05:57
【IDEA+Spark Streaming 3.4.1+Dstream监控套接字流统计
WordCount
保存至MySQL8】
【IDEA+SparkStreaming3.4.1+Dstream监控套接字流统计
WordCount
保存至MySQL8】把DStream写入到MySQL数据库中Spark3.4.1MySQL8.0.30sbt1.9.2
pblh123
·
2023-08-08 12:28
Spark
intellij-idea
spark
scala
2、Spark Streaming编码实践
StreamingContext2,从StreamingContext中创建一个数据对象3,对数据对象进行Transformations操作4,输出结果5,开始和停止利用SparkStreaming实现
WordCount
Wzideng
·
2023-08-07 13:51
spark
大数据
分布式
Hadoop学习指南:探索大数据时代的重要组成——Hadoop运行模式(上)
Hadoop运行模式前言Hadoop运行模式1本地运行模式(官方
WordCount
)2完全分布式运行模式(开发重点)2.1虚拟机准备2.2编写集群分发脚本xsync1)scp(securecopy)安全拷贝
老虎也淘气
·
2023-08-05 13:38
Hadoop学习指南
大数据
hadoop
分布式
六万字!Spark Core、Spark SQL、Spark Streaming一锅端
RDD依赖关系DAG分区Shuffle过程RDD创建方式算子常用的转换算子(Scala版)常用的转换算子(Java版)常用的动作算子(Scala)RDD持久化RDD共享变量RDD分区设计数据倾斜示例:
WordCount
菜鸟也学大数据
·
2023-08-05 02:16
菜鸟也学大数据
Spark
大数据
分布式
hadoop
spark
IDEA上面书写
wordcount
的Scala文件具体操作
的项目简单介绍_intellij创建scala目录系列文章目录1、编写Scala程序2、更换pom.xml文件3、更新Maven的依赖文件4、执行代码即可总结前言本文主要在上述文章的基础上编辑和创建一个
WordCount
张小鱼༒
·
2023-08-04 11:06
IDEA项目实践与软件使用介绍
scala
intellij-idea
java
Linux
虚拟机
IDEA项目实践——创建Java项目以及创建Maven项目案例、使用数据库连接池创建项目简介
系列文章目录IDEA上面书写
wordcount
的Scala文件具体操作IDEA创建项目的操作步骤以及在虚拟机里面创建Scala的项目简单介绍目录系列文章目录前言一准备工作1.1安装Maven1.1.1Maven
张小鱼༒
·
2023-08-04 11:34
java
开发语言
IDEA
Maven
Java项目
mybatis
框架
Spark RDD操作之ReduceByKey
一、reduceByKey作用reduceByKey将RDD中所有K,V对中,K值相同的V进行合并,而这个合并,仅仅根据用户传入的函数来进行,下面是
wordcount
的例子。
dong_lxkm
·
2023-08-03 18:45
Spark——core——4
spark-core实战案例课程目标:独立实现SparkRDD的
wordcount
案例独立实现sparkRDD的PVUV统计案例4.0Pycharm编写spark代码环境配置准备pycharm环境1,对接到
Wzideng
·
2023-08-02 09:57
#
spark
大数据学习
机器学习之推荐系统
spark
ajax
大数据
算法
数据结构
java
分布式
spark入门
的单机模式及测试1.3.1Spark在Linux上Anaconda部署Python1.3.2Spark本地模式部署1.3.3SparkPythonShell单机部署1.3.4.Map算子实现分布式转换1.3.5
WordCount
蝉43301
·
2023-08-01 20:30
大数据
大数据
我的第一个Flink程序 - 三种
WordCount
方式
水善利万物而不争,处众人之所恶,故几于道目录一、Flink批处理二、Flink流处理-有界流三、Flink流处理-无界流一、Flink批处理publicclassFlink01_Batch_
WordCount
阿年、嗯啊
·
2023-07-31 08:16
Flink
flink
大数据
WordCount
黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令
MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交
wordcount
蓝净云
·
2023-07-31 07:04
大数据
大数据
学习
笔记
wordcount
software\spark-2.2.0-bin-hadoop2.6\python\pyspark目标目录:D:\software\Anaconda3\Lib\site-packages安装py4j新建
wordcount
一只特立独行的猪1991
·
2023-07-30 21:31
spark-core 实战案例
课程目标:独立实现SparkRDD的
wordcount
案例独立实现sparkRDD的PVUV统计案例4.0Pycharm编写spark代码环境配置准备pycharm环境1,对接到centos服务器,下载环境
Wzideng
·
2023-07-28 06:05
#
spark
spark
ajax
大数据
环境准备(05)MapReduce编程模型&
WordCount
案例
MapReduce编程模型inputmap&reduceoutput实例代码importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.In
乌鲁木齐001号程序员
·
2023-07-26 14:03
第 7 章 集合-----Scala集合继承图
7.1.1不可变集合继承图7.1.2可变集合继承图7.2.3不可变数组与可变数组的转换7.7.6复杂
WordCount
案例1)方式一objectTest
WordCount
{defmain(args:Array
Wzideng
·
2023-07-22 15:31
#
scala
scala
开发语言
后端
解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/ap
outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z,之前的
wordcount
demo
Lcreator
·
2023-07-22 00:06
大数据开发
hadoop
MapReduce编程基础
1.
WordCount
示例及MapReduce程序框架2.MapReduce程序执行流程3.深入学习MapReduce编程(1)4.参考资料及代码下载.
WordCount
示例及MapReduce程序框架首先通过一个简单的程序来实际运行一个
weixin_30455661
·
2023-07-21 00:58
大数据
python
操作系统
'gbk' codec can't decode byte 0xae 解决方法
gbk'codeccan'tdecodebyte0xaeinposition32:illegalmultibytesequenceSource=C:\Users\xzy56\source\repos\
wordcount
.pyStackTrace
Andrew@csdn
·
2023-07-19 23:51
dev
python
笔记
gbk
0xae
Scala函数综合练习 -
WordCount
水善利万物而不争,处众人之所恶,故几于道目录一、思路分析及步骤详解二、完整程序一、思路分析及步骤详解对List中的单词进行统计,并取计数排名前三的结果。要求使用Scala中的函数。期望输出结果:List((Hello,4),(Scala,3),(Hbase,2))待处理集合:valstringList=List("HelloScalaHbasekafka","HelloScalaHbase","H
阿年、嗯啊
·
2023-07-19 17:33
Scala
scala
开发语言
函数练习
WordCount
【Flink】详解Flink任务提交流程
启动一个任务通常我们会使用bin/flinkrun-tyarn-per-job-ccom.xxx.xxx.
WordCount
/
WordCount
.jar方式启动任务;我们看一下flink文件中到底做了什么
小猪猪家的大猪猪
·
2023-07-19 13:03
大数据
flink
java
大数据
源码讲解
云计算
Yarn调度MapReduce
当我们执行这条命令时:hadoopjarhadoop-mapreduce-examples-2.7.3.jar
wordcount
/input/outputhadoop为我们做了那些事情?
忆华灯纵博
·
2023-07-18 21:11
Spark编程模型
使用Scala语言在Spark上编写
WordCount
程序,主要代码只需要三行。valtextFile=sc.textFile("hdfs://...")valcounts=textFil
do_young
·
2023-07-17 10:41
实时Flink1.14.4 doit
每个算子都可以成为一个独立的任务入门程序
WordCount
基本Source算子Kafka只有生产者有事务消费者没有事务机制。Flink批
wqy19941008
·
2023-07-17 06:17
学习总结
flink
Scala 集合常用函数
常用方法2、案例示例二、衍生集合1、衍生集合常用方法操作2、案例示例三、集合简单计算函数1、常用计算操作2、案例示例四、集合计算高级函数1、语义说明2、案例示例五、应用案例应用案例(1)-合并Map普通
WordCount
气质&末雨
·
2023-07-16 10:28
scala
算法
Hexo添加字数统计和阅读统计
Hexo博客添加字数统计和阅读统计安装hexo-
wordcount
插件npmi--savehexo-
wordcount
成功会在根目录下的package.json中多出"hexo-
wordcount
":"
天天152
·
2023-07-16 00:49
Hexo
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他