E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
#wordcount
Haddoop大数据教程笔记_09_HIVEsql复杂用法举例
目录HIVEsql复杂用法举例1.保存select查询结果的几种方式:2.行转列,根据主键对某列进行合并3.列转行,将某列数据拆分成多行4.hive实现
wordcount
5.级联查询实现累积报表(笨办法
Snowing_inhope
·
2023-11-13 12:02
大数据Hadoop教程
大数据
hive
hadoop
数据分析
数据仓库
MapReduce分布式编程实验报告
MapReduce分布式编程一、分布式编程的介绍二、什么是MapReduce三、运行
wordcount
程序
WordCount
Mapper类
WordCount
Reduce类
WordCount
Driver类导出
JackZhao666
·
2023-11-13 03:21
MapReduce
大数据
Hadoop之实战
WordCount
大致流程如下:第一步:开发Map阶段代码第二步:开发Reduce阶段代码第三步:组装Job在idea中创建
WordCount
Job类添加注释,梳理一下需求:需求:读取hdfs上的hello.txt文件,
hhhecker
·
2023-11-10 20:23
Hadoop学习
java
intellij-idea
hadoop
hadoop MapReduce 实战(java):单词计数
在
WordCount
项目里新建class,名称为
WordCount
,代码如下:packagetest;importjava.io.IOException;importorg.apache.hadoop.conf.Configur
柯努力
·
2023-11-10 20:51
hadoop
开发
大数据
java
hadoop
mapreduce
java
Hadoop实战 一
WordCount
Hadoop实战一
WordCount
准备工作启动虚拟机HadoopWindowsHadoop环境配置准备数据文本修改Mavenpom文件Hadoop配置文件编码环节Mapper文件Reduce文件Mian
Tzyy皮皮
·
2023-11-10 20:18
学习
Hadoop
hadoop
mapreduce
big
data
IntelliJ IDEA使用笔记—— 创建Maven Scala项目
IntelliJIDEA使用笔记——创建MavenScala项目IDEAMavenScala项目pow.xml文件配置删除java包,新建scala包新建Scalaclass编写代码编写Spark
WordCount
qq_44813644
·
2023-11-09 21:49
10Toolbox工具箱
IntelliJ
IDEA
创建Maven
Scala项目
【Flink---02】Flink开发环境:IDEA
文章目录第一步:创建项目第二步:编辑pom.xml文件第三步:配置日志第四步:编写代码(1)数据准备(2)方式一:批处理(3)方式二:流处理*以有界流的方式*以无界流的方式以
WordCount
为例,进行演示第一步
ElegantCodingWH
·
2023-11-09 06:34
#
Flink
fink
【面经】字节大数据开发面经
1.
wordcount
的实现过程Map阶段:按行读取要统计的文本文件;按空格拆分每行的单词将单词转换成kv键值对,格式为(单词,1)将所有的kv键值对中的单词按照单词首字母分区,比如分两个区,那么分区1
和风与影
·
2023-11-09 03:36
大数据
面试
大数据
面试
数据仓库
Spark提交代码到集群中运行
将代码打成jar包并上传4、构建提交命令(使用的是cluster):spark-submit--masteryarn--deploy-modecluster--classcom.spark.core.
WordCount
Demo01spark
新手小农
·
2023-11-08 09:23
Spark
spark
大数据
分布式
Hadoop知识点全面总结
SecondaryNameNode介绍DataNode介绍DataNode总结MapReduce介绍分布式计算介绍MapReduce原理剖析MapReduce之Map阶段MapReduce之Reduce阶段实战
WordCount
小崔的技术博客
·
2023-11-07 08:40
大数据学习
hadoop
大数据
分布式
【大数据Flink】入门案例 --
WordCount
(DataStream)
Flink经典入门案例--
WordCount
1.环境准备2.数据加载3.数据处理3.1切割3.2标记3.3分组3.4聚合4.数据输出源码下面主要是使用DataStream的方式去实现,在Flink1.14
Buffedon
·
2023-11-07 07:47
大数据
Java
flink
大数据
java
DataStream
WordCount
flink入门(
wordcount
)
Flink快速上手1.在IDEA创建maven工程FlinkTutorial2.在pom.xml中添加依赖和maven插件org.apache.flinkflink-scala_2.111.10.2org.apache.flinkflink-streaming-scala_2.111.10.2org.apache.flinkflink-connector-kafka-0.11_2.121.10.1
sgxmr
·
2023-11-06 20:30
#
flink
flink
kafka
scala
Flink java
wordcount
Flnkjava
wordcount
前言项目的目录结构pom文件Window
WordCount
.javahelloword.txt文件运行结果注意前言各位好,欢迎浏览我的博客,后面将持续更新小编在flink
柳牧之
·
2023-11-06 20:59
Flnk
java
wordcount
flink
Flink入门案例
WordCount
FLINK大数据领域避不可谈的就是实时流数据处理了,Flink作为流处理的中坚力量,有着广泛的应用,下面来结合
WordCount
来简单理解如何使用Flink吧流程Flink处理数据流程如下
WordCount
BirdMan98
·
2023-11-06 20:59
Flink
flink
log4j
java
flink入门案例之
WordCount
flink入门案例之
WordCount
,以下测试代码都是在本地执行的添加依赖添加maven依赖org.apache.flinkflink-scala_2.111.7.2org.apache.flinkflink-streaming-scala
鸭梨山大哎
·
2023-11-06 20:58
flink
flink
WordCount
批处理
流处理
Flink基础(入门程序
WordCount
实例)
Flink作为当下流处理领域比较火爆的框架,下边来进行flink的第一个
wordCount
程序,让大家对于Flink有一个初步的认识:第一步:使用idea创建maven项目(直接创建常规的maven项目
private variable
·
2023-11-06 20:28
flink
flink
大数据
Flink 1.16.0
wordCount
示例,入门案例
环境准备JAVA1.8新建maven工程引入依赖org.apache.flinkflink-streaming-java1.16.0org.apache.flinkflink-clients1.16.0org.apache.flinkflink-runtime1.16.0示例代码importorg.apache.flink.api.common.typeinfo.Types;importorg.a
一点博客
·
2023-11-06 20:58
大数据
flink
java
大数据
第四章 Flink实战之
WordCount
基础入门
1、Flink开发环境搭建1.1、创建Maven项目1、选择“File”-->“New”–>“Project”2、选择Maven,设置JDK版本,选择maven项目的模板org.apache.maven.archetypes:maven-archetype-quickstart#代表普通的maven项目面板3、设置Groupid和ArtifactidGroupid:公司名称Artifactid:项
随缘清风殇
·
2023-11-06 20:57
#
Flink专题
flink
maven
big
data
深度解析
WordCount
,入门Flink
本文将以
WordCount
的案例为主线,主要介绍Flink的设计和运行原理。关于Flink
WordCount
程序可以参考我之前的文章:Flink01|十分钟搭建第一个Flink应用和本地集群。
朝闻道-夕死可矣
·
2023-11-06 20:55
大数据
Flink入门
wordCount
env.execution下面为flink输出
wordcount
数据:importorg.apache.
benxu19780101
·
2023-11-06 20:24
大数据
java
数据库
Flink-简单了解及入门
WordCount
Flink简介Flink项目的理念是:“ApacheFlink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。ApacheFlink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。流数据处理以及批处理的差别:流处理是更低延迟的批处理。比如设备的实时数据采集和显示、实时告警等
魔笛Love
·
2023-11-06 20:24
flink
Flink入门
WordCount
批处理实现
NewProject:引入pom:4.0.0com.wyh.testFlinkDemo11.0-SNAPSHOT88org.apache.flinkflink-java1.13.0org.apache.flinkflink-streaming-java_2.121.13.0org.apache.flinkflink-clients_2.121.13.0org.slf4jslf4j-api1.7.3
QYHuiiQ
·
2023-11-06 20:53
大数据之Flink
flink
大数据
Flink入门之
WordCount
(Scala语言)
Flink入门之
WordCount
(Scala语言)流式处理一.创建一个Maven工程1.pom.xml文件依赖org.apache.flinkflink-scala_2.111.7.2org.apache.flinkflink-streaming-scala
Joker_Jiang3
·
2023-11-06 20:23
大数据
flink
scala
大数据
flink
Flink(一)【
WordCount
快速入门】
前言学完了Hadoop、Spark,本想着先把Kafka、Flume这些工具先学完的,但想了想还是把核心的技术先学完最后再去把那些工具学学。最近心有点累哈哈哈,偷偷立个flag,反正也没人看,明年的今天来这里还愿哈,愿望这种事情我是从来是不会说出来的,毕竟言以泄败,事以密成嘛。那我隐晦低表达一下,摘录自《解忧杂货店》的一条句子:这是克朗对自己梦想的描述,其实他不是自不量力,而是假如放弃了这个梦想,
让线程再跑一会
·
2023-11-06 20:51
Flink
flink
大数据
spark课程大纲
Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全分布式集群搭建Sparkhistoryserver配置使用二种方法实现Spark计算
WordCount
SparkCoreSpark
张明洋_4b13
·
2023-11-06 15:41
MapReduce入门编程及源码详解
文章目录1入门编程
WordCount
2MRJob提交源码分析ClassJobJob.waitForCompletionjob.submit3MRMap阶段过程详解3.1MapTask类解读3.2InputFormatgetSplitscreateRecordReader3.3Mapper3.4OutputCollectorNewOutputCollectorMapOutputBuffer4MRRe
火 玄
·
2023-11-06 05:24
hadoop
mapreduce
hadoop
大数据
java
flink入门时常见的小困惑- 重复的结果输出与时间窗口无结果
以flink源码中的一个example做为例子,这里是我的一个copy修改过
WordCount
Streaming下面是节略后的代码publicclass
WordCount
Streaming{publicstaticvoidmain
summerdog
·
2023-11-06 04:40
Maven集成hadoop实现
wordcount
1、环境需求idea开发工具maven3.3.9hadoop-2.7.7jdk1.8以上版本非必须,可根据自己的版本并修改下面的pom.xml对应版本号基于windows本地hadoop实现2、开始创建项目(1)、打开idea、创建maven项目。并选择SDK为jdk1.8,然后点击next。(2)、填写groupid和artifactid,然后点击next。GroupId(俗称:包结构):Gro
重蹈覆辙的我
·
2023-11-05 23:38
hadoop
maven
java
hadoop异常java.net.ConnectException 拒绝连接
hadoopjarshare/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jarorg.apache.hadoop.examples.
WordCount
inputoutput16
emgexgb_sef
·
2023-11-05 23:34
java
hadoop
java
大数据
搜索引擎
数据库
MapReduce
WordCount
程序实践(IDEA版)
环境Linux:Hadoop2.xWindows:jdk1.8、Maven3、IDEA2021步骤编程分析编程分析包括:1.数据过程分析:数据从输入到输出的过程分析。2.数据类型分析:Map的输入输出类型,Reduce的输入输出类型;编程分析决定了我们该如何编写代码。新建Maven工程打开IDEA–>点击File–>New–>Project选择Maven–>点击Next选择一个空目录作为项目目录,
Hadoop_Liang
·
2023-11-05 20:56
Hadoop
IDEA
mapreduce
intellij-idea
大数据
hadoop运行踩坑:Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.
错误:Error:Couldnotfindorloadmainclassorg.apache.hadoop.mapreduce.v2.app.说明:计算
wordcount
出错,错误提示补充mapred-site.xml
亿钱君
·
2023-11-05 20:45
Bug
Hadoop环境搭建及Demo
参考博客Windows10安装Hadoop3.3.0教程(kontext.tech)Hadoop入门篇——伪分布模式安装&
WordCount
词频统计|LiuBaoshuai’sBlogHadoop安装教程
星航夜空的帆舟
·
2023-11-05 20:10
疑难杂症
hadoop
大数据
分布式
WordCount
优化
(1)Github地址:https://github.com/LongtermPartner/Extend
WordCount
(2)PSP表格:PSP2.1PSP阶段预估耗时(分钟)实际耗时(分钟)Planning
baochi8889
·
2023-11-05 00:49
java
开发工具
测试
第4周小组作业:
WordCount
优化版
小组github项目地址:https://github.com/Wegnery/New_
WordCount
基础功能:一.PSP表格PSP2.1PSP阶段预估耗时(分钟)实际耗时(分钟)Planning计划
aopiao7116
·
2023-11-05 00:19
java
开发工具
测试
Flink 源码解析 —— 分析 Batch
WordCount
程序的执行过程
批处理的
WordCount
程序分析:https://t.zsxq.com/YJ2Zrfi博客1、Flink从0到1学习——ApacheFlink介绍2、Flink从0到1学习——Mac上搭建Flink1.6.0
zhisheng_blog
·
2023-11-04 10:15
java
Flink
大数据
流式计算
Java
Flink
3.使用spark开发第一个程序
WordCount
程序及多方式运行代码
概述
WordCount
是一个快速入门案例,单词统计,通过此案例,学习如何用scala来编写spark程序,spark支持java,scalal这些语言,目前在企业中大部分公司都是使用scala进行开发,
流月up
·
2023-11-04 09:51
spark
spark
大数据
WordCount
单词统计
scala
日志聚合
hadoop mapreduce的api调用
WordCount
本机和集群代码
本机运行代码packagecom.example.hadoop.api.mr;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.h
wmy102125
·
2023-11-04 03:33
Hadoop
hadoop
mapreduce
大数据
Flink+Kafka 版
wordCount
Kafka版
wordCount
packagecom.jxtele;importorg.apache.flink.api.common.functions.FlatMapFunction;importorg.apache.flink.api.java.tuple.Tuple2
准将
·
2023-11-03 17:56
kafka
flink
apache
【入门Flink】- 02Flink经典案例-
WordCount
WordCount
需求:统计一段文字中,每个单词出现的频次添加依赖1.17.0org.apache.flinkflink-streaming-java${flink.version}org.apache.flinkflink-clients
不进大厂不改名二号
·
2023-11-03 13:04
flink
flink
大数据
flink的(Tumbling)滚动窗口
滚动窗口意义如果我们是
wordcount
的程序,随着数据的涌入累计相加,计算系统的压力会越来越来越大,但是我们让我滚动窗口,每半个小时执行一次,只执行这半个小时之内的数据,而后直接采取上半个小时累计的结果进行累计
北京小峻
·
2023-11-03 13:53
大数据
java
flink
Flink 的安装与基础编程
Flink的安装与基础编程实验背景实验目的实验环境实验任务及完成过程本地模式下安装Flink检查配置环境配置Flink启动与判断运行情况Flink实例运行(单机)编程实现
WordCount
程序安装Maven
两个肚皮
·
2023-11-03 03:24
flink
java
大数据
ubuntu部署flink集群 ,运行
wordcount
例子
说明:事先完成了以下的准备工作:ubuntu16安装了hadoop集群(完全分布式)hadoop集群有5个节点:hadoop1~hadoop6(没有hadoop2)每个节点都安装了flink-1.12.0(略),flink有六个节点运行的代码jar包获取方式: 在windows上的IntelliJIDEA上编写代码,打包成jar包提交到ubuntu上的集群上运行 运行flink自带的例子1、s
Sonder_s
·
2023-11-03 03:47
flink
flink
java
大数据
【Apache Flink】Flink DataStream API的基本使用
FlinkDataStreamAPI的基本使用文章目录前言1.基本使用方法2.核心示例代码3.完成工程代码pom.xml
WordCount
Example测试验证4.Stream执行环境5.参考文档前言FlinkDataStreamAPI
冰点.
·
2023-11-02 13:29
Apache
Flink
apache
flink
大数据
集合、数组、列表List、Set集合、Map集合、元组、集合常用函数、队列、并行集合
目录数组列表ListSet集合Map集合元组衍生集合集合计算简单、高级函数reduce归约合并映射
WordCount
普通、复杂计算队列并行集合数组packagechapter07//不可变数组objectTest01
NeilVicia
·
2023-11-01 12:53
list
java
数据结构
scala
大数据
Strom之
WordCount
本文讲述在Strom平台开发一个
WordCount
的步骤主要内容:1.引入依赖2.编写代码3.提交测试1.引入依赖org.apache.stormstorm-core1.2.12.编写代码2.1.ReadFileSpolt
阿坤的博客
·
2023-10-31 03:28
flink 在idea中编写的
wordcount
重新启动后没有从检查点恢复之前的数据,为什么?
启用了检查点和状态后端,看hdfs目录确实有内容,然而重新启动后并没有从检查点恢复数据,这是为什么??objectkafkatest{defmain(args:Array[String]){valenv=StreamExecutionEnvironment.getExecutionEnvironmentvalproperties=newProperties()properties.setPrope
Jaming R
·
2023-10-27 22:18
flink
开发MapReduce算法,实现统计分析——单词统计
三、在idea里编写代码:1>编写
WordCount
Mapperimportorg.apache.hadoop.io.*;impor
墨染盛夏呀
·
2023-10-26 19:19
案例操作
hadoop
mapreduce
java
实验三 MapReduce实践
实验目录实验三MapReduce实践1.实验目的2.实验原理3.实验准备4.实验内容项目1:分析和编写
WordCount
程序参考链接操作步骤分析代码:项目2:统计各部门员工薪水总和(序列化+部门分区+Combiner
洛水鱼
·
2023-10-26 19:38
mapreduce
大数据
java
【智能大数据分析】实验1 MapReduce实验:单词计数
单词计数文章目录【智能大数据分析】实验1MapReduce实验:单词计数一、实验目的二、实验要求三、实验原理1MapReduce编程2JavaAPI解析四、实验步骤1启动Hadoop2验证HDFS上没有
wordcount
-北天-
·
2023-10-26 19:05
大数据学习
数据分析
mapreduce
大数据
大数据-Storm流式框架(二)--
wordcount
案例
一、编写
wordcount
案例1、新建java项目2、添加storm的jar包storm软件包中lib目录下的所有jar包3、编写java类
WordCount
Topology.javapackagecom.bjsxt.storm.wc
30岁老阿姨
·
2023-10-26 06:19
Storm
大数据
storm
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他