wordCount

hive实现单词统计

一、前期准备二、操作步骤1.在hive下创建一个数据库编辑2.在wordcount库下创建一个表3.在虚拟机上创建一个文件4.将在linux上创建的data文件，上传到新建的hive的worltest表中
冷-风-吹·2022-12-09 20:06

flink的slot如何配置？

为了保证并行执行的效率，不是将每个合并后的操作分配到一个TaskSlot中(有些执行快，有些执行慢，慢的还会一直占用该slot)，而是采用在每个slot中存所有的操作例如：publicclassBatchWordCount
DSJ_smile·2022-12-07 00:19

搭建map-reduce开发环境

##LaunchIntelliJ##createJavaproject-forexample"wordcount"select‘CreateNewProject’->"Javaproject"->select1.8JDKin"ProjectSDK
sun_xo·2022-12-04 16:29

MapReduce环境搭建以及WordCount案例

一、环境搭建(服务器主机名CentOSQ)①配置资源管理器//编辑yarn-site文件[root@CentOSQ~]#vi/usr/hadoop-2.9.2/etc/hadoop/yarn-site.xml//加如下列配置（注意下列配置我们的主机名是什么下列的配置和我们的主机名是一致的）yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.reso
代码路上的不归者_bugz·2022-12-04 16:27

scala

第1关：WordCount-词频统计importorg.apache.spark.rdd.RDDimportorg.apache.spark.
SuperHero丶·2022-12-03 21:58

云计算 - 3 - 使用MapReduce处理数据

云计算-3-使用MapReduce处理数据目标1、使用Mapreduce实现对多个文本文件单词总数的统计（WordCount）。
SYSU_Zhiyuan·2022-12-03 09:41

云计算 - 4 - Spark的安装与应用

Scala是否安装完成2、下载配置Spark2.1下载Spark2.2配置Spark的路径2.3修改Spark的配置文件3、将文件复制到子节点4、启动Spark5、测试Spark5.1创建测试文件5.2运行WordCount
SYSU_Zhiyuan·2022-12-03 09:41

muduo多机协作网络编程示例一：单词计数及排序

单词计数（wordcount），顾名思义就是统计一个文本文件里边每个词出现
吴新强·2022-12-02 22:06

Lesson4 Hadoop 伪分布模式Yarn的配置及Mapreduce demo程序 WordCount的运行

一、Yarn的配置：1.配置yarn-env.sh：加入JAVA_HOME。2.配置yarn-site.xml：添加如下内容，将node1改为主机名yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.hostnamenode13.配置mapred-env.xml：复制文件cpmapred-site.xml.templ
Gaoithe·2022-11-29 15:29

Hadoop伪分布式运行wordcount例子

1.进入Hadoop目录，新建一个test.log文件，cat命令查看文件内容；2.启动yarn和dfs，，一种是全部启动start-all.sh,另外一种分别启动，如下图的提示；3.用命令jps查看下面这些是否都有了4.把新建的文件传到HDFS的data/input中，用ls命令查看是否传递成功；5.进入Mapreduce目录；6.ls命令查看Mapreduce里面的文件，运行jar包；7.查看
Tiramicrystal·2022-11-29 15:20

配置Hadoop伪分布模式并运行Wordcount示例

伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoop的MapReduce的配置文件mapred-site.xml，主要是配置JobTracker的地址和端口；在具体操作前我们先在Hadoop目录下创建几个文件夹：
qbyjxg001·2022-11-29 15:42

hadoop-2.6.0伪分布运行WordCount

hadoop-2.6.0伪分布运行WordCount1、启动Hadoop：2、创建file文件夹：这个是建在本地硬盘上的：查看创建的file文件：进入该目录，创建两个txt文件：结果如下：3、在HDFS
礼彬fly·2022-11-29 15:42

hadoop实例程序——wordcount以jar包形式执行

使用Maven构建项目方便打包项目结构wordcount.java`packagemr;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path
微醺的水·2022-11-29 06:35

WordCount + Combine 详解每行代码

0.项目结构数据处理过程图1.WordCountDriverpackagehadoop_test.word_count_demo_01;importorg.apache.hadoop.conf.Configuration
辰阳星宇·2022-11-27 20:22

RDD—Transformation算子

Spark核心编程（SparkCore）文章目录Spark核心编程（SparkCore）1.了解RDD1.2RDD五大特性1.3WordCount案例分析2RDD编程入门2.1RDD的创建2.2RDD算子
JStana·2022-11-27 20:31

大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）

开发重点）3.1模板虚拟机环境准备3.2克隆虚拟机3.3在hadoop102安装JDK3.4在hadoop102安装Hadoop3.5Hadoop目录结构四、Hadoop运行模式4.1本地运行模式（官方WordCount
虚神公子·2022-11-26 09:00

Hadoop完全分布式实现WordCount

动手实现一下WordCount：既然Hadoop搭建好了，那就体验一下分布式，玩起来呗！
银晗·2022-11-24 06:54

Flink高手之路：Flink入门案例

目录一、Flink的API二、Flink的编程模式三、Flink入门案例1.需求2.使用Flink实现wordCount四、DataSet编程实现1.新建一个maven工程2.修改prom文件，导入依赖
平平无奇秃头小天才·2022-11-21 07:09

JavaSpark | RDD实战：分组top n

文章目录1.分组topn2.代码实战JavaSpark|算子JavaSpark|RDD实战：WordCountJavaSpark|RDD实战：统计网站pv和uvJavaSpark|RDD实战：二次排序JavaSpark
幼稚的人呐·2022-11-20 01:45

Spark 3.0 - 1.Spark 新特性简介与 WordCount Demo 实践

目录一.引言二.Spark3.0特性1.ImprovingtheSparkSQLengine[改进的SQL引擎]1.1DynamicPartitionPruning[动态分区修剪]1.2ANSISQLcompliant[兼容ANSISQL]1.3Joinhints[连接提示]2.EnhancingthePythonAPIs:PySparkandKoalas[增强PythonAPI：PySpark和
BIT_666·2022-11-15 09:59

国科大大数据系统与大规模数据分析课程第二次作业(Graph Coloring)

国科大大数据系统与大规模数据分析第二次作业(GraphColoring)一、Part1作业内容WordCount的变体，主要考察对HadoopMapReduce框架编程的熟练度，几乎无坑点。
程哥哥吖·2022-11-04 17:04

Linux 权限

目录find指令：find-name：按照文件名查找文件which命令：whereisgrep指令：grep-i忽略大小写：grep-v表示反转的意思：wc：wordcount的缩写sort：排序：uniq
赵思凯·2022-10-28 16:30

Yarn 的 Tool 接口案例

Yarn的Tool接口案例0）回顾hadoopjarwc.jarcom.xiaoqiu.mapreduce.wordcount.WordCountDriver/input/output期望可以动态传参，
SuperQiu~·2022-10-18 15:42

Yarn的Tool接口案例

文章目录Yarn的Tool接口案例Tool接口环境准备1新建Maven项目YarnDemo编写代码打包jar上传到集群Yarn的Tool接口案例Tool接口环境准备之前写wordcount里通过命令行传入的参数来获取输入路径与输出路径
nuise_·2022-10-18 15:41

Hadoop学习之YARN（Tool接口案例）心得

需求：自己写的程序也可以动态修改参数，编写Yarn的Tool接口（使用WordCount案例）WordCount类：实现Tool接口并且实现其run()、setConf()、getConf()方法在该类中编写
顺其自然的济帅哈·2022-10-18 15:40

Yarn实现Tool接口

目录1.前情回顾2.需求3.编码3.1新建Maven项目YarnDemo3.2新建com.xxxx.yarn包名3.3创建类WordCount并实现Tool接口3.3新建WordCountDriver类
小M姐姐呀~·2022-10-18 15:10

Hadoop中的Yarn 生产环境核心参数配置案例、Yarn 案例实操（一）

Yarn案例实操17.1Yarn生产环境核心参数配置案例17.1.1需求17.1.2需求分析17.1.3修改yarn-site.xml配置参数如下17.1.4分发配置17.1.5重启集群17.1.6执行WordCount
Redamancy_06·2022-10-18 15:39

Hadoop中的Yarn的Tool接口案例、Yarn 案例实操（四）

Tool接口案例17.4.1回顾17.4.2需求17.4.3具体步骤17.4.3.1新建Maven项目YarnDemo，pom如下17.4.3.2新建com.summer.yarn包名17.4.3.3创建类WordCount
Redamancy_06·2022-10-18 15:39

Hadoop 3.x（MapReduce）----【MapReduce 概述】

Hadoop3.x（MapReduce）----【MapReduce概述】1.MapReduce定义2.MapReduce优缺点1.优点2.缺点3.MapReduce核心思想4.MapReduce进程5.官方WordCount
在人间负债^·2022-10-13 09:40

Hive概述

海量数据的存储MapReduce=>海量数据的分析和处理YARN=>集群资源的管理和作业调度1、Hive产生背景直接使用MapReduce处理大数据，将面临以下问题：MapReduce开发难度大，学习成本高(wordCount
悠然予夏·2022-10-12 11:14

MapReduce案例实操—Combiner合并、序列化、partition分区、ReduceTask

自定义Combiner实现步骤：自定义一个combiner继承Reducer，重写reduce方法在job中设置：job.setCombinerClass(WordcountCombiner.class
Nix GnaHz·2022-10-07 07:26

Hadoop_MapReduce_Combiner合并

合并案例实操1）需求2）需求分析3）案例实操-方案一4）案例实操-方案二1.自定义Combiner实现步骤（a）自定义一个Combiner继承Reducer，重写Reduce方法publicclassWordCountCombinerextendsReducer
不爱研究的研究僧·2022-10-07 07:26

Hadoop(19)-MapReduce框架原理-Combiner合并

1.Combiner概述2.自定义Combiner实现步骤1).定义一个Combiner继承Reducer,重写reduce方法publicclassWordcountCombinerextendsReducer
weixin_30510153·2022-10-07 07:25

Hadoop中Mapreduce的WordCount案例实操

一、MapReduce编程规范1.1Mapper阶段用户自定义的Mapper要继承自己的父类Mapper的输入数据时KV对的形式(KV的类型可自定义)Mapper中的业务逻辑写在map()方法中Mapper的输出数据是KV对的形式(KV的类型可自定义)map()方法(MapTask进程)对每一个调用一次2.1Reduce阶段用户自定义的Reducer要继承自己的父类Reducer的输入数据类型对应
SmallScorpion·2022-10-07 07:24

Hadoop中的MapReduce框架原理、Combiner 合并案例实操

13.3.9Combiner合并案例实操13.3.9.1需求13.3.9.1.1数据输入13.3.9.1.2期望输出数据13.3.9.2需求分析13.3.9.3案例实操-方案一13.3.9.3.1增加一个WordCountCombiner
Redamancy_06·2022-10-07 07:13

MapReduce入门案例--单词计数

1.提前准备好单词2.WordCount需求分析3.新建工程并导入pom依赖(pom.xml)org.apache.hadoophadoop-common3.2.1org.apache.hadoophadoop-client3.2.1org.apache.hadoophadoop-hdfs3.2.1junitjunit4.133
雪逗逗0228·2022-10-04 08:14

MapReduce案例-wordcount-Map阶段代码

publicclassWordCountMapperextendsMapper{@Overridepublicvoidmap(LongWritablekey,Textvalue,Contextcontext
Leon_Jinhai_Sun·2022-10-04 08:35

Hadoop（MapReduce）

1、MapReduce概述1.1定义1.2优缺点优点：缺点：1.3MapReduce核心思想1.4MapReduce进程1.5官方WordCount源码采用反编译工具反编译源码，发现WordCount案例有
李林楠·2022-10-03 17:08

MapReduce之WordCount程序打包

目录1.代码2.pom.xml3.maven打jar包3.1在pom中添加打包插件依赖3.2打包方式有两种：4.提交任务到集群5.可能会遇到的问题:错误：编码GBK的不可映射字符1.代码packagecom.sanqian.mr;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.
小猫不会去楼兰捉虫·2022-10-03 17:37

Hadoop之企业级解决方案

目录1.小文件问题及企业级解决方案1.1小文件问题1.2小文件解决方案1.2.1SequenceFile1.2.2MapFile1.3读取HDFS上的SequenceFile实现WordCount案例2
小猫不会去楼兰捉虫·2022-10-03 17:49

大数据之Python入门语法基础

python特点及简介\python在编程语言中的排名4位简洁优雅同scala语言完成同样一个任务c语言1000行java100行scala/python20行面向过程及面向对象的语言同scala语言wordcountMapReduce
梦子mengy7762·2022-09-24 16:28

Hadoop框架之——Mapreduce概述

文章目录1.定义2.优缺点2.1.优点2.2缺点3，MapReduce核心思想4，MapReduce进程5，常用数据序列化类型6，MapReduce编程规范7.WordCount案例实操1.定义Mapreduce
Alienware^·2022-09-21 13:39

【Hadoop】5.1 MapReduce概述

5.1MapReduce概述5.1.1MapReduce核心思想5.1.2MapReduce编程规范5.1.3WordCount案例MapReduce定义MapReduce是一个分布式运算程序的编程框架
coolcoo1cool·2022-09-21 13:03

MapReduce概述及工作流程

内容mapreduce原语（独创）mapreduce工作流程（重点）MR作业提交流程（重点）YARNRM-HA搭建（熟练）运行自带的wordcount（了解）动手写wordcount（熟练）MapReduce
30岁老阿姨·2022-09-21 13:31

WordCount打包部署到Flink Standalone 集群模式的运行过程演示

WordCount打包部署到FlinkStandalone集群模式的运行过程演示一、实验环境二、程序及打包三、代码上传及运行四、小结一、实验环境本次实验主要是向大家演示了在FlinkStandalone
若兰幽竹·2022-09-15 07:47

大数据随记 —— WordCount 案例

大数据系列文章：目录文章目录一、WordCount案例简介二、WordCount实现1、WordCount实现分析Ⅰ、Map阶段Ⅱ、Reduce阶段2、WordCount代码实现Ⅰ、Maven依赖配置Ⅱ
繁依Fanyi·2022-09-07 20:45

Spark Streaming基础概述

SparkStreaming原理SparkStreaming原理整体流程数据抽象DStream相关操作TransformationsOutput/Action总结第三章SparkStreaming实战WordCount
九月木樨·2022-08-24 15:38

简单好用的文档计数软件：Word Counter Pro

WordCounterPro是一款简单好用的文档计数软件。使用WordCounterPro，您可以查看写作统计信息，例如字数，字符数，句子数，行数，段落数等，简单方便，易于使用！
·2022-08-22 14:28

Flink源码篇【2】Flink提交流程之脚本运行过程解析和IDEA本地调试debug

CliFrontend程序1.Flink脚本运行过程解析当我们通过命令/root/flink-1.15.0/bin/flinkrun/root/flink-1.15.0/examples/batch/WordCount.jar
Bulut0907·2022-08-21 08:50

Scala | Spark基础入门 | IDEA配置 | 集群搭建与测试

文章目录一、学习目标二、本机开发--scala配置1.下载Scala2.安装scala3.配置Scala的系统环境变量4.IDEA中的scala配置5.开发第一个项目wordcount三、集群搭建与测试
跟乌龟赛跑·2022-08-18 20:18
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他