mapred

MapReduce面向对象实操2——统计手机号的上行流量、下行流量、总流量

大数据相关博客的目录数据集以TAB为分隔符第一列：序号第二列：手机号第三列：网络IP第四列：访问的域名第五列：上行流量第六列：下行流量第七列：HTTP状态码113736230513192.196.100.1www.atguigu.com248124681200213846544121192.196.100.22640200313956435636192.196.100.31321512200413
治怒善男·2023-12-25 17:34

大数据----基于sogou.500w.utf8数据的MapReduce编程

3.2、统计rank2的所有UID及数量3.3、上午7-9点之间，搜索过“赶集网”的用户UID3.4、通过Rank：点击排名对数据进行排序四、参考一、前言最近学习大数据的知识，需要做一些有关HadoopMapReduce
韭菜盖饭·2023-12-25 17:01

云计算与大数据之间的羁绊（期末不挂科版）：云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言：一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算？1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么？1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算
春人.·2023-12-25 14:59

Hadoop(2)：常见的MapReduce[在Ubuntu中运行！]

1以词频统计为例子介绍mapreduce怎么写出来的弄清楚MapReduce的各个过程：将文件输入后，返回的代表的含义是：k1表示偏移量，即v1的第一个字母在文件中的索引（从0开始数的）；v1表示对应的一整行的值
Oasis of the World·2023-12-25 12:05

【美团大数据面试】大数据面试题附答案

目录1.hdfs读写流程解析2.hdfs副本机制，三副本原因，副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法，大数据量无法完全写入内存解决方案
话数Science·2023-12-25 11:19

手写MapReduce实现WordCount

水善利万物而不争，处众人之所恶，故几于道文章目录需求分析编写MapReduce实现上述功能Mapper类Reducer类Driver类查看输出结果需求  假设有一个文本文件word.txt，我们想要统计这个文本文件中每个单词出现的次数
阿年、嗯啊·2023-12-25 00:01

YARN Hadoop2.0 区别

Hadoop2.0与HAdoop1.0的区别：Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由HadoopCommon、HDFS、HadoopYARN和HadoopMapReduce2.0
omygodvv·2023-12-24 23:01

【Hadoop学习笔记】（二）——Hive的原理及使用

Hive数据仓库工具能为HDFS上的数据提供类似SQL的查询语言（HiveQL），并将SQL语句转变成MapReduce任务来执行。Hive明显降低了Hadoop的使用门槛，任何熟悉SQL的用
wanger61·2023-12-24 23:25

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS
Zhou.Y.M·2023-12-24 23:55

【Hive笔记】1——Hive入门

本质：将HQL转化为Mapreduce程序Hive处理的数据存储在HDFS，HIve分析数据底层的实现是Mapreduce，执行程序运行在Yarn上2.Hive的优缺点优点：操作接口采用类sql语法，提供快速开发能
sdut菜鸟·2023-12-24 23:55

【Hadoop】YARN简介（YARN产生的技术需求/YARN的基本架构）

YARN从某种那个意义上来说应该算做是一个云操作系统，它负责集群的资源管理和任务调度，在YARN之上可以开发各类的应用程序，例如批处理MapReduce,内存处理Spar
不怕娜·2023-12-24 18:41

Hive优化(十三)-小文件进行合并

1）参数设置setmapred.max.split.size=112345600;setmapred.min.split.size.per.node=112345600;setmapred.min.spl
bigdata张凯翔·2023-12-24 12:08

大数据高级开发工程师——Hadoop学习笔记（7）

.NodeManager3.Container4.ApplicationMaster5.JobHistoryServer6.TimelineServerYARN应用运行原理1.YARN应用提交过程2.MapReduceonYARN
讲文明的喜羊羊拒绝pua·2023-12-24 08:24

大数据高级开发工程师——Hadoop学习笔记（1）

用户设置免密登录三台虚拟机安装jdkhadoop集群安装环境部署规划安装包下载查看hadoop支持的压缩方式以及本地库修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml修改mapred-site.xml
讲文明的喜羊羊拒绝pua·2023-12-24 08:53

Hadoop学习笔记(3)——MapReduce入门

一、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。”
今天有没有写代码·2023-12-24 08:53

hadoop大数据学习笔记

或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。
驰宇爱吃鱼·2023-12-24 08:53

Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署

pwd=5ay8Hadoop入门学习笔记（汇总）目录四、MapReduce的框架配置和YARN的部署4.1.配置MapReduce和YARN4.2.YARN集群启停脚本4.2.1.一键启停脚
faith瑞诚·2023-12-24 07:39

Spark

Spark借鉴了MapReduce思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。
weixin_50458070·2023-12-24 05:36

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。
套马杆的程序员·2023-12-24 04:49

Flink1.17版本安装部署

前言提示：这里可以添加本文要记录的大概内容：随着实时计算需求场景的增加，对计算引擎的实时计算要求也越来越高，而在实时计算方面表现优秀的当属flink，计算引擎从第一代mapreduce到第二代的Tez，
以茉萱·2023-12-24 02:18

HIVE 建表 插入数据 文件格式与压缩格式算法比较

HIVE文件格式与压缩格式一：mapreduce的压缩mapreduce压缩主要是在shuffle阶段的优化。
皮卡帅·2023-12-23 22:27

Hive优化

Hive优化Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。
新鲜氧气·2023-12-23 22:26

毕设相关

收集日志的脚本是自动运行的，打开一次就自动运行2.MapReduce程序要设计一下3.界面做漂亮
0be47bf15d8d·2023-12-23 08:15

【hadoop|报错】Cannot modify tez.queue.name at runtime. It is not in list of params that are allowed ...

报错分析：hdp3.0.0的hive为3.0.0以上，运行引擎为tez，需要添加参数，让tez前缀的配置生效hive.security.authorization.sqlstd.confwhitelistmapred
维运·2023-12-23 06:10

Hadoop 之 MapReduce

1MapReduce概述MapReduce是一个分布式运算程序的编程框架，是用户开发基于Hadoop的数据分析应用的核心框架。
djm猿·2023-12-22 18:17

二，Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
__元昊__·2023-12-22 11:30

Spark SQL 教程

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了
数据萌新·2023-12-22 10:06

01-黑马程序员大数据开发

大数据的核心工作：存储：妥善保存海量待处理数据；ApacheKUDU、云平台存储：阿里云OSS、UCloud的US3、AWS的S3、金山云的KS3等等计算：完成海量数据的价值挖掘；ApacheHadoop-MapReduce
S1406793·2023-12-22 08:06

MapReduce 的 shuffle 与 spark的 shuffle 有什么区别？

MapReduce的shuffle在Map端的shuffle过程是对Map的结果进行分区、排序、分割，然后将属于同一划分（分区）的输出合并在一起并写在磁盘上，最终得到一个分区有序的文件。
Logan_addoil·2023-12-22 05:18

Impala 基于hive的交互式实时分析工具(二) 概念及原理介绍

的区别概括：hive是【基于hadoop】的适合【离线批处理复杂sql分析的数仓工具】，impala是【基于hive】的适合【实时交互简单sql的数仓工具】执行计划1.hive：hive是底层将sql转化为mapreduce
章云邰·2023-12-22 01:34

大数据处理与分析

掌握分布式并行编程框架MapReduce掌握基于内存的分布式计算框架Spark理解MapReduce的工作流程、Spark运行原理熟悉机器学习概念一.MapReduceHadoopMapReduce是一个软件框架
僖僖cc·2023-12-21 22:34

大数据处理与分析-Spark

导论(基于Hadoop的MapReduce的优缺点）MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce是一种用于处理大规模数据集的编程模型和计算框架
僖僖cc·2023-12-21 22:03

大数据---16.MapReduce的数据去重复操作实例

MapReduce的数据去重复操作实例1.原始数据：phone.txt1341341307广东惠州移动51600007524413001341341308广东惠州移动51600007524413001341341309
学无止境的大象·2023-12-21 19:10

大数据---15.Mapreduce案例之---统计手机号耗费的总上行流量、下行流量、总流量

Mapreduce案例之—统计手机号耗费的总上行流量、下行流量、总流量1.需求：统计每一个手机号耗费的总上行流量、下行流量、总流量2.数据准备：2.1输入数据格式：时间戳、电话号码、基站的物理地址、访问网址的
学无止境的大象·2023-12-21 19:39

大数据--- 14.MapReduce的本地操作和集群计算与打包到hadoop运行

MapReduce的本地操作和集群计算与打包到hadoop运行通过MapReduce处理本地手机销量1.通过MapReduce来操作我们上面文件的统计；其实就是使用框架来做计算；他的优点就是吧之前我们处理数据和
学无止境的大象·2023-12-21 19:39

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

Hadoop进阶2-Hadoop权威指南C1-C6阅读笔记

C1初识HadoopRAID-冗余硬盘阵列Hadoop提供了一个可靠的共享存储和分析系统HDFS-实现数据的存储MapReduce-实现数据的分析和处理寻址是将磁头移动到特定硬盘位置进行读写操作的过程-
neo_ng·2023-12-21 18:02

Hive入门＋部署

5.配置Hive6.初始化元数据库7.启动Hive（使用Hadoop用户）实例查看HDFS上表中存储的内容在mysql中查看表的相关信息在WEB上查看MapReduce总结概念1.基本概述数据的统计分析
Y蓝田大海·2023-12-21 14:32

hive企业级调优策略之如何用Explain查看执行计划

Explain执行计划概述Explain呈现的执行计划，由一系列Stage组成，这一系列Stage具有依赖关系，每个Stage对应一个MapReduceJob，或者一个文件系统操作等。
Appreciate(欣赏)·2023-12-21 14:00

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

近日在2023云栖大会上，阿里云开源大数据产品进行了年度发布：E-MapReduce、Elasticsearch等开源大数据产品全面Serverless化；创新性推出Flink与Paimon搭档的新一代流式湖仓
阿里云大数据AI技术·2023-12-21 08:00

【大数据存储与处理】实验六 MongoDB 聚合函数 MapReduce

实验六MongoDB聚合函数MapReduce【实验目的】：1.掌握mongodb的mapreduce聚合函数。
friklogff·2023-12-21 06:55

计算机毕业设计吊打导师hadoop+spark+hive知识图谱股票推荐系统 股票数据分析可视化大屏 股票基金爬虫 股票基金大数据 机器学习 大数据毕业设计

png2.png5.png6.png7.png8.png9.png10.png11.png12.png流程：1.采集雪球网约50万股票数据存入mysql;2.使用pandas+numpy或hadoop+mapreduce
计算机毕业设计大神·2023-12-21 05:47

数据结构与算法之美学习笔记：38 | 分治算法：谈一谈大规模计算框架MapReduce中的分治思想

分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结前言本节课程思维导图：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS（hdfs）和Bigtable(hbase
浊酒南街·2023-12-21 03:51

一小时搞定Mapreduce程序

之前一直用hive处理数据，觉得MR程序打包上传的比较麻烦，后来偶遇hive搞不定的文件网上找了个MR的例子稍微改一下感觉也比较方便，主要是处理速度快。MR程序主要是有3各类：main函数类，map重载类，reduce重载类。第一步：maven里面添加几个jar包：代码如下：第二步：main类：主要是调度MR程序的启动运行importorg.apache.hadoop.conf.Configura
snow_14b5·2023-12-21 02:42

【spark】spark内核调度(重点理解)

Spark为什么比MapReduce快spark并行度如何设置并行度：spark.default.parallelism集群中如何规划并行度spark的任务调度Spark运行中的概念名词大全spark内核调度
小赵要加油·2023-12-21 01:56

MapReduce综合应用案例 — 电信数据清洗

PhoneLog：封装对象LogMR：MapReduce操作DBHelper：MySQL工具类具体本关的预期输出请查看右侧测试集。
柔雾·2023-12-20 16:54

sqoop简介及安装配置

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库1.png工作机制将导入或导出命令翻译成mapreduce
一个人一匹马·2023-12-20 11:30

大数据讲课笔记5.1 初探MapReduce

文章目录零、学习目标一、导入新课二、新课讲解（一）MapReduce核心思想（二）MapReduce编程模型（三）MapReduce编程实例——词频统计思路1、Map阶段（映射阶段）2、Reduce阶段
howard2005·2023-12-20 09:40

hadoop运行jar遇到的一个报错

报错信息：2023-12-1914:28:25,893INFOmapreduce.Job:Jobjob_1702967272525_0001failedwithstateFAILEDdueto:Applicationapplication
sunweiking·2023-12-20 08:18

hive执行集群模式正常本地模式报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

问题：同样的SQL在集群模式执行成功，但是切换到本地模式执行失败出现以下报错原因：由于本地模式内存不够导致无法执行任务解决方法：将hive-env.sh.template后缀.template去掉默认HADOOP_HEAPSIZE为256(MB)，设置成1024M把原来的注释去掉：重新启动hive执行成功：
Appreciate(欣赏)·2023-12-20 06:05
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他