mrjob

Hadoop-MapReduce-YarnChild启动篇

接下来我们一起来看看三、结论MRJobConfig是一个MRJob的配置，里面包含了Map、Reduce
隔着天花板看星星·2024-01-30 07:21

Hadoop-MapReduce-MRAppMaster启动篇

接下来我们一起来看看三、结论MRJobConfig是一个MRJob的配置，里面包含了Map、Reduce、Com
隔着天花板看星星·2024-01-27 07:20

Hive 基础知识

2.Hive是什么（1）Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后再Ha
辰阳星宇·2024-01-09 13:22

mapreducer 分布式计算框架

点击下面连接按笔记顺序进行学习mapreducer原理hadoop的Windows伪分布式环境部署Windows开发wordcountmapreducer编程counter、combiner、压缩、任务配置、MRJOB
海牛大数据_青牛老师·2023-11-25 14:21

MapReduce入门编程及源码详解

文章目录1入门编程WordCount2MRJob提交源码分析ClassJobJob.waitForCompletionjob.submit3MRMap阶段过程详解3.1MapTask类解读3.2InputFormatgetSplitscreateRecordReader3.3Mapper3.4OutputCollectorNewOutputCollectorMapOutputBuffer4MRRe
火 玄·2023-11-06 05:24

hive常见面试题

语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MRJob
Small_temper·2023-11-01 20:29

2018-06-07

1.hive哪些sql会触发mrjob聚合，某些insert2.createtabletasselect...这样的SQL会不会创建mrjob会3.hive的数据分为哪两块分别存储哪里元数据,mysql
CrUelAnGElPG·2023-10-18 23:17

sqoop导入数据报错解决

使用sqoop导入数据发现mrjob执行报错如下：看打印的信息没找到原因，查看web日志http://rmhost:8042/logs/userlogs/rmhost替换成自己的rm的host，在该目录下找到
qq_22528315·2023-09-21 10:43

Hive的分区和分桶

1.2.2动态分区配置1.2.2.1动态分区开启1.2.2.2动态分区模式1.2.2.3一个mr节点上，设置动态分区的最大数量1.2.2.4所有mr节点上，设置所有动态分区的最大数量1.2.2.5设置所有mrjob
夜夜流光相皎洁_小宁·2023-09-21 05:52

Hive中Join优化的几种算法

CommonJoin2.MapJoin3.BucketMapJoin4.SortMergeBucketMapJoin（SMBMapJoin）1.CommonJoinCommonJoin是最稳定且默认的Join算法，通过MRJob
程序终结者·2023-09-09 09:52

【Hive】Hive Join 介绍

Hive执行引擎会将HQL“翻译”成为map-reduce任务，在执行表的Join操作时，如果多个表中每个表都使用同一个列进行连接（出现在Joinon子句中），则只会生成一个MRJob：SELECTa.val
w1992wishes·2023-09-07 10:51

Hive On Tez报错汇总

前言Hive：2.3.0Hadoop：2.7.7JDK：1.8.0_221Tez：0.9.1报错一报错内容：在Hive下使用Tez引擎执行MRJob时报错：Containerkilledonrequest.Exitcodeis143
TomAndersen·2023-08-11 14:44

【Hive 01】简介、安装部署、高级函数使用

它提供了一系列的工具，可以进行数据提取、转化、加载（ETL）Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户直接查询Hadoop中的数据Hive包含SQL解析引擎，它会将SQL语句转译成MRJob
不菜不菜·2023-07-24 16:31

python hadoop的应用_hadoop python api

mrjob用纯Python编写多步MapReduce作业。使用mrjob编写的MapReduce作业可以在本地测试，在Hadoop集群上运行，或...文章python人工智能命理2
weixin_39914938·2023-06-09 16:15

2018-06-14 Morning Study — Day031

4.sqoop是mrjob?5.我们常用的是sqoop1，那么对比sqoop2，这两者区别6.sqoop导入，可以根据SQL导吗？7.
LY_babc·2023-03-10 12:51

MRJob 十分钟入门: 用 Python 轻松运行 MapReduce

最近在学mapreduce,用到mrjob，在网上没有找到好的中文教程，就自己翻译了一下官方文档的重点。简介mrjob是用来写能在hadoop运行的python程序的最简便方法。
郭威廉·2022-02-04 20:16

20180614早课记录31-Sqoop

还没具体做4.sqoop是mrjob?是mrjob5.我们常用的是sqoop1，那么对比sqoop2，这两者区别两个不同版本，完全不兼容6.sqoop导入，可以根据SQL导吗？可以7.（拓展题）sq
K_un·2021-05-02 01:39

大数据开发之Hive优化篇1-Hive 优化概述

备注:Hive版本2.1.1文章目录一.Hive的实现原理二Hive优化2.1选择合理的存储格式和压缩格式2.2MRJob优化2.3Join优化2.3.1MapJoin优化2.3.2SMBJoin优化2.4
只是甲·2021-01-19 09:28

Hadoop之MRjob入门

Hadoop之MRjob入门一、mrjob的安装Hadoop的各Python框架对比使用mrjob实现词组统计**启动Hadoop集群****启动hadoop集群:**代码实践mrjob多种运行方式实战模拟一实战模拟二实战模拟挑战实验总结
Joel Jin·2020-10-18 14:02

hive：join操作

hive的多表连接，都会转换成多个MRjob，每一个MRjob在hive中均称为Join阶段。
diaomu5377·2020-09-12 08:32

Python MrJob的MapReduce实现电影推荐系统

使用PythonMrJob的MapReduce实现电影推荐系统-大魁的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/lzt1983/article/details/8777884电影推荐系统假设我们现在有一个影视网站，每一个用户可以给电影评1到5分，现在我们需要计算每两个电影之间的相似度，其过程是：对于任一电影A和B，我们能找出所有同时为A和B评分过的人；根据这些人的评
葡萄喃喃呓语·2020-08-22 21:56

Kylin 实时流处理技术探秘.笔记

在对实时要求比较迫切的场景，这种是不能容忍的，于此同时其实现方式是通过每一个批次数据创建一个segment，一个segment对应一个HBaseTable，长期以往会导致大量的HBaseTable存在和MRJob
迹_Jason·2020-08-21 00:36

Kylin 实时流处理技术探秘.笔记

在对实时要求比较迫切的场景，这种是不能容忍的，于此同时其实现方式是通过每一个批次数据创建一个segment，一个segment对应一个HBaseTable，长期以往会导致大量的HBaseTable存在和MRJob
迹_Jason·2020-08-20 16:05

Kylin 实时流处理技术探秘.笔记

在对实时要求比较迫切的场景，这种是不能容忍的，于此同时其实现方式是通过每一个批次数据创建一个segment，一个segment对应一个HBaseTable，长期以往会导致大量的HBaseTable存在和MRJob
迹_Jason·2020-08-20 16:05

Hive数据倾斜解决方案

hive.map.aggr=trueMap端部分聚合，相当于Combinerhive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MRJob
忍哥·2020-08-18 12:56

数据倾斜问题

hive.map.aggr=true在map端部分聚合，相当于combinerhive.groupby.skewindata=true，数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MRJOB
SmartShylyBoy·2020-08-18 10:27

数据倾斜的原因以及怎么去解决

语句造成数据倾斜如何解决数据倾斜1.hive设置hive.map.aggr=true，hive.groupby.skewindata=true2.有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MRJob
蒋建国菜菜·2020-08-18 10:10

MapReduce之多个Job串联的案例

数据输入期待输出比如：atguiguc.txt-->2b.txt-->2a.txt-->3分析如果一个需求，一个MRjob无法完成，可以将需求拆分为若干Job，多个Job按照依赖关系依次执行！
孙晨c·2020-08-17 18:00

使用Python MrJob的MapReduce实现电影推荐系统

原文链接：http://www.sobuhu.com/archives/567最近发现一个很好玩的Python库，可以方便的使用在Python下编写MapReduce任务，直接使用HadoopStreaming在Hadoop上跑。对于一般的Hadoop而言，如果任务需要大量的IO相关操作（如数据库查询、文件读写等），使用Python还是Java、C++，性能差别不大，而如果需要大量的数据运算，那可
yinyao1992·2020-08-12 14:52

Pig源码分析: 简析执行计划的生成

不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MRJob，而是从输入一批PigDSL到待执行的真正执行计划的关键变化步骤（方法和类）
张包峰·2020-08-11 01:05

Kylin 实时流处理技术探秘.笔记

在对实时要求比较迫切的场景，这种是不能容忍的，于此同时其实现方式是通过每一个批次数据创建一个segment，一个segment对应一个HBaseTable，长期以往会导致大量的HBaseTable存在和MRJob
迹说·2020-08-03 05:41

hadoop mapreduce的job的几种运行模式

mrjob的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器执行命令hadoopjarwc.jarcn.itheima.hadoop.MainClassRunner
刘赵强·2020-07-30 15:33

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1

执行：python/home/hduser/Workspace/Ch5_Py_mrjob_PegasosSVM/mrSVM.py-rhadoopimportnumpy.core.multiarrayImportError
wqq奋斗的小鸟·2020-07-30 05:24

深入浅出数据仓库中SQL性能优化之Hive篇

MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
qinzl_1·2020-07-16 04:29

数据仓库中的SQL性能优化 - Hive篇

mapreducejob又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRjob
guohecang·2020-07-09 16:26

Yarn（MapReduce 2.0）下分布式缓存（DistributedCache）的注意事项

Apachehadoop0.20.203升级到了CDH4，迈进了Hadoop2.0的新时代，虽然新一代的hadoop努力做了架构、API上的各种兼容，但总有“照顾不周”的地方，下面说的这个有关分布式缓存的案例就是于此有关：一些MRjob
weixin_34216107·2020-07-08 17:43

Mrjob实现Hadoop结构化数据预处理

Mrjob实现Hadoop结构化数据预处理前言一、环境二、Mrjob基本框架三、实验基本步骤（1）PreProcessMain（2）PreProcessMaster（3）dataClean()前言Hadoop
晨遵旨·2020-07-06 05:52

数据仓库中的 SQL 性能优化（Hive篇）

mapreducejob又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRjob
weixin_34198583·2020-07-06 00:34

2016数据挖掘面试总结

hive.map.aggr=trueMap端部分聚合，相当于Combinerhive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MRJob
qq_16365849·2020-07-02 16:36

在Centos上安装python及其附属环境

安装python2.7.5，pip和mrjob等环境首先测试是否装有GCC：[root@IAE-HADOOP01/]#gccgcc:没有输入文件表示安装成功[root@IAE-HADOOP01/]#gccbash
itgeeks·2020-06-29 18:04

Storm 简介

Storm基本概念Hadoop(MRjob)Storm描述JobTrackerNimbus负责资源分配和任务调度.接收clien
DongGuangqing·2020-06-29 05:01

【MapReduce】表自然连接笔记 Windows环境（HadoopStreaming、mrjob、java api三个版本）

表自然连接student_course表：(SID,CID,SCORE,TID)student表：(SID,NAME,SEX,AGE,BIRTHDAY,DNAME,CLASS)均有表头思路根据文件名添加标记，两个表通过mapper分别转换为和的形式，然后通过shuffle排好序，很容易可以得到多串相同SID的行，在reducer中，对于相同的SID，判断是“S”还是“SC”，然后笛卡尔积即可。查询
_Mogician·2020-06-29 03:41

kylin Build过程问题排查：17 Step Name: Build Cube In-Mem

KylinBuild执行到底17步时报错：17StepName:BuildCubeIn-Mem，错误截图如下：点左下角的MRJob图标，打开查看错误信息：从MRJob中的描述中可见详细的错误信息：TherequiredMAPcapabilityismorethanthesupportedmaxcontainercapabilityinthecluster.KillingtheJob.mapReso
weixin_34279184·2020-06-28 15:44

利用python操作mrjob实例---wordcount

2.安装mrjob：pipinstallmrjob（这里注意：pip是python2
weixin_30615767·2020-06-27 22:19

【原创】python MRJob -…

importreimportsysimportjiebafrommrjob.jobimportMRJobword_re=re.compile(u"[\u4E00-\u9FA5]+")classTestMrJob(MRJob
zhipeng-python·2020-06-27 04:01

Hadoop学习笔记：MapReduce原理简单学习

这两个函数的形参是key、value对，表示函数的输入信息MRJob提交过程(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoo
不再去说匆前·2020-06-26 21:04

详解mrjob输入输出协议（Protocols）

更详细的内容可以参考最新的文档和源码（https://github.com/Yelp/mrjob）输入输出协议官方链接：https://pythonhosted.org/mrjob/guides/writing-mrjobs.html
Never-Giveup·2020-06-25 11:31

Mrjob框架编写MapReduce

Hadoop：使用Mrjob框架编写MapReduce-MacoLee-博客园http://www.cnblogs.com/MacoLee/p/5805656.htmlMrjob是一个编写MapReduce
葡萄喃喃呓语·2020-06-25 09:06

大数据之Hadoop（六）：MRJOB 文件合并

文章目录3.4MRJOB文件合并3.4MRJOB文件合并需求描述两个文件合并类似于数据库中的两张表合并uiduname01user102user203user3uidorderidorder_price010180010290020382020495mrjob
汪雯琦·2020-06-25 09:28

大数据之Hadoop（五）：MapReduce实战、利用MRJob编写和运行MapReduce代码、运行MRJOB的不同方式、mrjob 实现 topN统计（实验）

文章目录MapReduce实战3.3.1利用MRJob编写和运行MapReduce代码3.3.2运行MRJOB的不同方式3.3.3mrjob实现topN统计（实验）MapReduce实战3.3.1利用MRJob
汪雯琦·2020-06-25 09:58
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他