MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob

如：python${ReportDailyPyFile}${pystr}--jobconfmapreduce.job.priority=VERY_HIGH--jobconfmapred.map.tasks=20--jobconfmapred.reduce.tasks=5>>${sequencelog}2>&1hadoop任务调度优先级：--jobconfmapreduce.job.priority

在hadoop的开发中，经常要根据streaming中不同的文件名做不同的处理，需要获取文件名。1，hadoop上在java开发可用：FileSplitfileSplit=(FileSplit)reporter.getInputSplit();StringfileName=fileSplit.getPath().getName();来获取文件名称。,2，同样python开发时，可以用：来获取文件名

hadoop-yarn-site/YARN.htmlyarn架构yarn将jobTracker的两个功能-资源管理和作业调度（监控）拆分成了两个守护进程---RM和ApplicationMaster，一个任务可以是一个传统的mrjob

resourcemanager和nodemanager协作完成job运行所需要的资源分配3.运行Job------Mapreduce框架中的主管进程MRAMaster负责整个Job运行过程的协调控制二：mrjob

原因在于：通过start-all.sh启动hadoop各项节点后，historyserver并没有启动，需要手动启动，因此可以通过以下命令来手动启动historyserver。启动命令：mr-jobhistory-daemon.shstarthistoryserverhistoryserver就启动了，jps可以看到。什么是jobhistoryserver：Hadoop自带了一个历史服务器，可以通

想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。

WordCounttop-Ninline方式运行local方式运行提交到集群运行hadoop-streamingWordCountfrommrjob.jobimportMRJobclassMRWordCounter(MRJob

什么是mrjob一个通过hadoop、emr的mapreduce编程接口（streamming），扩展出来的一个python的编程框架。

Runningstep1of1...packageJobJar:[/tmp/hadoop-unjar6848459156223719147/][]/tmp/streamjob1203525417845159775.jartmpDir=nullConnectingtoResourceManagerat/0.0.0.0:8032ConnectingtoResourceManagerat/0.0.0.0

在对实时要求比较迫切的场景，这种是不能容忍的，于此同时其实现方式是通过每一个批次数据创建一个segment，一个segment对应一个HBaseTable，长期以往会导致大量的HBaseTable存在和MRJob

数据来源logsRDBMSwaysofmovedataintoHBaseHBaseputAPIHBasebulkloadtool自定义MRjob最常见的RDBMS抽取数据JDBC,通用，实时性（全量/增量

可以将结构化的数据文件映射为一张数据库表可以为生成的数据库表提供完整的sql查询功能(提供了一系列工具)可以将sql语句转换为MRjob进行运行(内部实现,当使用mapreduce作为engine的时候就转为

5.hive的执行引擎是mr，请问哪种hiveSQL是触发mrjob的6.createtableaasselect*fromb;你们觉得有没

前言：上节课我们讲了MRjob的提交YARN的工作流程与YARN的架构，本次课程详细讲讲YARN，多多总结。

Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后再hadoop上运行，达到快速mysql是存放数据的，而hive是不存放数据的，hive的表是纯逻辑表，只是表的定义，即表的元数据，实际数据在

MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob

HiveHive是什么Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后再在Hadoop平台上运行，达到快速开发的目的。

1、索引在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;在执行索引字段查询时候，首先额外生成一个MRjob，根据对索引列的过滤条件

HIVE的driver(核心)包含:解释器:(解析器)解释输入的hql语句编译器:hql转化为语法树>查询块>查询计划>物理计划(MRjob)>优化执

Hive是一个SQL解析引擎，将SQL语句转译成MRJob,然后再Hadoop平台上运行，达到快速开发的目的。Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。

WordCounttop-Ninline方式运行local方式运行提交到集群运行hadoop-streamingWordCountfrommrjob.jobimportMRJobclassMRWordCounter(MRJob

控制生成两个MRJob,第一个MRJobMap的输出结果随机分配到reduce中减少某些key值条数过多某些key条数过小造成的数据倾斜问题。在第一个MapReduce中，map的

tez#简介tez通过允许像ApacheHive和ApachePig这样的项目运行复杂的任务，Tez可以用来处理数据，这在更早地时候采用了多个MRjob，现在可以在一个Tez的执行工作#官网http:/

1.MRJOB提交到Yarn的工作流程=Yarn的架构设计=Yarn的工作流程（可参考博客mapreduce架构）2.ContainerContainer：容器Yarn的资源的抽象，封装了某个节点的多维度资源

MRJOB提交到Yarn的工作流程Yarn的架构设计Yarn的工作流程1.用户向Yarn的RM提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMaster命令等2

hql脚本：Java代码hive-f/home/usr/my.sql2.基于hive执行hql命令：Java代码bin/hive-e"selectcount(1)fromtab;"3.安静模式执行，不打印mrjob

hive查询语法提示：在做小数据量查询测试时，可以让hive将mrjob提交给本地运行器运行，可以在hive会话中设置如下参数：hive>sethive.exec.mode.local.auto=true

Hive索引机制：在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;在执行索引字段查询时候，首先额外生成一个MRjob

语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MRJob

使用Python的MrJob写了MapReduce任务后，运行MapReduce任务的时候报错如下：经过排查发现，这是由于hadoop刚刚启动，还处于安全模式下，因此执行MapReduce任务会报错，等待一会

时间有限复杂的问题简单说，什么都不如来干货~使用MRJob框架时用网上说的提交任务到集群的命令，程序会跑着挂掉。。。报143127的错误！！

1.hive哪些sql会触发mrjob带聚合函数,某些insert,还有createtableasselect2.createtabletasselect...这样的SQL会不会创建mrjob会3.hive

1.hive哪些sql会触发mrjob2.createtabletasselect...这样的SQL会不会创建mrjob3.hive的数据分为哪两块分别存储哪里4.一般工作中，udf编写是很多的，那么怎样临时生效

一、Hive基础Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后在Hadoop平台上运行，达到快速开发的目的。

环境准备想了解如何使用原生Python编写MapReduce程序或者如何搭建Hadoop环境请参考博文《Python之——使用原生Python编写HadoopMapReduce程序(基于Hadoop2.5.2)》的内容Mrjob

mrjob的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器执行命令hadoopjarwc.jarcn.itheima.hadoop.MainClassRunner

1、连接顺序优化多表连接，会转换成多个MRJob，每一个MRJob在Hive中称为JOIN阶段（Stage）。

首先，对于Map/Reduce端启动的任务，都是通过一些参数来控制javaopts的，mapreduce.map.java.opts，mapreduce.reduce.java.opts，这些参数都在MRJob

具体原因查找1、查看Parameters2、查看MRJob日志，发现问题所在2017-03-1615:42:43,241INFO[AsyncDispatchereventhandler]org.apache.hadoop.mapreduce.v2

MapReduceJob又有Map,Spill,Shuffle,Sort,Reduce等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob

MapReduceJob又有Map,Spill,Shuffle,Sort,Reduce等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob

hadoop是java实现的，利用java可以很方便的获取相关环境变量，其内部包含在Context和MRJob

hive.map.aggr=trueMap端部分聚合，相当于Combinerhive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MRJob

mapreducejob又有map，reduce，spill，Shuffle，sort等几个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会分细节)，针对MR全局的优化，和针对整个查询(多MRjob

1.MRJob输入非常多，启动map非常多，如何提高MapTask启动速度(附加条件：集群很空闲，资源多多)： 参考答案：    a.重写调度器算法，降低时间复杂度b.Out-of-boundheartbeat

项目描述：今天花了680元买了阿里云的一台内存1G,带宽1M的云主机.想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境.可以用来进行基本的hbase入库,hadoop mrjob

项目描述：今天花了680元买了阿里云的一台内存1G,带宽1M的云主机.想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境.可以用来进行基本的hbase入库,hadoop mrjob

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob