mrjob

Hive JOIN使用详解

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob
王书兴·2015-06-11 18:00

Hive JOIN使用详解

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob
王书兴·2015-06-11 10:00

Hive JOIN使用详解

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob
鲍礼彬·2015-05-30 21:41

Hive JOIN使用详解

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob
baolibin528·2015-05-30 21:00

Hadoop2 MR-JobHistory服务介绍

1）MR-JobHistory服务目标主要是向用户提供历史的mapredJob查询2）MR-JobHistory服务架构详细解释：a）在运行MRJob时，MR的ApplicationMaster会根据mapred-site.xml
azhao_dn·2015-05-15 11:59

Hadoop2 MR-JobHistory服务介绍

1）MR-JobHistory服务目标主要是向用户提供历史的mapredJob查询2）MR-JobHistory服务架构详细解释：a）在运行MRJob时，MR的ApplicationMaster会根据mapred-site.xml
azhao_dn·2015-05-15 11:00

Hive索引原理机制与使用

Hive索引机制： 在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量; 在执行索引字段查询时候，首先额外生成一个MRjob
superlxw1234·2015-05-08 08:00

Hive索引原理机制与使用

Hive索引机制： 在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量; 在执行索引字段查询时候，首先额外生成一个MRjob
superlxw1234·2015-05-08 08:00

Hive索引原理机制与使用

Hive索引机制：在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;在执行索引字段查询时候，首先额外生成一个MRjob
superlxw1234·2015-05-08 08:00

深入浅出数据仓库中SQL性能优化之Hive篇

MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
nysyxxg·2015-02-05 13:00

Hive优化

mapreducejob又有map，reduce，spill，Shuffle，sort等几个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会分细节)，针对MR全局的优化，和针对整个查询(多MRjob
lzm1340458776·2015-02-01 15:00

深入浅出数据仓库中SQL性能优化之Hive篇

MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
ajaxj·2015-01-14 10:00

Hadoop：处理工作流的方法

1、串行的运行多个MRJob2、使用JobControl类3、使用ChainMapper、ChainReducer4、使用Oozie参考：MapReduce，组合式，迭代式，链式：http://www.cnblogs.com
樂天·2014-12-02 09:00

数据仓库中的 SQL 性能优化（Hive篇）

mapreducejob又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRjob
xrzs·2014-08-31 02:00

Apache Crunch设计：基础数据处理

背景ApacheCrunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MRJob的执行进行优化
zbf8441372·2014-08-03 17:00

hive执行hql脚本

/home/usr/my.sql 2.基于hive执行hql命令： bin/hive -e "select count(1) from tab;" 3.安静模式执行，不打印mrjob
小网客·2014-06-18 14:00

hive执行hql脚本

/home/usr/my.sql 2.基于hive执行hql命令： bin/hive -e "select count(1) from tab;" 3.安静模式执行，不打印mrjob
小网客·2014-06-18 14:00

Yarn（MapReduce 2.0）下分布式缓存（DistributedCache）的注意事项

Apachehadoop0.20.203升级到了CDH4，迈进了Hadoop2.0的新时代，虽然新一代的hadoop努力做了架构、API上的各种兼容，但总有“照顾不周”的地方，下面说的这个有关分布式缓存的案例就是于此有关：一些MRjob
xrzs·2014-03-08 02:00

给mrjob的python脚本加map reduce 个数限制 和 hadoop任务调度优先级

如：python${ReportDailyPyFile} ${pystr} --jobconfmapreduce.job.priority=VERY_HIGH --jobconfmapred.map.tasks=20--jobconfmapred.reduce.tasks=5>>${sequencelog}2>&1hadoop任务调度优先级：--jobconfmapreduce.job.prior
lifeiaidajia·2013-12-30 11:00

python调用mrjob实现hadoop的mapreduce日志解析

mrjob可以让用Python来编写MapReduce运算，并在多个不同平台上运行，你可以：使用纯Python编写多步的MapReduce作业在本机上进行测试在Hadoop集群
rfyiamcool·2013-12-24 14:28

python调用mrjob实现hadoop的mapreduce日志解析

mrjob可以让用Python来编写MapReduce运算，并在多个不同平台上运行，你可以：使用纯Python编写多步的MapReduce作业在本机上进行测试在Hadoop集群
rfyiamcool·2013-12-24 14:28

MAP TASK内存泄露

这几天于遇到一个略诡异的CASE：线上报警一个MRJob的一个MAPTASK使用的物理内存过大，仔细一看超过了Xmx=1.3GB，而物理内存消耗到1.7GB，第一反应是不是遇到JVM内存泄露了.先对MAPTASK
MIKE老毕·2013-11-12 02:55

MAP TASK内存泄露

这几天于遇到一个略诡异的CASE：线上报警一个MRJob的一个MAPTASK使用的物理内存过大，仔细一看超过了Xmx=1.3GB，而物理内存消耗到1.7GB，第一反应是不是遇到JVM内存泄露了.先对MAPTASK
MIKE老毕·2013-11-12 02:55

python hadoop 在streaming中获取文件名的方法 （参考java ）适用： MRjob

在hadoop的开发中，经常要根据streaming中不同的文件名做不同的处理，需要获取文件名。1，hadoop上在java开发可用：FileSplitfileSplit=(FileSplit)reporter.getInputSplit();StringfileName=fileSplit.getPath().getName();来获取文件名称。,2，同样python开发时，可以用：来获取文件名
lifeiaidajia·2013-11-06 11:00

Mrjob介绍 (hadoop with python)

什么是mrjob一个通过hadoop、emr的mapreduce编程接口（streamming），扩展出来的一个python的编程框架。
lifeiaidajia·2013-11-04 11:00

数据仓库中的SQL性能优化（Hive篇）

mapreducejob又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRjob
·2013-09-01 10:00

HADOOP 调试MR job

 调试MRjob，最好在单机环境中，这样可以降低问题的复杂度。
edward_li·2013-04-17 19:18

HADOOP 调试MR job

调试MRjob，最好在单机环境中，这样可以降低问题的复杂度。
edward_li·2013-04-17 19:18

使用Python MrJob的MapReduce实现电影推荐系统

原文链接：http://www.sobuhu.com/archives/567最近发现一个很好玩的Python库，可以方便的使用在Python下编写MapReduce任务，直接使用HadoopStreaming在Hadoop上跑。对于一般的Hadoop而言，如果任务需要大量的IO相关操作（如数据库查询、文件读写等），使用Python还是Java、C++，性能差别不大，而如果需要大量的数据运算，那可
lzt1983·2013-04-09 15:00

从jar包中读取资源文件

因为项目需要将配置文件打包到jar包，然后再MRjob中读取资源。  
leoleocmm·2013-02-22 13:00

Hadoop小集群上减少MR任务调度延迟

Raymond转载请注明出处Email：colorantat163.comBLOG：http://blog.csdn.net/colorant/ 最近在Hadoop1.0.4稳定版上搭的1+4节点上运行MRJob
colorant·2012-12-13 10:00

用maven的ant run插件自动部署MR job依赖的jar到HDFS

背景远程提交MRjob时将MRjob依赖的所有jar都发布到HDFS中，同时将这些jar加到hadoopjob的classpath上。如果每次手动上传就太费劲。项目集成maven。
ldd600·2012-09-07 20:00

Hive优化（2）之系统评估reduce数为1的MR Job优化

名词解释：云霄飞车：hive本身对MRJob的reduce数估算不合理，导致reduce分配过少，任务运行很慢，云霄飞车项目主要对hive本身reduce数的估算进行优化。
lpxuan151009·2012-09-07 20:44

Hive优化（2）之系统评估reduce数为1的MR Job优化

名词解释：云霄飞车：hive本身对MRJob的reduce数估算不合理，导致reduce分配过少，任务运行很慢，云霄飞车项目主要对hive本身reduce数的估算进行优化。
lpxuan151009·2012-09-07 20:00

Word Collectin From Tech websites

make it simple to  关于点评网站Yelp和它的mrjob的解释： Check out Yelp.com's newest Ope
backsnow·2010-11-01 14:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他