mrjob

深入浅出数据仓库中SQL性能优化之Hive篇

MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
Time_Now·2020-06-25 05:17

给mrjob的python脚本加map reduce 个数限制 和 hadoop任务调度优先级

如：python${ReportDailyPyFile}${pystr}--jobconfmapreduce.job.priority=VERY_HIGH--jobconfmapred.map.tasks=20--jobconfmapred.reduce.tasks=5>>${sequencelog}2>&1hadoop任务调度优先级：--jobconfmapreduce.job.priority
lifeiaidajia·2020-06-24 04:53

python hadoop 在streaming中获取文件名的方法 （参考java ）适用： MRjob

在hadoop的开发中，经常要根据streaming中不同的文件名做不同的处理，需要获取文件名。1，hadoop上在java开发可用：FileSplitfileSplit=(FileSplit)reporter.getInputSplit();StringfileName=fileSplit.getPath().getName();来获取文件名称。,2，同样python开发时，可以用：来获取文件名
lifeiaidajia·2020-06-24 04:22

12.深入理解juc-并发容器-ThreadLocal

hadoop-yarn-site/YARN.htmlyarn架构yarn将jobTracker的两个功能-资源管理和作业调度（监控）拆分成了两个守护进程---RM和ApplicationMaster，一个任务可以是一个传统的mrjob
colossus_bigdata·2020-06-23 06:13

MR job 的集群运行模式

resourcemanager和nodemanager协作完成job运行所需要的资源分配3.运行Job------Mapreduce框架中的主管进程MRAMaster负责整个Job运行过程的协调控制二：mrjob
有一束阳光叫温暖·2020-06-22 21:00

MRjob完成后hadoop端口号xx:10020 failed on connection exception: java.net.ConnectException: 拒绝连接;

原因在于：通过start-all.sh启动hadoop各项节点后，historyserver并没有启动，需要手动启动，因此可以通过以下命令来手动启动historyserver。启动命令：mr-jobhistory-daemon.shstarthistoryserverhistoryserver就启动了，jps可以看到。什么是jobhistoryserver：Hadoop自带了一个历史服务器，可以通
一小妖·2020-06-22 04:55

MRJob 极速入门，Python玩转Hadoop你会么？

想要Hadoop乖巧地运行Python程序，学习mrjob可能是最直接、最简单的方法了，你甚至都不要按安装部署Hadoop集群。
实验楼v·2020-06-22 01:05

大数据-hadoopMapReduce的mrjob实现

WordCounttop-Ninline方式运行local方式运行提交到集群运行hadoop-streamingWordCountfrommrjob.jobimportMRJobclassMRWordCounter(MRJob
GVTgh·2020-06-21 19:47

Mrjob介绍 (hadoop with python)

什么是mrjob一个通过hadoop、emr的mapreduce编程接口（streamming），扩展出来的一个python的编程框架。
lifeiaidajia·2020-06-21 02:15

centos+python3+mrjob+hadoop,python httpflow.py -r hadoop 报错，但使用“-r local”的方式正常？

Runningstep1of1...packageJobJar:[/tmp/hadoop-unjar6848459156223719147/][]/tmp/streamjob1203525417845159775.jartmpDir=nullConnectingtoResourceManagerat/0.0.0.0:8032ConnectingtoResourceManagerat/0.0.0.0
Mr_JWYang·2020-06-20 22:24

Kylin 实时流处理技术探秘.笔记

在对实时要求比较迫切的场景，这种是不能容忍的，于此同时其实现方式是通过每一个批次数据创建一个segment，一个segment对应一个HBaseTable，长期以往会导致大量的HBaseTable存在和MRJob
迹_Jason·2020-04-06 18:31

HBase 数据迁移

数据来源logsRDBMSwaysofmovedataintoHBaseHBaseputAPIHBasebulkloadtool自定义MRjob最常见的RDBMS抽取数据JDBC,通用，实时性（全量/增量
Gallin_Qiu·2020-03-16 12:23

Hive的入门知识

可以将结构化的数据文件映射为一张数据库表可以为生成的数据库表提供完整的sql查询功能(提供了一系列工具)可以将sql语句转换为MRjob进行运行(内部实现,当使用mapreduce作为engine的时候就转为
日出卡尔·2020-01-08 17:25

2018-06-04 Morning Study — Day024

5.hive的执行引擎是mr，请问哪种hiveSQL是触发mrjob的6.createtableaasselect*fromb;你们觉得有没
LY_babc·2020-01-04 03:17

YARN 生产详解

前言：上节课我们讲了MRjob的提交YARN的工作流程与YARN的架构，本次课程详细讲讲YARN，多多总结。
ly稻草·2019-12-26 04:21

hive

Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后再hadoop上运行，达到快速mysql是存放数据的，而hive是不存放数据的，hive的表是纯逻辑表，只是表的定义，即表的元数据，实际数据在
进击的小恶魔·2019-12-21 11:48

hive优化参数说明

MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
scottzcw·2019-11-02 13:13

Hive初识

HiveHive是什么Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后再在Hadoop平台上运行，达到快速开发的目的。
worthy·2019-09-08 00:00

Hive：索引和模式设计考虑因素

1、索引在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;在执行索引字段查询时候，首先额外生成一个MRjob，根据对索引列的过滤条件
英雄史诗·2019-09-04 15:12

BigBrother的大数据之旅Day 10 hive(1)

HIVE的driver(核心)包含:解释器:(解析器)解释输入的hql语句编译器:hql转化为语法树>查询块>查询计划>物理计划(MRjob)>优化执
BigBrother@@U·2019-08-12 20:25

Hive的原理

Hive是一个SQL解析引擎，将SQL语句转译成MRJob,然后再Hadoop平台上运行，达到快速开发的目的。Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。
Simon92·2019-04-28 00:00

大数据-hadoopMapReduce的mrjob实现

WordCounttop-Ninline方式运行local方式运行提交到集群运行hadoop-streamingWordCountfrommrjob.jobimportMRJobclassMRWordCounter(MRJob
GVTgh·2019-01-07 23:46

hive.groupby.skewindata=true作用

控制生成两个MRJob,第一个MRJobMap的输出结果随机分配到reduce中减少某些key值条数过多某些key条数过小造成的数据倾斜问题。在第一个MapReduce中，map的
just_fuck·2019-01-03 18:44

tez安装

tez#简介tez通过允许像ApacheHive和ApachePig这样的项目运行复杂的任务，Tez可以用来处理数据，这在更早地时候采用了多个MRjob，现在可以在一个Tez的执行工作#官网http:/
天枢dubhe·2018-11-26 11:47

Yarn的架构设计及容器（资源管理与调度)

1.MRJOB提交到Yarn的工作流程=Yarn的架构设计=Yarn的工作流程（可参考博客mapreduce架构）2.ContainerContainer：容器Yarn的资源的抽象，封装了某个节点的多维度资源
Jaserok·2018-10-21 20:28

MapReduce架构 （面试题）

MRJOB提交到Yarn的工作流程Yarn的架构设计Yarn的工作流程1.用户向Yarn的RM提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMaster命令等2
Jaserok·2018-10-20 18:38

hive：执行hql脚本

hql脚本：Java代码hive-f/home/usr/my.sql2.基于hive执行hql命令：Java代码bin/hive-e"selectcount(1)fromtab;"3.安静模式执行，不打印mrjob
花和尚也有春天·2018-10-19 12:35

hive：条件查询、join关联查询、分组聚合、子查询

hive查询语法提示：在做小数据量查询测试时，可以让hive将mrjob提交给本地运行器运行，可以在hive会话中设置如下参数：hive>sethive.exec.mode.local.auto=true
琦彦·2018-09-25 08:49

Hive索引

Hive索引机制：在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;在执行索引字段查询时候，首先额外生成一个MRjob
mnasd·2018-08-06 16:53

面试题整理(Hive)

语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MRJob
翱翔的江鸟·2018-08-05 10:37

Hadoop-2.6.5报错STDERR: mkdir: Cannot create directory /user/.../files. Name node is in safe mode.

使用Python的MrJob写了MapReduce任务后，运行MapReduce任务的时候报错如下：经过排查发现，这是由于hadoop刚刚启动，还处于安全模式下，因此执行MapReduce任务会报错，等待一会
Mr_JWYang·2018-08-04 14:51

Python Hadoop使用时注意的坑-- MRJob框架及python环境运行

时间有限复杂的问题简单说，什么都不如来干货~使用MRJob框架时用网上说的提交任务到集群的命令，程序会跑着挂掉。。。报143127的错误！！
Jackie_ZHF·2018-06-29 11:49

20180607早课记录26-Hive

1.hive哪些sql会触发mrjob带聚合函数,某些insert,还有createtableasselect2.createtabletasselect...这样的SQL会不会创建mrjob会3.hive
wangkunj·2018-06-07 14:20

2018-06-07 Morning Study — Day026

1.hive哪些sql会触发mrjob2.createtabletasselect...这样的SQL会不会创建mrjob3.hive的数据分为哪两块分别存储哪里4.一般工作中，udf编写是很多的，那么怎样临时生效
LY_babc·2018-06-07 08:28

大数据基础学习-7.Hive-1.1.0

一、Hive基础Hive是一个SQL解析引擎，将SQL语句转译成MRJob，然后在Hadoop平台上运行，达到快速开发的目的。
闲人勿-·2018-04-27 17:06

Python之——用Mrjob框架编写Hadoop MapReduce程序(基于Hadoop 2.5.2)

环境准备想了解如何使用原生Python编写MapReduce程序或者如何搭建Hadoop环境请参考博文《Python之——使用原生Python编写HadoopMapReduce程序(基于Hadoop2.5.2)》的内容Mrjob
冰 河·2018-01-14 14:18

关于在hadoop上job运行的几种方式(不同平台)

mrjob的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器执行命令hadoopjarwc.jarcn.itheima.hadoop.MainClassRunner
我不是coder·2017-12-19 22:04

Hive---Join 优化

1、连接顺序优化多表连接，会转换成多个MRJob，每一个MRJob在Hive中称为JOIN阶段（Stage）。
BestbpF·2017-11-06 12:08

MapReduce启动的Map/Reduce子任务简要分析

首先，对于Map/Reduce端启动的任务，都是通过一些参数来控制javaopts的，mapreduce.map.java.opts，mapreduce.reduce.java.opts，这些参数都在MRJob
clamaa·2017-04-11 09:54

【问题】Kylin Step 10 Build Cube失败

具体原因查找1、查看Parameters2、查看MRJob日志，发现问题所在2017-03-1615:42:43,241INFO[AsyncDispatchereventhandler]org.apache.hadoop.mapreduce.v2
巧克力黒·2017-03-16 16:01

Hive性能优化（新手重新标注版）

MapReduceJob又有Map,Spill,Shuffle,Sort,Reduce等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
cl5417·2017-02-18 21:59

Hive性能优化（新手重新标注版）

MapReduceJob又有Map,Spill,Shuffle,Sort,Reduce等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob
Sammion·2016-11-12 21:59

Hadoop map reduce 过程获取环境变量

hadoop是java实现的，利用java可以很方便的获取相关环境变量，其内部包含在Context和MRJob
zqiguoshang·2016-03-08 17:00

2016数据挖掘面试总结

hive.map.aggr=trueMap端部分聚合，相当于Combinerhive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true，生成的查询计划会有两个MRJob
qq_16365849·2016-03-08 09:00

Hive优化

mapreducejob又有map，reduce，spill，Shuffle，sort等几个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会分细节)，针对MR全局的优化，和针对整个查询(多MRjob
importdate·2016-01-31 17:00

Hadoop 相关问题

1.MRJob输入非常多，启动map非常多，如何提高MapTask启动速度(附加条件：集群很空闲，资源多多)： 参考答案：    a.重写调度器算法，降低时间复杂度b.Out-of-boundheartbeat
梅里之巅·2015-12-25 16:00

hadoop +zookeeper + hbase 单节点安装

项目描述：今天花了680元买了阿里云的一台内存1G,带宽1M的云主机.想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境.可以用来进行基本的hbase入库,hadoop mrjob
农民阿姨·2015-12-04 10:00

hadoop +zookeeper + hbase 单节点安装

项目描述：今天花了680元买了阿里云的一台内存1G,带宽1M的云主机.想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境.可以用来进行基本的hbase入库,hadoop mrjob
农民阿姨·2015-12-04 10:00

Hive JOIN使用详解

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob
Rainmt_水战·2015-08-06 16:56

Hadoop执行MR Job的基本过程

也就无法通过编程来实现MR，但是你仍然可以很容易地编写出特定查询分析的HQL语句，通过使用类似SQL的语法，将HQL查询语句提交Hive系统执行查询分析，最终Hive会帮你转换成底层Hadoop能够理解的MRJob
jiangshouzhuang·2015-06-21 15:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他