hiveSQL

SparkSql

MapReduce的Hive普遍快2倍以上，当数据全部load在内存的话，将快10倍以上，因此Shark可以作为交互式查询应用服务来使用2）Shark是完全兼容Hive的语法，表结构以及UDF函数等，已有的HiveSql
zhangronglin1·2022-08-18 20:23

大数据开发选择之技术路线 or 业务路线？

1）离线数仓的话写HiveSQL或者SparkSQL比较多，但也不是单纯的写写SQ
sheep8521·2022-07-31 10:10

hive sql和mysql的区别_【mysql和hivesql区别】

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件默认情况下，HiveSQL的底层基于MR程序运行。
琉璃纱·2022-07-30 11:31

硬刚Hive | 4万字基础调优面试小总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
浪尖聊大数据-浪尖·2022-07-20 10:11

hivesql修改字段类型_Hive SQL汇总

创建数据库createdatabaseifnotexistssopdmcomment'thisistestdatabase'withdbproperties('creator'='gxw','date'='2014-11-12')--数据库键值对属性信息location'/my/preferred/directory';显示所有表showtables;显示表的描述信息desc[extended,f
weixin_39782832·2022-07-15 09:24

大数据SQL优化之数据倾斜解决案例全集

外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变化；在SparkSQL里则是某个stage里，正在运行的任务数量长时间是1或者2不变。
OPPO互联网技术官方账号·2022-07-12 12:25

HiveSQL优化方法

Hive调优集锦Hive/HiveSQL常用优化方法全面总结关于Hive优化的四种方法总结HiveSQL优化Hive数据倾斜问题Hive常见的数据倾斜及调优技巧HiveSQL排序Hive作为大数据领域常用的数据仓库组件
天线嘟嘟茄·2022-06-15 14:14

第3节 hudi hive 数据同步，实现湖仓一体 cdh6.3.2存在版本兼容问题，spark可以查询HoodieParquetRealtimeInputFormat格式表，hive查询报错

hive（1）将Hudi目录编译好的hudi-hadoop-mr-bundle-0.9.0.jar，复制到hive的lib下让hive支持hudi,需要重启hiveserver2服务,或者不加入也可，在执行hivesql
第一次看海·2022-05-31 07:11

离线数据处理工具、准实时数据处理工具与实时数据处理工具

1、离线数据：hiveHive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveSQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上，Hadoop
烧卖攻城·2022-04-24 15:53

Hive系列（一）—— Hive初识及基础介绍

它可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能；其底层数据是存储在HDFS上，Hive的本质是将SQL语句转换
BigData_Hubert·2022-04-24 14:52

HiveSQL高级进阶10大技巧

直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！
·2022-03-24 14:19

万字长文详解HiveSQL执行计划

本文目录：一、前言二、SQL的执行计划explain的用法explain的使用场景案例一：join语句会过滤null的值吗？案例二：groupby分组语句会进行排序吗？案例三：哪条sql执行效率高呢？案例四：定位产生数据倾斜的代码段explaindependency的用法案例一：识别看似等价的代码案例二：识别SQL读取数据范围的差别explainauthorization的用法一、前言HiveSQ
五分钟学大数据·2022-03-22 10:00

利用hue调度shell脚本和hive脚本-Demo演示

在HDFS上创建一个shell脚本程序文件在HDFS上创建一个hivesql脚本程序文件如以下文件打开工作流调度页面。调用hive脚本调用shell脚本
小哇666·2022-02-28 15:56

Hive 面试题 | 连续登陆天数统计

连续登陆天数统计题目分析SQL解析与总结题目分析1.已知table1，请用hivesql分别实现table2和table3table1为用户活跃信息表，其中active_dt为活跃日期。
Klingx·2022-02-28 11:41

Hive sql 行列转换(行转列，列转行)

在Hivesql应用中会遇到“行转列”和“列转行”的场景，下面介绍其基本使用语法。
橘子的博客·2022-02-28 11:08

Hive常用性能优化方法实践全面总结

Hive在执行任务时，通常会将HiveSQL转化为MapReducejob进行处理。因此对Hive的调优，除了对Hive语句本身的优化，也要考虑Hive配置项以及MapRe
大数据学习与分享·2022-02-23 12:57

Hive中的数据迁移--迁移多库数据以及实际遇到的问题解决

如果数据表不是很多，我们可以直接使用HiveSQL来处理，一张一张表的导出，然后在进行导入。
达微·2022-02-22 04:13

Spark之没什么卵用笔记1之Spark SQL背景

Shark通过将hiveSQL转换成RDD的代码，运行在Spark上。随着Spark的发展，Shark对Hive代码的依赖（SQL解析，生成逻辑计划等
没什么卵用的杂鱼·2022-02-18 12:07

hive环境部署

Hive就是可以不用写MapReduceJava代码,而是写Sql语句完成MapReduce所能完成的功能;HiveSql语句经过Hive中的解析器(可以理解为jvm),解析,底层还是会转换成MapReduce
XtHhua·2022-02-16 04:02

HiveSQL高级进阶10大技巧

直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！
·2022-02-15 14:08

spark Sql

image.png二、hive与sparksqlHive，它是将HiveSQL转换成MapReduce然后提
小月半会飞·2022-02-08 17:55

hiveSQL的执行顺序以及hive优化

因为工作时以hivesql为主，所以本文以hivesql进行讲解。hive是基于Hadoop的MapRedu
YFSZ·2022-02-07 11:57

SQL去重方法汇总

在MySQL中通常是使用distinct或groupby子句，但在支持窗口函数的sql（如HiveSQL、Oracle等等）中还可以使用row_number窗口函数进行去重。
·2022-02-04 15:27

大数据SQL优化之数据倾斜解决案例全集

外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变化；在SparkSQL里则是某个stage里，正在运行的任务数量长时间是1或者2不变。
·2022-01-05 15:33

最强最全面的大数据SQL面试系列

本文档的SQL主要使用HiveSQL。因内容较多，带目录的PDF查看是比较方便的：最强最全面的大数据SQL经典面试题完整PDF版一、行列转换描述
·2021-12-28 09:10

Hive应用 | Hive性能调优

对Hive的调优可以从架构优化、参数优化以及HiveSQL优化三个方面考虑。一、架构优化1、执行引擎Hive支持多种执行引擎，例如：MR、Tez、Spark等。可以通过hive-
木衍小哥·2021-12-22 13:36

Hive底层原理

目录第六章HIveSQL底层执行原理和源代码解析6.1HIve底层执行架构6.2HIve底层执行原理6.3HIve编译成MapReduce过程6.4HIve编译成MapReduce原理6.4.1Join
斑马！·2021-11-12 18:27

hivesql笔记

一、常用聚合函数count():计数count(distinct字段)去重统计sum():求合avg():平均max():最大值min():最小值二、hivesql执行顺序from-->where-->
t_zcx·2021-11-11 11:00

SQL中的三种去重方法小结

在MySQL中通常是使用distinct或groupby子句，但在支持窗口函数的sql（如HiveSQL、Oracle等等）中还可以使用row_number窗口函数进行去重。
·2021-10-28 16:13

Hive SQL查询left join下on条件和where条件区别

我们通常的认知是联表查询时ON是作用于联表前（时）的过滤条件，WHERE是对联表后的数据的过滤条件，但hivesql查询有个特殊点需要关注，那就是对于leftjoin中的单独针对左表的ON过滤条件有可能会被忽略
代码一天不写我浑森蓝廋·2021-10-20 23:00

hiveSQL面试题--21_美团优选一面【美团】

目录0-面试题1-答案详细解析1.1-自我介绍1.2-到北京工作的医院1.3-SQL题，给一张城市和交易额表，一张城市对应省份表，取出省份总交易额大于500的省份的名字1.4-SQL题，基于刚才，得出省份总交易额[0,500],[500,1000],[1000,+oo]在以下三个区间的省份的数量1.5-SQL题，还是基于刚才，按从小到大的顺序得出每个城市的累计交易额，可以用窗口1.6-根据分隔符划
KG大数据·2021-09-22 20:53

union和union all 的写法

union和unionall都是将两个相同列数的表从上到下拼接起来：例如下图使用union或者unionall之后的结果是1、在mysql中都可以使用union或者unionall，在hivesql中只能使用
张_756c·2021-06-25 14:13

大数据开发实战：离线大数据处理的主要技术--Hive,概念，SQL，Hive数据库

HiveSQL实际上先被SQL解析器进行解析然后被Hive框架解析成一个MapReduce可执行计划，并按照该
金光闪闪耶·2021-06-19 21:44

Hive-初识HIVE（一）

1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS上6、Hive
Lucky_Gao·2021-06-13 13:19

spark和hive操作

Hive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上。
Jlan·2021-06-12 21:39

Hive SQL的底层编译过程详解

本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析HiveSQL底层原理。
helloHbulie·2021-05-26 10:44

大数据面试通关手册 | Hive面试题之4万字基础调优面试小总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
王知无(import_bigdata)·2021-05-23 18:51

HiveSQL解析过程详解

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入
尼小摩·2021-05-03 12:30

hivesql 连续活跃类需求

1.求出连续活跃用户,连续活跃天数以及连续活跃用户的平均年龄源表:guidagetime0001182021-02-250002222021-02-250002222021-02-26…计算:withoas(selectuid,max(days)asdays,max(age)asagefrom(selectuid,age,daysfrom(selectuid,age,dt,sum(1)over(p
小涛手记·2021-04-29 16:16

Hive Sql case when 不支持子查询

howtomakeselecetsubqueryinhivesql怎么在hivesql中实现select子查询使用row_number()处理例如：selectzoneno,protseno,notetype
万事皆成·2021-04-25 08:48

这些移动编辑快捷键与文字工作的你很配

最近开始频繁地在撸hivesql的代码，因此正在切实地提高自己的代码编辑能力，不摸索还好，一摸索才发现作为文字工作者，匹配上一些常用的文字编辑和移动的快捷键，加上我的罗技键盘，以及程序员必备的sublimetext
九日照林·2021-04-18 08:41

hive sql系列（总结）

每天分享一个sql，帮助大家找到sql的快乐hivesql系列（总结）介绍hivesql系列主打sql，通过案例，从实现到分析，帮助大家找到写sql的快乐hivesql系列目录1.hivesql系列（一
luo981695830·2021-04-17 23:17

Adventure电商分析项目总结

本文是对AdventureBicycle案例的一个总结，记录了整个项目需求分析与实现的过程，主要任务是使用HiveSQL完成ETL过程，并且连接到PowerBI实现可视化，最终将整个分析成果展示出来。
Bourton·2021-04-15 07:17

大数据高频面试题之HiveSQL的转化过程

Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：1.Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree；2.遍历ASTTree，抽象出查询的基本组成单元QueryBlock；3.遍历QueryBlock，翻译为执行操作树OperatorTree；4.逻辑层优化器进行OperatorTree变换，合并不必要的ReduceS
大数据面试宝典·2021-04-08 10:44

一文学完所有的Hive Sql（两万字最全详解）

HiveSql大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表
·2021-04-01 22:24

一文学完所有的Hive Sql（两万字最全详解）

HiveSql大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表
·2021-04-01 22:30

一文学完所有的Hive Sql（两万字最全详解）

HiveSql大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表
五分钟学大数据·2021-04-01 16:57

HiveSql/SparkSQL常用函数

一、获取当前时间current_date获取当前日期2018-04-09current_timestamp/now()获取当前时间2018-04-0915:20:49.247二、从日期时间中提取字段year,month,day/dayofmonth,hour,minute,secondExamples:>SELECTday('2009-07-30');30`*1*2dayofweek(1=Sund
·2021-03-22 19:28

HiveSql/SparkSQL常用函数

一、获取当前时间current_date获取当前日期2018-04-09current_timestamp/now()获取当前时间2018-04-0915:20:49.247二、从日期时间中提取字段year,month,day/dayofmonth,hour,minute,secondExamples:>SELECTday('2009-07-30');30`*1*2dayofweek(1=Sund
·2021-03-15 19:40

Oracle、Spark、Hive SQL 正则总结

我的原创地址：https://dongkelun.com/2019/12/02/SQLRegExp/前言学习总结Oracle、Spark、HiveSQL正则匹配函数-函数OralceREGEXP_LIKESparkRLIKE
董可伦·2021-02-27 11:48
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他