Impala

Hive文件存储格式 :Parquet sparksql ,impala的杀手锏

hive表的源文件存储格式有几类：1、TEXTFILE默认格式，建表时不指定默认为这个格式，存储方式：行存储导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoopfs-cat查看磁盘开销大数据解析开销大,压缩的text文件hive无法进行合并和拆分2、SEQUENCEFILE一种HadoopAPI提供的二进制文件，使用方便、可分割、可压缩等特点。SEQUENCEFIL
mtj66·2017-01-01 22:40

学习Hive和Impala必看经典解析

Hive和Impala作为数据查询工具，它们是怎样来查询数据的呢？与Impala和Hive进行交互，我们有哪些工具可以使用呢？
caosheng03·2016-12-29 15:36

学习Hive和Impala必看经典解析

Hive和Impala作为数据查询工具，它们是怎样来查询数据的呢？与Impala和Hive进行交互，我们有哪些工具可以使用呢？
dashuju2016·2016-12-29 15:26

Hive和Impala加载和存储数据功能曝光

Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？
caosheng03·2016-12-28 14:23

Impala内存优化实战案例

Impala内存优化实战案例畅游DT时代(李珂)·2016-03-2601:23文章来源：中国联通网研院网优网管部——IT技术研究团队作者：李珂一.引言Hadoop生态中的NoSQL数据分析三剑客Hive
lw305080·2016-12-23 20:09

为什么使用Hive和Impala

Impala与Hive都是构建在Hadoop之上的数据查询工具，但是各有不同侧重，那么我们为什么要同时使用这两个工具呢？单独使用Hive或者Impala不可以吗？
caosheng03·2016-12-20 15:55

为什么使用Hive和Impala

Impala与Hive都是构建在Hadoop之上的数据查询工具，但是各有不同侧重，那么我们为什么要同时使用这两个工具呢？单独使用Hive或者Impala不可以吗？
大数据时代培训中心·2016-12-20 14:49

Hadoop可视化分析利器之Hue

1，访问HDFS和文件浏览2，通过web调试和开发hive以及数据结果展示3，查询solr和结果展示，报表生成4，通过web调试和开发impala交互式SQLQuery5，spark调试和开发6，Pig
xiaoL_clo·2016-12-20 09:54

impala学习总结

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
dashabiooo·2016-12-19 19:21

impala学习总结

阅读更多Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
x10232·2016-12-19 19:00

impala数据导入汇总

数据进入到表中的几种不同方式：1.put/distcphdfsdfs-put从本地上传到hdfs2.loaddata[cdh2:21000]>selectcount(*)fromtab1;Query:selectcount(*)fromtab1+----------+|count(*)|+----------+|3279912|-----创建空表[cdh2:21000]>createtableta
SunWuKong_Hadoop·2016-12-15 16:40

数据分析：Hive、Pig和Impala

本文主要分享Hadoop三大分析工具：Hive、Pig和Impala。
caosheng03·2016-12-09 15:02

数据分析：Hive、Pig和Impala

本文主要分享Hadoop三大分析工具：Hive、Pig和Impala。
大数据时代培训中心·2016-12-09 14:11

Hadoop-impala十大优化之（3）—impala表和列信息统计操作最佳实践

1.1Hadoop-impala十大优化之（3）—impala表和列信息统计操作1.1.1表和列的信息统计showtablestatsparquet_snappy;computestatsparquet_snappy
cn7007·2016-12-07 07:38

Apache Spark：大数据处理统一引擎

在开源ApacheHadoop堆栈中，类似Storm和Impala的系统也是特有的。即使在关系数据库世界中，“一刀切”系
dreamershi·2016-12-06 17:24

Apache Spark：大数据处理统一引擎

在开源ApacheHadoop堆栈中，类似Storm和Impala的系统也是特有的。即使在关系数据库世界中，“一刀切”系
dreamershi·2016-12-06 17:24

Impala 5.7性能优化系列-10大优化思路

1.1.1Impala5.7-10大优化思路Impala中，提供了10大类优化思路和方法1)分区2)连接查询性能考虑3)表和列信息统计4)Impala性能测试：5)基准Impala查询：6)控制Impala
cn7007·2016-12-01 20:34

==[选型]HDFS上跑Impala/Drill/Presto,Tez/Spark/MapReduce

或者HDFS上直接跑Impala，Drill，Presto。这解决了中低速数据处理的要求。MapReduce是第一代计算引擎，Tez和Spark是第二代。
葡萄喃喃呓语·2016-12-01 17:57

列存储格式Parquet浅析

调研报告1.概述1.1简介ApacheParquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持(Hive、Impala
Jeffbond·2016-11-24 13:07

impala 遇到的坑

accounts/...1、尽量少使用invalidatemetadata，尽量用REFRESHTABLE_NAME;2、setAPPX_COUNT_DISTINCT=true与ndv函数是一样的，都只是估值ImpalaSQL
晨磊·2016-11-19 00:00

[置顶] 大数据集群遇到的问题（Hadoop、Spark、Hive、kafka、Hbase、Phoenix）

大数据平台中遇到的实际问题，整理了一下，使用CDH5.8版本，包括Hadoop、Spark、Hive、kafka、Hbase、Phoenix、Impala、Sqoop、CDH等问题，初步整理下最近遇到的问题
a822631129·2016-11-15 11:00

Apache Flink异军突起受欢迎！

大数据产业兴盛期，说到大数据分析引擎，不少人第一时间会想起Spark、Impala等，然而，作为Apache顶级项目的Flink也是不少企业的选择。它到底有什么优势呢？
大圣众包平台·2016-11-14 00:00

Impala shell命令

转载http://blog.csdn.net/shenfuli/article/details/49075003本文主要介绍Impalashell命令1、-h外能帮助格式：$impala-shell-h2
oracle8090·2016-11-04 19:24

impala-shell命令选项

转发https://my.oschina.net/weiqingbin/blog/190929你可以在启动impala-shell时设置以下选项，用于修改命令执行环境。
oracle8090·2016-11-04 19:41

大数据之Impala介绍

一、介绍Cloudera发布实时查询开源项目Impala(黑斑羚)！多款产品实测表明，比原来基于MapReduce的HiveSQL查询速度提升3～90倍。
gaojingsong·2016-10-24 09:01

yum安装CDH5.5 hive、impala的过程详解

一、安装hive组件安排如下：172.16.57.75bd-ops-test-75mysql-server172.16.57.77bd-ops-test-77Hiveserver2HiveMetaStore1.安装hive在77上安装hive：#yuminstallhivehive-metastorehive-server2hive-jdbchive-hbase-y在其他节点上可以安装客户端：#y
Osc_Yumi·2016-10-20 10:05

大数据生态系统入门必看：pig、hive、hadoop、storm、mapreduce等白话诠释

2.数据分析人员使用hive还是Impala？3.hive、pig适用哪些人群？4.本文是如何形象比喻Impala、Prest
OceaLee·2016-10-17 15:25

Impala性能调优

一、给表分区这个都知道，默认一个表的数据都是放在一个目录下的，对表分区，能够创建一些子目录，查询的时候，指定相应的条件能够实现只去相应的分区下查找数据，。那么，什么情况下应该对表分区呢？1）表非常的大。读整表会耗时很久2）对表的查询几乎总是要涉及到用来分区的行作为刷选条件。如果对该表的查询几乎都不会采用分区行来作为条件，对表分区就没多大意义了，有时甚至还会适得其反。3）用来分区的行应该有个合理的基
aturbofly·2016-10-06 16:43

大数据架构师之路-大数据框架大全

大数据架构师之路-大数据框架大全服务器脚本系列:�1.shell2.python3.perl4.ruby数据仓库系列:�1.hive2.sparksql3.ClouderaImpala4.kylin介绍
葡萄喃喃呓语·2016-09-25 19:11

Bossie Awards 开源大数据工具最佳列表

在最佳开源大数据工具奖中，Google的TensorFlow和Beam无可置疑的入选，同时也有Spark，Elasticsearch，Impala，Kylin，Kafka，Zeppelin等市场热点，同时有很多新兴的项目入选
ejinxian·2016-09-23 09:29

Bossie Awards：开源大数据工具最佳列表

在最佳开源大数据工具奖中，Google的TensorFlow和Beam无可置疑的入选，同时也有Spark，Elasticsearch，Impala，Kylin，Kafka，Zeppelin等市场热点，同时
csdn郭芮·2016-09-22 22:12

关于hive和impala互为前后台的两个坑

Impala与Hive之间互为前后台有时候你会发现，切换到Hive执行下数据加载或转换操作比较方便，特别是处理如RCFile,SequenceFile,和Avro等这些Impala暂时只支持查询不支持写入的数据文件格式无论你在
帅大狗·2016-09-21 10:17

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（六）

六、Hue数据可视化实例    本节先用Impala、DB查询示例说明Hue的数据查询和可视化功能，然后交互式地建立一个定期执行销售订单示例ETL任务的工作流，说明在Hue里是如何操作Oozie工作流引擎的
wzy0623·2016-08-31 16:00

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（三）

三、ImpalaOLAP实例    本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询，以及实际遇到的问题及解决方案。
wzy0623·2016-08-25 14:00

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较    Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。
wzy0623·2016-08-19 12:00

《关于大数据的一些基本常识整理》

Hadoop百度百科MapReduce百度百科Yarn百度百科Hive百度百科HBase百度百科Hadoop可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala
司小幽·2016-08-18 13:43

《关于大数据的一些基本常识整理》

Hadoop百度百科MapReduce百度百科Yarn百度百科Hive百度百科HBase百度百科Hadoop可视化分析利器之HueFlume百度百科Sqoop百度百科Spark百度百科Storm百度百科Impala
BlackEnn·2016-08-18 13:00

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（一）

一、OLAP与Impala简介1.OLAP简介    OLAP是OnlineAnalyticalProcessing的缩写，意为联机分析处理。
wzy0623·2016-08-17 16:00

实现CDH支持Spark SQL功能

CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala；如果上线spark却不能使用sql这种结构化语言，对于大部分分析人员其实是很不爽的！
a822631129·2016-08-11 13:00

spark sql基本使用方法介绍

sparksql基本使用方法介绍spark中可以通过sparksql直接查询hive或impala中的数据，一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql-
山鹰的天空·2016-07-22 10:20

impala 外部表：查询、创建

1、查看所有的外部表1）在Linux环境切换到impala：impala-shell-iHAZZ-IPMS-HADOOP0042）showtableslike'ext*'查看外部表：2、创建外部表：我们在创建表的时候可以指定
IT女神·2016-07-21 15:11

Impala问题汇总

1、时区问题：默认impala配置不是中国的时区，所以在用from_unixtime的时候，有误差。
huguoping830623·2016-07-14 16:52

通过MapReduce把Hive表数据导入到HBase

由于Hive查询速度比较慢，进行了表分区使用Impala也是很满意，所以为了公司业务展示，需要测试使用HBase的查询速度怎么样，头一件事就是把HIVE的数据导入到HBase中，搜了半天也没搜到到底该怎么搞
Meyaoo·2016-07-13 22:02

Parquet与ORC：高性能列式存储格式

生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala
yu616568·2016-07-09 20:00

Hadoop2.6.0 Snappy 压缩安装与配置

先说点题外话，我们集群主要使用hive,Impala,sparksql等来处理数据，介于hdfs里面的数据没有压缩占用空间太大所以我们要对其进行压缩snappy比较适中snappy原生被hive等支持首先看一下你的集群是否支持
立喆·2016-07-08 14:19

Hive 或 Impala 的数据类型与 对应底层的 Parquet schema的数据类型不兼容

背景：修改了hive表的某些字段的数据类型，如从String->Double，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquetschema
harli·2016-07-04 14:12

社会化数据的混合存储和高效处理

并且拥有过百亿的数据规模；如何合理的整合和高效的存储这些数据，以便解决实际的业务应用问题，包括查询、检索、关联、可视化、数据挖掘等应用问题；面对热门的开源组件和体系结构，如：Hadoop、Hbase、Impala
任鑫琦·2016-06-09 00:00

使用Spark Streaming + Kudu + Impala构建一个预测引擎

随着用户使用天数的增加，不管你的业务是扩大还是缩减了，为什么你的大数据中心架构保持线性增长的趋势？很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期，或者你的业务处在淡季，你增加的计算资源就处在浪费阶段；相对应地，当你的业务在旺季期，或者每周一每个人对上周的数据进行查询分析，有多少次你忒想拥有额外的计算资源。根据需求水平动态分配资源VS固定的资源分配方式，似乎不太好实现。幸运的是，
侠天·2016-06-02 00:00

秀场 | 坐火车去看一场Dior秀 这是一场说走就走的皇家假期

伦敦当地时间5月31日下午，Dior在英国布莱尼姆宫(BlenheimPalace)举办了2017年早春成衣系列发布秀。
悦己SELF·2016-06-01 00:00

Impala与Hive的比较

http://blog.jobbole.com/43233/1.Impala架构Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的
bluejoe2000·2016-05-28 22:00
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他