大数据组件--impala

盘点Hadoop生态圈：13个让大象飞起来的开源工具

资源统一管理/调度系统在公司和机构中，服务器往往会因为业务逻辑被拆分为多个集群，基于数据密集型的处理框架也是不断涌现，比如支持离线处理的MapReduce、支持在线处理的Storm及Impala、支持迭代计算的
Albert陈凯·2020-06-29 14:38

Impala基础知识、使用、优化

Impala简介Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
程序猿的郭鹏飞神奇经历·2020-06-29 11:59

impala-3.2.0安装教程（centos7无需安装CDH）

目录导语：安装前需下载开始安装第一步：安装已下载的安装包第二步：配置bigtop-utils第三步：配置impala的conf第四步：配置impala所需mysql的语言包第五步：配置impala第五步
weixin：953010556·2020-06-29 11:27

impalasql和hivesql的窗口函数和根据月份时间增量取数

窗口函数和根据月份时间增量取数今天跟大家分享一下窗口函数举个例子：假设当前环境为impala，droptableifexistsdw.stu;----dw库中的stu表-----------------
全能小孩·2020-06-29 08:31

平台集成LDAP

平台的Hiveserver2和Impalaserver对外（tableau类似的商业BI工具）没有权限控制，需要内置一层用户管理策略。
ioyow·2020-06-29 07:23

大数据组件图谱

转载地址：http://blog.csdn.net/u010039929/article/details/70157376大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统
weixin_42774642·2020-06-29 06:48

Centos7部署HDP集群------

备注:此博客为转载,原作者地址请点击此处之前安装大数据组件都是一个一个手动安装的，最多弄一个脚本自动安装。手动安装麻烦不说，还没有可以监控集群的可视化界面，而且组件的稳定性也是个问题。
陆山右·2020-06-29 02:26

kudu报错解决

解决办法：1.4.0版本，因为master的元数据全部在本地磁盘文件，如果额外的添加了一个master，会报错，找不到consensus-meta,也就是master的容错机制，需要对数据格式化错误二：impala
@black·2020-06-28 22:50

Impala服务：unable to find SASL plugin: PLAIN

问题：集群新增2个节点后，impala服务运行异常E060114:33:03.8117484578query-state.cc:424]484462dbbe376aef:2da730b400000000
月正明·2020-06-28 20:15

Impala使用的端口

组件服务端口访问需求  备注ImpalaDaemonImpalaDaemonFrontendPort21000外部被impala-shell,Beeswax,ClouderaODBC1.2驱动用于传递命令和接收结果
月正明·2020-06-28 20:44

impala常用日期函数

增加月份add_months(timestampdate,intmonths)add_months(timestampdate,bigintmonths)Returntype:timestampusage:add_months(now(),1)增加日期adddate(timestampstartdate,intdays),adddate(timestampstartdate,bigintdays)
BillowX_·2020-06-28 19:05

【线上直播】分布式消息队列Kafka

讲师：刘镇砚讲师简介：游戏公司资深大数据SRE工程师，数据中心基础服务负责人，专注于大数据组件基础优化以及平台建设服务化等工作。
weixin_34413357·2020-06-28 19:34

##主流SQL on Hadoop框架选择

着眼当下的SQLonHadoop产品，最吸引人的无疑是下面几个：Hive系的HiveonTez，也就是我们经常说的Stinger；Spark系的SparkSQL/DataFrame；HiveonSpark；Impala
葡萄喃喃呓语·2020-06-28 18:08

Centos7搭建CDH6.0.1(单机版)

学习大数据组件，最好的方式是直接参照官网。不过官网的教程也让我吃了一坑，在此记录一下。因在个人笔记本资源有限，在此安装为单机版安装二、搭建。
weixin_34220834·2020-06-28 14:21

使用Apache Kudu和Impala实现存储分层

本文介绍了如何使用ApacheImpala的滑动窗口模式，操作存储在Apac
weixin_34117211·2020-06-28 11:00

大数据平台应用 17 个关键技术处理

在Hadoop平台中，一般大家都把hive当做数据仓库的一种选择，而Mpp数据库的典型代表就是impala，presto。
weixin_33907511·2020-06-28 07:03

EMR Druid 探索（一）

现今有一些非常热的SQLonHadoop解决方案或者基于传统数据库技术的MPP方案，前者比如Hive、Impala、SparkSQL、Presto等，后者比
weixin_33781606·2020-06-28 05:51

开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum) ...

本文为博主公司原创文章，仿冒必究，转载请回复留言**开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO郭炜序现在大数据组件非常多
weixin_33724659·2020-06-28 04:04

8座四驱V6发动机，5.2米的SUV，汉兰达地位不保了

这也主要是因为风头基本都被别克给压了下来，但是在国外就不同了，雪佛兰还是很有竞争力的，同时也很多强有力的车型，在SUV中有SUBURBAN，皮卡有SLVERADO，跑车的科迈罗，而在轿车中那就是Impala
七岁开手挡·2020-06-27 23:32

使用Spark Streaming + Kudu + Impala构建一个预测引擎

随着用户使用天数的增加，不管你的业务是扩大还是缩减了，为什么你的大数据中心架构保持线性增长的趋势？很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期，或者你的业务处在淡季，你增加的计算资源就处在浪费阶段；相对应地，当你的业务在旺季期，或者每周一每个人对上周的数据进行查询分析，有多少次你忒想拥有额外的计算资源。根据需求水平动态分配资源VS固定的资源分配方式，似乎不太好实现。幸运的是，
weixin_30480583·2020-06-27 20:24

Apache Kudu

Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与ClouderaImpala和ApacheSpark等当前流行的大数据查询和分析工具结合紧密。
weixin_30292745·2020-06-27 15:48

impala 和python的交互

--前提条件：#yum-yinstallpython-develgcc-c++python-pippythongcc告警：Therequiredversionofsetuptools(>=3.4.4)isnotavailable,andcan'tbeinstalledwhilethisscriptisrunning.Pleaseinstallamorerecentversionfirst,usin
vkingnew·2020-06-27 11:18

实时数仓 | 你需要的是一款强大的 OLAP 引擎

大数据领域开源OLAP引擎包括不限于Hive、Hawq、Presto、Kylin、Impala、SparkSQL、Druid、Clickhouse、Greeplum等等。
GitChat的博客·2020-06-27 10:28

JDBC连接impala Java连接Hive JDBC连接Hive

JDBC连接impalaJava连接HiveJDBC连接Hive大家都知道impala是用hive的数据源，但速度要比hive快的多，在秒级即可完成任务查询packagecn.com.tengen.hive
周天祥·2020-06-27 09:59

TPC-H测试数据表生成，以及在Impala中的使用

一、下载TPCH生成工具官方网址：http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp本文中安装的是：TPC-H2.17.1pdfDownloadTPCH_Tools.zip可通过wget、curl来获取安装包。【注】获取包地址，需要填写Email信息进行申请，无伤大雅，照做。请确保，您的邮箱可以收
DreammingTime·2020-06-27 09:34

Redis 原理及应用（1）--数据类型及底层实现方式

Redis是一个K-V的非关系型数据库（NoSQL），常见的NoSQL数据库有：K-V数据库如Redis、Memcached，列式数据库如大数据组件HBase，文档数据库如mogoDB。
冷面寒枪biu·2020-06-27 07:12

你不知道的冷知识 | 指数退避思想及其在Flume/Hadoop中的应用

这是大学计算机网络课程会讲到的知识，本文权当复习，并且看看它的思想是如何应用在大数据组件中的。
大数据技术与架构·2020-06-27 06:47

大数据平台Lambda架构详解

Lambda架构整合离线计算和实时计算，融合不可变（Immutability，读写分离和隔离一系列构原则，可集成Hadoop，Kafka，Storm，Spark,HBase等各类大数据组件。
独行夏·2020-06-27 06:38

Presto、Impala性能比较

下面是Presto、Impala这两种典型的内存数据库的简单测试比较，当然这种内存数据库类似的还有sparksql,这种数据库在大数据量，多表关联查询时，会展现出自己的优势，下面是一组impala和presto
TracyGao01·2020-06-27 04:23

CDH6.2 集成Sentry，Hive，Hue，Impala权限控制

公司最近Hadoop集群和其他服务机器复用严重，提供了新机器，想将Hadoop集群迁出。Hadoop使用的CDH集成环境，从CDH5.3跨越到CDH6.2之前在CDH5.3上将hive从0.13升级到1.2.1。然后做了hive权限控制详情见https://blog.csdn.net/u012422198/article/details/94434445想在CDH6.2中同样来一套时，发现hive
简单的心1·2020-06-27 03:20

网易大数据基础平台建设之路

文章后半部分重点介绍了ad-hoc查询引擎Impala与分布式存储系统Kudu，非常值得借鉴。如果觉得文章有帮助请转发朋友圈+在看，完整的
大数据技术架构·2020-06-27 01:44

kudu踩坑记之一

在开发过程中，难免会手误，由于在通过impala-shell建kudu表时候把bigint类型的字段写成了string，以致后面在计算时候报错。
紧到长卜帅·2020-06-27 00:43

大数据技术大合集：Hadoop家族、Cloudera系列、spark、storm

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。
墨者侠客sbw·2020-06-26 22:59

Impala重要组件介绍

Impala重要组件1.ImpalaDaemonThecoreImpalacomponentisadaemonprocessthatrunsoneachDataNodeofthecluster,physicallyrepresentedbytheimpaladprocess.Impala
小小鬼谷子·2020-06-26 19:58

BigData - Lambda架构 vs Kappa架构

其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成Hadoop,Kafka,Spark，Storm等各类大数据组件。
天地不仁以万物为刍狗·2020-06-26 19:58

云计算大纲

→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→lucene搜索→solr/solrcloud→elasticsearch分布式搜索→CM+CDH集群管理→impala
tian31233·2020-06-26 19:27

impala parquet实现分桶查询

由于impala是没有分桶表的，但是会遇同一个partition中数据量非常巨大，但是某些查询只需要取出个别记录，就需要从海量数据中查询出一两条数据，这样就会造成资源浪费。
§蜗牛§·2020-06-26 17:48

CDH6.0.1详细安装步骤及问题解决

详细安装步骤及常见问题解决ClouderaManager能够大大减轻配置hadoop集群的工作量，安装好以后能够快速熟悉Hadoop生态系统常用的一些组件，如HBase,Hive,Spark,Oozie,Impala
sunfect·2020-06-26 15:10

大数据工程师技能图谱

MahoutSparkMlibTensorFlow(Google系)AmazonMachineLearningDMTK(微软分布式机器学习工具)数据分析/数据仓库(SQL类)PigHivekylinSparkSQL,SparkDataFrameImpalaPhoenixELK8.1Elasti
唐大麦·2020-06-26 14:22

Hue安装与部署，并连接Impala

本文主要讲解了如何安装并启动Hue4.1.0，然后连接impala集群进行sql查询。其中，还包含了在安装部署过程中遇到的一些问题，希望可以帮助到大家。
skyyws·2020-06-26 13:48

Docker部署hue，连接带kerberos认证的Impala集群

Hue在最新的4.6.0版本中，提供了编译docker镜像的选项，然后我们可以使用已经编译好的镜像来启动hue服务。在之前的版本中（例如4.2.0、4.3.0等），如果要部署hue服务，我们需要在相应的服务器上安装依赖包，然后下载hue的源码，编译完成之后再启动服务。对于有些系统，编译会出现各种问题，不同的版本错误还不一样，非常麻烦。因此，docker部署hue还是非常方便的，省去了我们每次都要重
skyyws·2020-06-26 13:16

Impala元数据性能改善（3.3版本）

本文介绍了Impala在3.3版本对元数据性能方面做的一些优化和改善，主要结合官方的文档和测试结果进行说明。
skyyws·2020-06-26 13:16

Impala graceful shutdown功能介绍

了解Impala的同学都知道，Impala是一个典型的MPP架构，节点都是无状态的，随时可以拉起和停掉，所以我们可以方便地对整个集群进行扩容/缩容。
skyyws·2020-06-26 13:16

HUE下载提示The number of resulting rows was too big to be downloaded

目前，我们内部使用hue作为图形界面工具，通过beeswax来连接impala集群进行sql查询。
skyyws·2020-06-26 12:45

各大数据组件介绍

一、zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper
三方三方·2020-06-26 11:37

大数据平台运维-----Kerberos环境下Hive及Impala监控脚本的开发

一、工程目录二、原理解析Hive和Impala是两个最常用的大数据查询工具，他们的主要区别是Hive适合对实时性要求不太高的业务，对资源的要求较低；而Impala的由于采用了全新的架构，处理速度非常的快
春梦了却了无痕·2020-06-26 11:20

Impala之01-基本介绍

简介Impala是Cloudera公司主导开发的新型查询系统，是GoogleDremel的开源实现。它提供SQL语义，能够查询存储在Hadoop的HDFS和HBase中的PB级大数据。
Levine-Huang·2020-06-26 10:23

Kylin简介

于是各式各样的“SQLonHadoop”技术应运而生，其中以Hive为代表，Impala、Presto、P
徐不依·2020-06-26 10:13

kudu+impala 使用手册

1.技术路线oracle--kafka-kudu2.各个组件优缺点Hive：数据直接存放于hdfs中，适合离线分析，确不利于记录级别的随机读写。Hbase：将数据存放再hbase中，适合记录级别的随机读写。对离线分析确不友好。Kudu：是对hdfs和hbase功能上的补充，能提供快速的分析和实时计算能力Kudu特性：kudu面向结构化存储支撑单行事务不允许用户数据的primarykey重复底层直接
小小聪·2020-06-26 08:13

通过impala创建kudu数据库报错 Not enough live tablet servers to create a table

通过impala创建kudu数据库时报错Notenoughlivetabletserverstocreateatablehttps://blog.csdn.net/u011031430/article/
s2018_0423·2020-06-26 06:06
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他