大数据组件--impala

Kylin 最佳实践｜爱奇艺如何处理千亿级数据

收集业务的埋点和日志；数据按时效性分为两种类型：离线类型的灌入到HDFS，实时数据灌入到Kafka；往上是各种分析引擎，Hive用于PB级别的离线分析，Kylin用于每日报表，针对相对固定的维度进行分析，Impala
大数据星球-浪尖·2020-08-16 14:02

Hue中oozie使用shell脚本执行impala-shell脚本

Hue中oozie使用shell脚本执行impala-shell脚本一.oozie的介绍[1].oozie执行流介绍[2].oozie系统常量介绍二.oozie中shell的使用[1].Workflow
@万般皆是命·2020-08-16 14:58

JAVA maven 编写UDF适用于hive和impala

hive内置函数很少，我们可以通过自定义的方式添加新的UDF上去，来增强hive的处理能力。比如hive没有字符串包含的UDF.我们通过Java+maven的方式来编写一个字符串包含的UDF1、新建maven工程2、修改pom.xml4.0.0com.lr.udfcommon.udf0.0.1-SNAPSHOT1.81.83.3UTF-82.6.0org.apache.hadoophadoop-c
A心有千千结·2020-08-16 13:38

Win10,64bit系统，python连接hive，安装impyla依赖包

创建于：20200802修改于：20200802文章目录1、环境介绍2、基本安装过程3、报错信息及解决办法4、python链接impala5、参考链接1、环境介绍win1064bitpython3.6.6
chenhepg·2020-08-16 12:03

Hive和Impala加载和存储数据功能曝光

Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？
weixin_34138255·2020-08-16 09:24

【51cto】-大数据微职位-模块3：2泥沙俱下 披沙拣金 - Hive / Impala-第1章 1-1~1-3

模块3：2泥沙俱下披沙拣金-Hive/Impala第1章第五周：Hadoop集群数据查询与分析：Hive1-1查询数据与分析：Hive-ApacheHive介绍简单说明：该小节主要介绍了Hive组件的前世今生
sky_geek2008·2020-08-16 06:56

Impala function(学习笔记）

Theimpalafunction:One、Mathematicalfunction：abs(double):returnstheabsolutevalueoftheargumentacos(double
joker_zhou·2020-08-15 23:26

【Kylin】（一）初识 Apache Kylin

目前已经出现了很多优秀的SQLonHadoop引擎，包括Hive、Impala及SparkSQL等，这些技术的出现和应用极大地降低了用
云 祁·2020-08-15 05:58

华为云-鲲鹏集群-大数据环境搭建

可参考华为云——数字中国创新大赛·鲲鹏赛道·天府赛区暨四川鲲鹏应用开发者大赛1环境搭建准备本文详细描述了在华为云鲲鹏生态下的BigDataPro解决方案实验手段，涵盖集群搭建及验证，本指导手册所涉及的大数据组件版本如下所示组件版本
软件手·2020-08-15 04:58

平台管理（大数据）：Hue、Ooize、Ambari概述

(1)基于文件浏览器（FileBrowser）访问HDFS(2)基于Hive编辑器来开发和运行Hive查询(3)支持基于Impala的应用进行交互式查询(4)支持Spark编辑器和仪表板（Da
BigSun0·2020-08-14 22:24

Phoenix安装与使用文档超详细步骤

一、描述现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要记录Phoenix。phoenix，中文译为“凤凰”，很美的名字。
CSDN_小路·2020-08-14 19:14

Intel李锐：Hive on Spark解析

相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。
layne_liang·2020-08-14 18:00

hive metastore java api使用

hivemetastorehivemetastore是hive的元数据管理服务，实际应用中很多第三方框架需要访问metastore服务，如spark,impala等。
苍老流年·2020-08-14 16:23

Spark on Yarn任务运行的日志收集

Sparkonyarn环境：基于CDH的大数据组件平台。
AlferWei·2020-08-14 16:06

Impala重点问题列表

Impala重点问题列表（截止到1.01）从目前的情况来看，impala的稳定性和易用性还有待提高，在生产环境中部署还存在比较大的风险。
风隐才藏·2020-08-14 12:03

浅谈Phoenix在HBase中的应用

虽然HBase本身不支持SQL，但业界还是有现成的方案来支持，如Hive、Impala、Phoenix等。众多方案各有各的优势，本文主要对Phoenix作一个大概的介绍。Phoeni
weixin_30412013·2020-08-14 11:19

Impala SQL语句 COMPUTE STATS

COMPUTESTATS语句收集卷信息,表列和分区的数据分布情况;收集的信息存储在元数据库中,用于优化Impala查询;例如,如果Impala能确定一张表是大还是小,表里有多少唯一值,就可以为join查询或插入操作组织和并行化工作线程
zhiliang-chen·2020-08-14 10:48

数仓笔记 一

好久没写博客了，最近一直在忙数仓迁移的事，从SqlServer迁移到impala+kudu上，没使用hive。建立一套大数据的数仓，数据接入用的streamSets。
新手路上的程序员·2020-08-14 04:45

SpringBoot整合Mybatis连接Impala入门案例详解

项目结构配置环境导入包依赖pom.xmlspring-boot-starter-web（网页展示）impala-jdbc41（impala-jdbc连接）com.alibaba.druid（阿里巴巴数据源
Blank丶空·2020-08-14 02:50

hadoop生态系统学习之路（五）hbase的简单使用

我们公司负责数据的入库，也就是一个etl过程，使用MR将数据入到hive里面，然后同步到impala，然后此接口平台提供查询接口，前台会将sql语句以参数传过来，然后接口平台通过调用impala提供的javaapi
qiyongkang520·2020-08-14 02:25

Java大数据技术栈 浅析

大数据技术板块划分数据采集flumekafkalogstashfilebeat...数据存储mysqlredishbasehdfs...数据查询hiveimpalaelasticsearchkylin.
popcjz·2020-08-13 13:59

高吞吐量消息系统—kafka

主要的原因是因为kafka天然的百万级TPS，以及它对接其他大数据组件的流处理功能，比如可以更好的对接Apachestorm。本文只是讨论kafka作为消息队列的功能及一些用法。
我是码客·2020-08-12 14:00

【基础】磁盘的写入方式

文章目录前言磁盘读取时间基本概念顺序读写随机读写顺序读写比随机读写快的原因前言在阅读常用的一些大数据组件时，经常会看到一个名词"磁盘顺序写"，本文就磁盘的写入方式及为什么存在新能差异做简单的阐述。
Gavin_周·2020-08-12 00:42

Calcite RBO rule 解析和自定义

什么是查询优化器查询优化器是传统数据库的核心模块，也是大数据计算引擎的核心模块，开源大数据引擎如Impala、Presto、Drill、HAWQ、Spark、Hive等都有自己的查询优化器。
GuoSmileSmile·2020-08-11 12:50

kudu的基本操作（查看集群状态，APT操作，impala操作，spark整合）

1.命令行查看kudu状态操作通过root用户切换到kudu用户1.1查看集群整体信息（我本机的hostname是hadoop002，也就是kudu的master是hadoop002）-bash-4.2$kuduclusterksckhadoop002ConnectedtotheMasterFetchedinfofromall1TabletServersTablewcisHEALTHY(3tabl
muyingmiao·2020-08-11 05:29

Kudu部署

与ApacheImpala的紧密集成，使其成为使用HDFS与ApacheParquet的一个很好的、可变的替代选择。
muyingmiao·2020-08-11 05:29

impala安装部署(rpm安装)

1.下载impala所需的rpm包bigtop-utilsrpm包下载http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.8.3/RPMS/noarch
muyingmiao·2020-08-11 05:29

Hadoop大数据组件安装 史上最详细教程 手把手教会你安装

Hadoop安装--大数据组件安装--史上最完整教程--手把手教会你安装——彻底揭开大数据技术的面纱，让小白彻底进入大数据技术领域交个朋友，微：zytbft安装的Hadoop的生态圈组件有如下几个（以后会不断补充完善起来了
专注大数据开发·2020-08-11 02:44

CDH环境故障: HDFS各服务进程状态未知，监控指标图表无数据

导语cdh是管理大数据组件的利器，他能帮助我们很好的监控管理各大数据进程服务。但在我们使用的过程中，不小心，也会遇到一些问题。这时需要我们想办法去解决它。
dinghua_xuexi·2020-08-10 16:10

Sqoop在CentOS7下的安装使用

背景sqoop可以用在mysql、hdfs、hive、hbase等大数据组件之间迁移数据安装1、把sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tars上传到CentOS72、
coder_szc·2020-08-10 07:13

Pyspark can't pickle method_descriptor

错误代码：fromimpala.dbapiimportconnectis_test=Falsehost='192.168.0.1'ifis_testelse'192.168.0.1'conn=connect
ai_1046067944·2020-08-09 19:24

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。
西贝木土·2020-08-09 13:58

Impala 调优

前几天在用impalaonCDH5.16.2查询数据的时候，突然遇到OOM（内存溢出）的问题，如下所示：经查阅资料发现，Impala的内存主要是由两个参数控制的。
渊云·2020-08-09 11:54

大数据发行版本+组件中的竞品/等同地位关系(持续更新中)

开源大数据版本公司/开源组织是否付费备注ApacheHadoopApache否大数据组件的最初发型版CDHCloudera’sDistributionIncludingApacheHadoop是和HDP
Applied Sciences·2020-08-09 07:39

表输入帮助文档

注意，上文中数据源并不一定是关系数据库，可以是任何支持JDBC驱动的存储方式，例如HadoopHive、Impala、LucidDB、SAP等。SQL语句可以固定不带参数，也可以通过变量来
CKettle·2020-08-09 04:08

个人遇到的一些jar包冲突的问题分析

最近项目引入了新的大数据组件，在开发过程遇到了好多次jar的问题，排包排到烦躁，这里真心想说一句IDEA流弊啊！！！
淡定一生2333·2020-08-09 03:12

Spark面试题

Spark作为大数据组件中的执行引擎，具备以下优势特性。高效性。内存计算下，Spark比MapReduce快100倍。
weixin_44132035·2020-08-09 02:42

B07 - 005、HBase特征简要

一、HBase特征简要  1.1 海量存储  1.2 列式存储  1.3 极易扩展  1.4 高并发  1.5 稀疏记忆词：  海量存储、列式存储、极易扩展、高并发、稀疏 B07-999、大数据组件学习
会飞还得了·2020-08-09 01:12

impala presto SparkSql性能测试对比

目标是为测试impalaprestoSparkSql谁的性能更佳，以下结果底层查询的都是普通textfilesnappy压缩后数据，规模为15台机器，若以orcfile、parquet速度能快数倍impala
young-ming·2020-08-08 22:51

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。
西贝木土·2020-08-08 15:42

一个帆软使用问题

解决思路：报表使用impala作为数据源。查看帆软日志。初步判断为网络问题。
我爱听听力·2020-08-08 14:56

shell脚本运行mysql和impala

mysql#！/etc/bash#1文件名2脚本中表名echostarthdfsdfs-put~/$1/rootmysql-uroot-p123456<
Learn_program_·2020-08-08 12:54

一个高性能交互式查询与分析引擎的设计思路

SQL-on-Hadoop方案（Hive、SparkSQL、Impala）流计算方案（Storm、SparkStreaming）全文检索方案（Solr、ElasticSearch）最优方案（一个万亿数据秒级查询与分析引
vv8086·2020-08-07 19:38

Hadoop运维记录系列(十一)

Hive是目前应用最多最广的SQLonHadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的
weixin_34192993·2020-08-06 10:12

Parquet与ORC：高性能列式存储格式

生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala
残阙的歌·2020-08-06 10:06

大数据分析查询引擎Impala

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
紫色架构·2020-08-05 21:33

Java 调用 Impala - JDBC 调用Impala

java通过JDBC调用Impala服务Maven项目中pom.xml引用org.apache.hadoophadoop-common2.7.1org.apache.hivehive-jdbc1.2.1org.apache.hivehive-metastore1.2.1org.apache.hivehive-service1.2.1Java
jast_zsh·2020-08-05 21:21

Impala源码之订阅发布系统的实现

本文是Impala源码笔记的第一篇，本文主要根据源代码学习一下statestored模块的实现，众所周知，Impala包含三个模块，分别是impalad、catalogd和statestored，其中statestored
教练_我要踢球·2020-08-05 21:37

Impala查询

1、查询表中的记录，基本语法：SELECTc1,c2|*FROMtable_name;查询emp表中记录：SELECT*FROMemp;orSELECTname,ageFROMemp;执行结果如下：2、对查询结果进行排序，基本语法如下：SELECT*FROMtable_nameORDERBYc1,…[ASC|DESC][NULLSFIRST|NULLSLAST]ORDERBY字句根据一列或多列对查
一度凡尘·2020-08-05 21:59

Impala中最大连接数的设置

Impala中最大连接数的设置impala中最大连接数最近工作中有用到impala，有用到impala进行对数据库的操作，由于查询是页面在查询，所以有可能会有n个人在同时查询，那也就是数有可能同事有很多个客户端在请求
冰诺莫语·2020-08-05 21:50
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他