大数据组件--impala

hive on spark报错:Client closed before SASL negotiation finished

问题用python写了个脚本，用impala.dbapi包并行执行多个spark任务，发现偶尔会报错如下Traceback(mostrecentcalllast):File"E:/project/hivemerge
weixin_41956627·2022-09-21 13:38

数据采集模块——Flume消费Kafka数据写入到HDFS

测试集群为第三方公司基于当前主流开源组件自主研发并搭建的大数据平台，包含常用组件：HDFS,MapReduce,Yarn,Hive,HBase,Phoenix,Zookeeper,Spark,Impala
Diego_zh·2022-09-21 11:16

行业案例｜长安汽车质量管理数据分析实践

引入KyligenceEnterprise解决了当前长安大数据平台的不足，在大规模数据场景下，满足高并发亚秒级多维查询的性能要求，避免当前Vertica和Impala多维查询性能不足的问题；其次，基于免编程拖拽式模型开发
Kyligence·2022-09-07 10:12

大白话描述SQL面试的知识点

一、SQL(结构化查询语言)SQL的分类：基本需要了解的：MySQL(99SQL)、HQL(HiveSQL)、SparkSQL、ImpalaSQL、OracleSQL的应用：MySQL数据库用于存放元数据较多
来自偶然的尘土·2022-09-06 09:51

行业案例｜长安汽车质量管理数据分析实践

引入KyligenceEnterprise解决了当前长安大数据平台的不足，在大规模数据场景下，满足高并发亚秒级多维查询的性能要求，避免当前Vertica和Impala多维查询性能不足的问题；其次，基于免编程拖拽式模型开发
·2022-09-05 12:17

用户画像

课程特色：规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态、打通数据服务层、以及如何应用用户标签和效果评估实操性强
xfxf996·2022-08-22 09:21

基于 Impala 的高性能数仓建设实践之虚拟数仓

导读：本文主要介绍网易数帆NDH在Impala上实现的虚拟数仓特性，包括资源分组、水平扩展、混合分组和分时复用等功能，可以灵活配置集群资源、均衡节点负载、提高查询并发，并充分利用节点资源。接着上一篇。
·2022-08-19 17:15

SQL on Hadoop在快手大数据平台的实践与优化

给公众号标星置顶更多精彩第一时间直达本文转自|快手星球作者|钟靓一、SQLonHadoop介绍SQLonHadoop，顾名思义它是基于Hadoop生态的一个SQL引擎架构，我们其实常常听到Hive、SparkSQL、Presto、Impala
Hadoop技术博文·2022-08-13 12:54

实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

作者：吴云涛，腾讯CSIG高级工程师本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过实时采集并分析云服务器（CVM）及其App应用的CPU和内存等资源消耗数据，以短信、电话、微信消息等方式实时反馈监控告警信息
腾讯技术工程·2022-08-02 09:00

CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞

1LOG4J概述2LOG4JJNDI系列漏洞概述3深入了解LOG4J与JNDI4应对LOG4JJNDI系列漏洞的思路5常见大数据组件如何应对LOG4JJNDI系列漏洞6CDH/HDP/CDP等大数据平台中如何快
明哥的IT随笔·2022-07-29 09:15

美团 R 语言数据运营实战

一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配
美团技术团队·2022-07-18 15:27

【hadoop生态之Flume】概念【笔记+代码】

Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。
iken_g·2022-07-18 13:10

impala高级设置之BROADCAST_BYTES_LIMIT

官网地址https://impala.apache.org/docs/build/html/topics/impala_broadcast_bytes_limit.htmlSetsthelimitforthesizeofthebroadcastinputbasedonestimatedsize.TheImpalaplannermayinrarecasesmakeabadchoicetobroadc
cclovezbf·2022-07-18 07:17

企鹅够牛，大事不断：腾讯音乐遭“投资者律师代表团”调查、大数据组件TubeMQ宣布开源、1千万美元领投英国AI企业SenSat...

整理：数据猿Toby数据猿官网|www.datayuan.cn今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区据国外媒体报道，美国律师事务所GlancyProngay&MurrayLLP10月7日宣布，将代表腾讯音乐投资者对腾讯音乐展开调查，以评估该公司及其高管是否违反了联邦证券法。今年8月27日，彭博社曾报道称，中国国家市
数据猿·2022-07-15 09:56

数据分析引擎百花齐放，为什么要大力投入ClickHouse？

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近年来，OLAP产品的竞争日渐激烈，目前企业间流行的既有Impala、Greenplum等上一代较为成熟的数据分析产品
·2022-07-13 13:27

一篇文章带你了解大数据生态圈---大数据组件图谱

小编一篇文章带你了解大数据生态圈—大数据组件图谱转载地址：http://blog.csdn.net/u010039929/article/details/70157376文章目录小编一篇文章带你了解大数据生态圈
小哪吒的BD·2022-07-02 09:20

钱大妈基于 Flink 的实时风控实践

主要内容包括：项目背景业务架构未规则模型难点攻坚回顾展望一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台
·2022-06-20 15:39

IDEA 中使用 Big Data Tools 连接大数据组件

目录简介安装BigDataTools插件Flink配置（不推荐）Kafka配置（推荐）HDFS配置（推荐）总结简介BigDataTools插件可用于IntellijIdea2019.2及以后的版本。它提供了使用Zeppelin，AWSS3，Spark，GoogleCloudStorage，Minio，Linode，数字开放空间，MicrosoftAzure和Hadoop分布式文件系统（HDFS）来
·2022-05-26 11:05

国星宇航 SaaS 系统容器化最佳实践

之前主要从事大数据组件开发，以及数据血缘相关的工作。
·2022-05-17 17:10

spark sql加载parquet格式和json格式数据

Parquet是一种列式存储格式，可以被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。2.Parquet文件下载后是否可以直接读取和修改呢？
zhousishuo·2022-05-17 17:47

Spark SQL 操作 Parquet 类型文件

Parquet介绍ApacheParquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala
路飞DD·2022-05-17 16:52

Spark SQL下的Parquet使用最佳实践和代码实战

过去整个业界对大数据的分析的技术栈的Pipeline一般分为一下两种方式：A）DataSource->HDFS->MR/Hive/Spark(相当于ETL)->HDFSParquet->SparkSQL/impala
靖-Drei·2022-05-17 16:40

Airflow 动态创建Task

importairflowimportMySQLdbfromimpala.utilimportas_pandasfromairflowimportDAGfromairflow.operators.dummy_operatorimportDummyOperatorfromairflow.operators.bash_operatorimportBashOperator
灯火gg·2022-05-12 11:48

基于streamx闲聊flink在k8s上的部署实战

模板的配置其他参数查看日志后续自定义构造镜像由于容器化易管理、易扩容等优点，越来越多的组件都开始迁移到容器上，k8s作为容器化的事实标准，受到了越来越多的人的青睐，由于我们目前很多web开发的组件也是部署到k8s上的，为了后续运维更加方便，我把我们用到的一些大数据组件
大数据技术与应用实战·2022-04-13 21:32

Apache Impala架构解析及与Hive、SparkSQL的性能比较

一、Impala介绍Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
·2022-03-29 10:38

数据仓库 —— Hive

要实现这个目标，就需要大数据分析引擎，常见的有：Hadoop体系的Hive和PigSparkSQLFlinkTable&SQLPresto：支持SQL，基于内存，通常集成Presto和HiveImpala
小胡_鸭·2022-03-24 18:41

大数据组件之Hive（Hive学习一篇就够了）

文章目录一、Hive安装1、解压环境2、环境变量配置3、配置文件信息1.打开编辑文件2.输入以下内容4、拷贝mysql驱动5、更新guava包和hadoop一致6、mysql授权7、初始化8、hive启动模式9、Hadoop的core-site.xml配置二、Hive1、Hive的文件结构2、MySQL上Hive的元数据3、hadoop文件授权4、Hive的驱动器：Driver5、抽象语法树（AS
绝域时空·2022-03-20 07:53

大数据开发面试：impala和hive的比较

Impala:Cloudera公司推出，提供对于hdfs，hbase数据的高性能，低延迟的交互式sql查询功能基于hive，使用内存计算，兼顾数据仓库，具有实时，批处理，多并发等优点是CDH首选的PB级大数据实时查询
道法—自然·2022-02-28 15:44

python存数据到impala_python连接impala（安装impyla）

相关环境如下:Python3.4Win764位参照官网https://github.com/cloudera/impyla中的安装步骤执行：1、pipinstallsix2、pipinstallbit_array3、pipinstallthriftpy##thrift(onPython2.x)orthriftpy(onPython3.x)4、pipinstallsasl-0.2.1-cp34-cp
weixin_39839968·2022-02-28 15:36

问题排查--Impala查询Decimal数据为NULL，Hive查询正常

目前，线上反馈一个问题：同一张表，使用Hive查询正常，但是使用Impala查询，返回的数据中，部分字段值为NULL。
skyyws·2022-02-28 15:31

往hive中写入数据，通过impala查询不到数据，通过hive客户端可以查到数据

在这种情况下，使用impala查询需要刷新元数据，把元数据信息统计到impala元数据存储中，再做查询。
大胖头leo·2022-02-28 15:18

Hive新增表在Impala查不到问题解决

1问题产生Impala和hive一起使用，当我们在HIVE中新增一张表时，我们发现在Impala中不能及时查看到新增表，这是因为元数据信息没有及时刷新，在impala里执行invalidatemetadata
赵广陆·2022-02-28 15:48

面试官：hive表有数据，但为什么impala查询不到数据？

hive表有数据，但为什么impala查询不到数据？你能说说这是什么情况导致的，有什么办法解决方案吗？对于这个问题，我们不妨来回顾下，什么情况下hive表有数据，但impala没有数据的情况。
爱开发V·2022-02-28 15:08

Hive(一)基础知识

hive简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，hive底层是将SQL语句转换为MapReduce任务运行（类似于插件Pig\impala
牛逸凡·2022-02-28 11:38

是选impala还是presto_Kylin、druid、presto、impala四种即席查询对比

一、什么是即席查询即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件理解：快速的执行自定义SQL(可能无法提前运算和预测)重点关注：数据存储格式和架构理解了什么是即席查询之后，下面会从定义、框架原理、优化等几个方面介绍这四个框架、最后会做一个对比，面对不同的业务选择合适的框架二、Kylin1、定义：Apa
用户7397237569·2022-02-28 10:03

Kylin、druid、presto、impala四种即席查询对比--（转载）

一、什么是即席查询即席查询是用户根据自己的需求，灵活的选择查询条件，系统根据用户的选择生成相应的统计报表。普通查应用查询是定制开发的，即席查询是用户自定义查询条件理解：快速的执行自定义SQL（可能无法提前运算和预测）重点关注：数据存储格式和架构理解了什么是即席查询之后，下面会从定义、框架原理、优化等几个方面介绍这四个框架、最后会做一个对比，面对不同的业务选择合适的框架二、Kylin(over)1、
带着希望活下去·2022-02-28 10:46

即席查询架构对比

4.Impala:基于内
�shakalaka·2022-02-28 10:05

如何写一个包含多个事件四则运算的留存SQL ——impala hive

在实现一个留存业务需求时，碰到了一个难题，我需要提供展示一个按照如下图格式的数据，day1~dayn的第一行是留存用户数量，第二行是一个由多个事件组合执行四则算术运算得到的复合数值，这里碰到的难点主要是第二行的计算，如果只想查看第二行的解决方法可以点击这里由于数据传输速率受限，我不能使用先查询出所有数据然后在代码里处理数据的方法，因此我需要在sql查询中尽量完成所有聚合计算以减少查询返回的行数留存
Moelimoe·2022-02-28 10:24

大数据分析工程师面试集锦：Spark 面试指南

Spark作为大数据组件中的执行引擎，具备以下优势特性。1.高效性。内存计算下，Spark比MapReduce快100倍。
3d游戏建模经验交流·2022-02-19 15:13

写入时间戳类型数据到Parquet，再用Impala读取

Parquet是一种新型列存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。
逍遥老怪·2022-02-18 19:34

impala + kudu一些优化心得

用了几次impala+kudu做大数据实时计算场景，一路踏坑过来，这里分享踏坑经验一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于
阿甘骑士·2022-02-17 14:49

Linux 发行版 NixOS 发布 18.03 版

4月4日，NixOS发布了代号为「Impala」的18.03版。这一版
歌于心·2022-02-16 01:43

#SQL on Hadoop技术分析

目前比较主流的有Impala，SparkSQL，HAWQ，Tez，Drill，Presto，Tajo等。下面从技术层
葡萄喃喃呓语·2022-02-14 03:18

大数据平台架构设计探究

第五部分介绍优秀的大数据架构整体设计从第五部分以后都是在介绍通过各种数据平台和组件将这些大数据组件结合起来打造一套高效、易用的数据平
GOGOYAO·2022-02-11 09:14

关于实时数仓

大数据领域开源OLAP引擎包括不限于Hive、Hawq、Presto、Kylin、Impala、SparkSQL、Druid、Clickhouse、Greeplum等等。
夜丨雨·2022-02-09 15:49

HiveServer2运行慢，不定时宕机，问题排查

HiveServer2运行慢，不定时宕机，问题排查文章目录HiveServer2运行慢，不定时宕机，问题排查1.问题描述2.原因分析（分析方法）3.解决方案总结1.问题描述大数据组件HiveServer2
spark_dev·2022-02-06 11:58

全面解析SQL on Hadoop中用到的主要技术

考虑到系统使用的广泛程度与成熟度，在具体举例时一般会拿Hive和Impala为例，当然在调研的过程中也会涉及到一些其他系统，如SparkSQL，Presto，TAJO等。
丨程序之道丨·2022-02-06 11:31

python安装impala包

环境：windows10安装依赖包：pipinstallsixpipinstallbit_arraypipinstallthriftpypipinstallthrift-sasl==0.2.1--这个版本要选择正确pipinstallimpyla1、window10如果没有安装VisualStudio2014++会报错，在安装impyla的时候会提示异常error:MicrosoftVisualC
·2022-01-27 15:33

hive建表并导入csv文件数据

先是在的hive命令行建的表，成功导入了，但是impala客户端查不到，然后刷新了元数据（invalidatemetadata表名）impala报错不支持org.apache.hadoop.hive.serde2
·2021-12-09 17:30

zookeeper 浅谈zookeeper及其特点 重要机制 zookeepe应用汇场景 选举机制 监听原理 zookeeper客户端操作命令 zookeeper配置参数

1、Zookeeper及其他大数据组件简介HDFS：是解决存的问题HBase：解决大表的问题，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统Hive：是包装MapReducer的功能。
'一生所爱·2021-11-27 22:34
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他