大数据组件--impala

Spring Cloud: Hystrix请求队列线程不足

在实际生产环境中使用时，我们遇到了这样一个错误："...,stacktrace:[com.netflix.hystrix.exception.HystrixRuntimeException:QueryNodeImpalaBdService
MeazZa·2024-09-15 12:48

探索未来，大规模分布式深度强化学习——深入解析IMPALA架构

探索未来，大规模分布式深度强化学习——深入解析IMPALA架构scalable_agent项目地址:https://gitcode.com/gh_mirrors/sc/scalable_agent在当今的人工智能研究前沿
汤萌妮Margaret·2024-09-15 12:30

2024年大数据高频面试题(下篇）

数据类型函数式编程闭包函数柯里化面向对象样例类对象与伴生对象特质(trait)模式匹配隐式转换即席查询KylinKylin特点Kylin工作原理核心算法Kylin总结Kylin的优点什么场景用KylinKylin的缺点Impala
猿与禅·2024-09-07 22:27

【赵渝强老师】基于大数据组件的平台架构

  在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。  视频讲解如下：大数据平台的Lambda架构【赵渝强老师】大数据平台的Lambda架构大数据平台的Kappa架构【赵渝强老师】大数据平台的Kappa架构  大数据平台的总体架构可以分为五层，分别是：数据源层、数据采集层、大数据平台层、数据仓
赵渝强老师·2024-08-30 16:07

Bigtop 从0开始(上)

本文作者：蔡佳良原文阅读：【巨人肩膀社区·博客·分享】Bigtop从0开始BigTop的应用场景：1.BigTop通过提供预配置的Docker镜像，极大简化了在不同操作系统上编译大数据组件的rpm或deb
atbigapp.com·2024-08-23 23:11

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理
海牛大数据_青牛老师·2024-02-13 12:44

Impala-架构与设计

架构与设计一、背景和起源二、框架概述1.设计特点2.框架优点3.框架限制三、架构图1.ImpalaDaemon2.Statestore3.Catalog四、Impala查询流程1.发起查询2.生成执行计划
临江蓑笠翁·2024-02-13 09:48

我的创作纪念日

当时，作为一名来自南京的大二大数据专业学生，我被分配到了一个大型分布式系统测试团队中，亲身经历了从零构建测试框架、设计复杂测试场景到验证大数据组件性能的过程。这份实践让我意识到，软件测试不仅是
yueqingll·2024-02-11 14:14

Elasticsearch: 非结构化的数据搜索

很多大数据组件在快速原型时期都是Java实现，后来因为GC不可控、内存或者向量化等等各种各样的问题换到了C++，比如zookeeper->nuraft(https://www.yuque.com/treblez
SakamataZ·2024-02-08 22:48

史上最全OLAP对比

的优点和缺点4.并发能力与查询延迟对比5.执行模型对比5.OLAP引擎的主要特点5.2SparkSQL、FlinkSQL5.3Clickhouse5.4Elasticsearch5.5Presto5.6Impala5.7Doris5.8Druid5.9Kylin
只会写demo的程序猿·2024-02-08 11:04

【Iceberg学习一】什么是Iceberg？

Iceberg为包括Spark、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能，使用一种高性能的表格格式，其工作方式就像一个SQL表一样。
周润发的弟弟·2024-02-07 10:56

Spark Chapter 8 Spark SQL

在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用SQL语句进行大数据分析hive的问题：底层MR，2.x之后可以用spark应用场景SQLonHadoop:Hive,Shark(不维护了)，Impala
深海suke·2024-02-07 01:34

SQL Parser

w1047667241/article/details/123110220alibabadruid经过不断迭代，已经解决了很多hive解析的bug，比如2020年的createtablebug支持的dbtype多，impala
TaiKuLaHa·2024-02-05 11:27

Kudu+Impala介绍

转自：http://www.360doc.com/content/18/0913/16/59691344_786386910.shtmlKudu+Impala介绍概述Kudu和Impala均是Cloudera
wjmmjr1·2024-02-05 07:20

impala与kudu进行集成

文章目录概要Kudu与Impala整合配置Impala内部表Impala外部表Impalasql操作kuduImpalajdbc操作表如果使用了Hadoop使用了Kerberos认证，可使用如下方式进行连接
shandongwill·2024-02-05 07:44

45.使用Sentry授权—Kudu

45.1演示环境CDH5.11.2和CDH5.13两个集群运行正常两个集群Kudu已经安装，且已集成Impala，操作正常两个集群都已启用Sentry并且配置正确CDH5.11.2和CDH5.13集群用
大勇任卷舒·2024-02-04 18:30

大数据入门-大数据技术概述(二)

目录大数据入门系列文章1.大数据入门-大数据是什么2.大数据入门-大数据技术概述(一)一、简介二、技术详解1.分布式协调服务：Zookeeper2.分布式资源管理器：Yarn3.计算引擎：Spark4.查询引擎：Impala5
水坚石青·2024-02-04 11:11

使用haproxy做impala的负载均衡

1.IMPALA组件概述Impala组件包含3个子模块（ImpalaCatalogServer、ImpalaStateStore、ImpalaDaemon），如图所示：其中ImpalaCatalogServer
要树立远大的理想·2024-02-04 08:22

Fink CDC数据同步（三）Flink集成Hive

利用Flink来读写Hive的表Flink打通了与Hive的集成，如同使用SparkSQL或者Impala操作Hive中的数据一样，我们可以使用Flink直接读写Hive中的表。
苡~·2024-02-04 07:20

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org/dist/hive/hive-2.3.2/Zookeeper下载连接：https://archive.apache.org/dist/zookeeper/zookeeper-3.
运维道上奔跑者·2024-02-04 05:13

大数据组件笔记 -- Spark 入门

文章目录一、简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark历史Spark虽然有自己的资源调度框架，但实际中常用Yarn来进行统一资源管理。Spark框架Spark内置模块SparkCore：实现了Spark的基本功能
L小Ray想有腮·2024-02-03 15:53

循序渐进大数据组件之--Flink

最近学习了Flink，做一些小的总结：（预计这个我会出一个系列）先来看看Flink是什么：（出自官网）ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。ApacheFlink功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以
Alex_81D·2024-02-03 15:20

InnoDB行格式

1行格式总览InnoDB规划了26种行格式，分别对应26种动物，首字母由A至Z：Antelope,Barracuda,Cheetah,Dragon,Elk,Fox,Gazelle,Hornet,Impala
saviochen·2024-02-02 11:35

不同的强化学习模型适配与金融二级市场的功能性建议

DQNESDDPGA2CTD3SACQMIXMADDPGPPOCQLIMPALA哪个模型适合进行股票操作在考虑使用哪种模型进行股票操作时，需要考虑模型的特点、适用场景以及实现复杂度等因素。
路人与大师·2024-01-31 09:54

如何接手一个大数据项目

以下是个人的一些思考总结：了解一个大数据系统，我认为需要从以下几个方面入手：宏观方面：1.了解系统的整体架构和技术栈：需要了解系统中使用的技术栈，包括各种大数据组件和工具，例如Hadoop、Spark、
Mmj666·2024-01-30 15:19

FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志

不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysqlbinlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata
chenzhihao·2024-01-29 09:08

Impala源码阅读——SimpleScheduler

Scheduler的任务相关概念：DistributedPlan在Frontend中已经把SQL转换成了singlenodeplan，然后又将其切分成了distributedplan。代码见Planner::createPlan和DistributedPlanner::createPlanFragments.比如左图的singlenodeplan会切成为右图的distributedplan（图片来
stiga-huang·2024-01-28 12:38

Impala实践：解析glog打印的 C++ 报错堆栈

Impala实践：解析glog打印的C++报错堆栈Impala使用glog生成日志。
stiga-huang·2024-01-28 12:08

Impala如何将Iceberg上的查询编译性能提升12倍

Impala如何将Iceberg上的查询编译性能提升12倍原文作者：RizaSuminto原文链接：https://blog.cloudera.com/12-times-faster-query-planning-with-iceberg-manifest-caching-in-impala
stiga-huang·2024-01-28 12:07

Kudu-1.16编译中下载Gradle依赖失败的解决办法

Kudu-1.16编译中下载Gradle依赖失败的解决办法最近在国内的机器上编译Impala的native-toolchain，没法挂代理，发现编译kudu-1.16时失败了：FAILURE:Buildfailedwithanexception
stiga-huang·2024-01-28 12:37

Apache Impala 4.2概览

ApacheImpala4.2概览Impala4.2于2022年12月发布，共有265个commits，有37位开发者贡献了代码。
stiga-huang·2024-01-28 12:37

Apache Impala 4.1概览

ApacheImpala4.1概览自从Impala4.0发布后，历时近11个月，Impala4.1终于发布了！
stiga-huang·2024-01-28 12:36

在CDH6.3中单独升级Impala到Apache Impala 3.4

１.实验环境一个CDH6.3.3集群，部署在三台Ubuntu16.04机器上一台同样环境的Ubuntu16.04机器用来编译ApacheImpala3.4CDH6.3.3对应的Impala基础版本是ApacheImpala3.2
stiga-huang·2024-01-28 12:06

Impala-shell卡顿分析——记一次曲折的Debug经历

Impala-shell卡顿分析——记一次曲折的Debug经历问题发现最近准备在Impala中增加对UTF-8的支持，以修正跟Hive、Spark等基于Java的系统在UTF-8字符串上的不兼容表现（如
stiga-huang·2024-01-28 12:06

如何在Apache JIRA中搜索issue

经常会遇到这样的问题：某个功能在哪个Impala版本开始有？具体细节是什么？某个bug在哪个Impala版本开始出现/修复？遇到某个报错，是否是已知问题？
stiga-huang·2024-01-28 12:06

Apache Impala 4.0概览

ApacheImpala4.0概览历经15个月，ApacheImpala4.0终于发布了！
stiga-huang·2024-01-28 12:06

动态调整Impala日志级别

Impala日志级别诊断线上事故时，动态调整日志级别非常有用，Impala的各个server也提供这样的能力。
stiga-huang·2024-01-28 12:36

Impala 3.4的新功能和社区进展

Impala3.4的新功能和社区进展Impala社区在四月底发布了3.4版本。这是时隔半年后的又一个新版本，也是最后一个3.x版本。
stiga-huang·2024-01-28 12:36

Impala编译：一个maven编译错误的解决

编译Impala时遇到了一个maven错误，准确地说是编译testdata模块时报的错。我用的指令是“.
stiga-huang·2024-01-28 12:35

Impala查询卡顿分析案例

Impala查询卡顿分析案例最近在开发时遇到查询卡顿(stuck)的情况，感觉比较有代表性，因此记录一下排查过程。在生产环境中也可以用类似的方法找到卡顿的源头。
stiga-huang·2024-01-28 12:05

如何对CDH集群中的Impala打印线程堆栈

如何对CDH集群中的Impala打印线程堆栈上一篇文章《Impala查询卡顿分析案例》介绍了怎么对Impala进程打印线程堆栈，JVM部分直接用jstack比较直接，但C++部分由于要使用gdb或breakpad
stiga-huang·2024-01-28 12:05

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Impala元数据缓存的生命周期

上一篇文章《Impala元数据简介》介绍了Impala缓存的元数据（Metadata/Catalog）的具体内容，本文将介绍这些元数据缓存的生命周期，即它们是怎么初始化的，怎么加载的以及怎么失效的。
stiga-huang·2024-01-28 12:05

Impala依赖组件的客户端源码下载

Impala编译时默认依赖CDH/CDP组件，这些组件跟开源Apache组件的源码可能有差异，但对应的客户端源码也是开源的，可以从S3下载。
stiga-huang·2024-01-28 12:04

66.管理Hive外部表——Sentry

66.1演示环境介绍操作系统：CentOS6.5CM和CDH版本：5.12.1采用root用户操作集群运行正常，Kerberos/HDFS/Hive/Impala/Hue服务已与Sentry集成，Hive
大勇任卷舒·2024-01-28 11:57

使用CDH的api接口对cdh服务进行滚动重启

importtimeimportrequestsimportjsonimportsys#可操作的服务列表server_list=['hdfs','yarn','zookeeper','hbase','spark_on_yarn','hive','impala
Mumunu-·2024-01-26 01:32

大厂大数据面试题收录（1）

6.在大数据组件中，你们一般用的资源管理框架是哪个？7.那你能谈一下yarn的基础架构及调度流程吗？8.Hivesql到MapReduce转化的流程清楚吗？
后季暖·2024-01-23 11:49

Impala：基于内存的MPP查询引擎

Impala查询引擎1、Impala概述1.1、Impala简介1.2、Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能
对许·2024-01-22 17:26

往docker中cloudbeaver的容器添加达梦数据库、impala数据库连接支持（cloudbeaver添加自定义数据连接）

cloudbeaver默认没有开放impala连接，更不会支持国产数据库了docker安装运行cloudbeaver可以参考文章：docker安装运行CloudBeaver并设置默认语言为中文本文跳过cloudbeaver
睡竹·2024-01-22 14:09

Impala

Impala概述Impala是什么Impala是一款针对HDFS和HBASE中的PB级别数据进行交互式实时查询工具。
奋斗的蛐蛐·2024-01-22 10:42
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他