大数据组件--impala

Impala metrics详解之Jvm篇

文章目录Jvmmetrics模板Memoryusage模板Peakmemoryusage模板GC相关的模板Jvmmetrics相关的thrift结构体代码流程TJvmMemoryPool获取MemoryPool获取Heap和nonheap获取Total获取JvmGCmetrics获取JvmPauseMonitormetrics其他GCmetricsBE端初始化metrics关于Metrics的更新
skyyws·2021-11-26 16:57

FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志

不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysqlbinlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata
atguigu_Jack·2021-11-23 15:05

知乎利用 JuiceFS 给 Flink 容器启动加速实践

本文作者胡梦宇，知乎大数据架构开发工程师，主要负责知乎内部大数据组件的二次开发和数据平台建设。背景Flink因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。
·2021-11-23 10:51

大数据可视化BI分析工具Superset部署详解

应用场景由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Impala、Druid、mysql等，且支持自定义仪表盘，故可作为数仓的可视化工具。
·2021-11-16 13:45

kudu on impala 基本用法。

https://impala.apache.org/docs/build/impala-2.12.pdf1.尽量考虑用kudu自己的api来增删改查，而不是通过impala的jdbc接口去做些事。
cclovezbf·2021-11-10 17:30

CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据

当前大数据集群的工具选型上,巨头们都是自研大数据工具,中小微企业都是开源大数据组件搭积木,中间层级的厂商或买商业软件(MaxCompute/腾讯云/华为云)或在CDH基础上再集成商业套件(Dataphin
江畔独步·2021-11-09 18:14

盘点Hadoop生态中 6 个核心的大数据组件

大数据生态圈中有很多优秀的组件，可谓琳琅满目，按组件类别可分为存储引擎、计算引擎，消息引擎，搜索引擎等；按应用场景可分为在线分析处理OLAP型，在线事务处理OLTP型，以及混合事务与分析处理HTAP型等。有些组件主要存储日志数据或者只允许追加记录，有些组件可更好的支持CDC或者upsert数据。有些组件是为离线分析或批处理而生，有些则更擅长实时计算或流处理。本文整理了几个笔者认为非常重要且仍然主流
create17·2021-10-16 11:16

分布式强化学习之IMPALA

参考内容：https://zhuanlan.zhihu.com/p/58226117参考书籍：《深度强化学习学术前沿与实战应用》IMPALA全名ImportanceWeightedActor-LearnerArchitecture
微笑小星·2021-10-15 00:14

开源OLAP引擎哪个快？ (Presto、HAWQ、ClickHouse、GreenPlum) - 知乎

易观CTO郭炜序现在大数据组件非常多，众说不一，在每个企业不同的使用场景里究竟应该使用哪个引擎呢？
·2021-08-25 11:00

如何远程调试自定义开发的Flume应用

其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署
·2021-08-16 11:23

当大数据架构遇上 TiDB

作者介绍：胡梦宇，知乎核心架构平台开发工程师，大数据基础架构方向，主要工作内容是负责知乎内部大数据组件的二次开发和数据平台建设。
·2021-07-30 14:53

UCloud一站式智能大数据平台USDP免费版正式发布！

3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch：包含Logstash、ElasticSearch、Kibana等；·Kudu：包含Impala
·2021-07-27 19:28

大数据组件知识点总结（2） - HBase

主从架构的非关系型数据库；面向列簇存储，每个列簇内部数据以key-value格式存放；支持水平扩展、容错性良好；随机读写性能好、数据扫描慢，不适合用作OLAP。数据模型每个Namespace包含一组Table，默认有两个Namespace，hbase（如Meta表）、default；rowkey：类似主键（但没有数据类型，字符数组保存），唯一标识一行、按序排列。columnfamily：定义表时需
千反田爱瑠爱好者·2021-06-25 02:19

迟到的Kudu设计要点面面观（前篇）

后篇传送门：https://www.jianshu.com/p/24bdc6f62e84目录PrologueKudu的初衷集群架构与共识保证表与分区的设计底层存储设计细节事务与数据一致性（待续）与Impala
LittleMagic·2021-06-22 15:06

大数据用户画像解决方案

http://www.xuetuwuyou.com/course/330视频+源码+详细课件规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍
administer001·2021-06-20 08:29

迟到的Kudu设计要点面面观（之更加迟到的后篇）

www.jianshu.com/p/5ffd8730aad8目录Prologue（见前篇）Kudu的初衷（见前篇）集群架构与共识保证（见前篇）表与分区的设计（见前篇）底层存储设计细节（见前篇）事务与数据一致性与Impala
LittleMagic·2021-06-20 07:37

django+celery+psutil+channels+elasticsearch实现监控实时告警功能--一次面试引发的学习经历

也暴露出一些问题，我没有太深入的研究，导致某些大数据组件的优化方面没有回答上来。整体面试效果还可以吧。面试官对我还算是没有放弃，反复想验证我是否有较强的学习能力，临走时还给我布置了一个作业：
zhaojian821·2021-06-19 01:43

Spark计算引擎

，耗费时间长•不适合处理迭代计算、交互式处理、实时流处理等•更多的应用于大规模批处理场景➢计算处理框架种类多，选型复杂•批处理:MapReduce、Hive、Pig•流式计算:Storm•交互式计算:Impala
01_小小鱼_01·2021-06-19 01:51

UCloud一站式智能大数据平台USDP免费版正式发布！

3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch：包含Logstash、ElasticSearch、Kibana等；·Kudu：包含Impala
·2021-06-18 21:33

CDH遇到的问题

CDH添加高hdfs高可用后，hive，impala查询报错0:jdbc:hive2://localhost:10000/>selectcount(1)fromperson;Error:Errorwhilecompilingstatement
阿甘骑士·2021-06-14 12:26

[新星计划]一文快速搞懂系列__一文快速搞懂SuperSet[实战案例]

一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列文章:文章传送门:一文
ChinaManor·2021-06-13 20:58

Druid.io大查询分析思路

Druid.io是CPU和IO双密集型的大数据组件，因为Druid架构中无论是处理实时数据摄入的peon进程还是存储历史数据的历史节点，在负责数据存储的同时还需要处理其节点上数据的查询。
RantLing·2021-06-11 06:53

Impala常用操作命令

Impala的操作命令一.Impala的外部shell选项描述-h,--help显示帮助信息-vor--version显示版本信息-ihostname,--impalad=hostname指定连接运行impalad
多彩海洋·2021-06-08 20:56

“大鹏一日同风起”Kunpeng BoostKit 使能套件如何实现大数据场景倍级性能提升？

文章目录前言一、开源大数据与鲲鹏多核结构渊源1.1、海量数据处理的难题1.2、大数据并行计算特点天然匹配鲲鹏多核架构二、开源大数据整体与组件介绍2.1、大数据组件：Hadoop-HDFS模块2.2、大数据组件
白鹿第一帅·2021-06-07 15:04

[喵咪大数据]Presto查询引擎

如果大家正在按照笔者的教程尝试使用大数据组件还是之前有使用过相关的组件,大家会发现一个问题HIVE在负责的查询下调用Mapreduce会很慢,在这个场景下就涌现出很多查询引擎来优化,比如大家熟悉的Spark-SQL
文振熙·2021-06-06 13:53

基于Spring的流量拷贝框架实现

1背景目前我们在开发一个大数据线上查询系统服务，该服务下面会支持多种数据库引擎的查询，比如Impala、Kylin和Druid等，并根据查询请求进行自动路由，选择最优的数据库引擎。
MeazZa·2021-06-06 05:31

Hive 元数据表结构详解_豪猪的博客-CSDN博客_hive元数据表结构

本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等
·2021-06-01 17:00

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：
明月十四桥·2021-05-26 10:33

大数据组件 - Ambari 01 简介

大数据组件-Ambari01简介是什么？Ambari是apache下的一个开源项目，致力于让hadoop集群管理更加简单。它开发了丰富的RESTfulAPIs，以及一套直观易用的WebUI管理界面。
雷学委·2021-05-24 23:36

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：
明月十四桥·2021-05-24 12:53

impala 概念及其特性

impala是什么？Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。它是一个用C++和Java编写的开源软件。
起个什么呢称呢·2021-05-17 18:49

七十三、Impala的常用操作

上一篇文章我们简单介绍了一下Impala以及如何安装部署Impala，本文我们从Impala的数据类型、DDL、DML、函数等方面来看一下Impala是如何操作的。
象在舞·2021-05-17 14:19

impala架构

Impala是在Hadoop集群中的许多系统上运行的MPP（大规模并行处理）查询执行引擎。与传统存储系统不同，impala与其存储引擎解耦。
起个什么呢称呢·2021-05-15 17:05

一篇文章搞定一个大数据组件：kudu知识点全集

目录1、kudu的定位2、kudu基本概念3、存储架构3.1储存架构：Tablet3.2储存架构：RowSets3.3储存架构：DiskRowSets4、kudu工作原理4.1Compaction4.2Tablet切分规则4.3kudu写过程：insert4.4kudu写过程：update4.5Kudu读过程1、kudu的定位HDFS:存储格式Textfile,Parquet,ORC，适合离线分析
明月十四桥·2021-05-14 18:27

SQL on Hadoop技术综述

SQLonHadoop系统中，有两种架构：1、一种是基于某个运行时框架来构建查询引擎，典型案例是Hive；2、另一种是仿照过去关系数据库的MPP架构，就是参考过去的MPP数据库架构打造一个专门的系统，于是就有了Impala
Michael_林·2021-05-14 15:32

七十二、Impala的简介与安装部署

咱们前面几篇文章穿插了些CDH的内容，因为咱们的Impala的安装是基于CDH的，所以提前将如何部署安装CDH讲解了一下。本文我们来看一下Impala的相关知识。
象在舞·2021-05-14 14:31

Step by Step 实现基于 Cloudera 5.8.2 的企业级安全大数据平台 - Sentry 的整合

本篇主要介绍Hive集成Sentry、Impala集成Sentry、HUE集成Sentry，HDFS集成Sentry(这块暂时没有调通)。
大数据之心·2021-04-26 13:10

大数据常见面试题 非常棒

一、当前集群环境CDH6.3.3hadoop3.0.0hbase2.1.0hive2.1.1impala3.2.0spark2.4.0kafka2.2.1scala2.11.12二、hadoop1.Hdfs
小猿笔记·2021-04-25 10:15

spark原著

并行化，以并行方式重写应用容错，集群下节点故障和慢节点变为常态动态扩展与缩减资源现存在编程模型：MapReduce批处理计算模型Pregel图处理模型Strom/impala流式处理模型spark的不同之处是
张晓天a·2021-04-24 20:49

impala查询问题

UnknownException:'ascii'codeccan'tencodecharactersinposition141751-141755:ordinalnotinrange(128)解决方式：vim/usr/lib/impala-shell
君子慎独焉·2021-04-24 09:57

Apache Impala概念和架构

ApacheImpala概念和架构目录ApacheImpala概念和架构...1Impala服务器组件...1Impala守候进程impalad.1Impala状态存储进程Statestored.2Impala
devilteam2006·2021-04-24 04:50

22 一套数据，多种引擎续---两种数据格式（Parquet/ORCfile）浅析

//一套数据，多种引擎（impala/Hive/kylin）-大数据和云计算技术（欢迎关注同名微信公众号）-ITeye技术网站http://jiezhu2007.iteye.com/blog/2153589
葡萄喃喃呓语·2021-04-23 09:06

大数据常见面试题（一）

一、当前集群环境CDH6.3.3hadoop3.0.0hbase2.1.0hive2.1.1impala3.2.0spark2.4.0kafka2.2.1scala2.11.12二、hadoop1.Hdfs
纯净天空7·2021-04-21 23:38

在CentOS7中安装CDH

CDH主要就是包含了Hadoop等的一些大数据组件的安装包，而CDHManager就是管理和监控这些的一个系统。2基础环境配置JDK的安装虚拟机安装成功后，配置JDK环境，CDH对JDK
Bigdata234·2021-04-21 13:30

大数据时代快速SQL引擎-Impala

背景甚至出现《MapReduce:一个巨大的倒退》此类极端的吐槽，这也怪不得Hadoop，毕竟它的设计就是为了批处理，使用用MR的编程模型来实现SQL查询，性能肯定不如意。所以通常我也只是把Hive当做能够提供将SQL语义转换成MR任务的工具，尤其在做ETL的时候。在Dremel论文发表之后，开源社区涌现出了一批基于MPP架构的SQL-on-Hadoop(HDFS)查询引擎，典型代表有Apache
易霂·2021-04-19 01:29

impala常用操作指令

1、进入impalaimpala-shell;2、显示数据库,数据表showdatabases;showtables;3、查看表结构定义desc表名;
格格巫 MMQ!!·2021-04-18 21:06

大数据权限授权管理框架：Apache Sentry和Ranger

所以Sentry对HDFS，Hive以及同样由Cloudera开发的Impala有着很好的支持性。ApacheRangerRanger则是由
香山上的麻雀·2021-04-15 04:05

大数据平台建设 —— SQL查询引擎之Presto

SQL的方式对批量数据进行查询，而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率，各大工具应运而生，比如Shark、Impala
端碗吹水·2021-04-13 01:47

数据搬运组件：基于Sqoop管理数据导入和导出

本文源码：GitHub||GitEE一、Sqoop概述Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)
·2021-03-22 19:00

大数据组件笔记 -- Scala

文章目录一、简介1.1环境搭建1.2HelloWorld1.3ScalainIDEA1.4伴生对象二、变量和数据类型2.1变量和常量*2.2关键字2.3字符串输出2.4键盘输入2.5数据类型*2.6类型转换三、运算符3.1算术运算符3.2关系运算符3.3逻辑运算符3.4赋值运算符3.5位运算符四、流程控制4.1分支4.2For循环4.3While循环4.4循环中断五、函数式编程5.1函数基础5.2
L小Ray想有腮·2021-03-21 16:09
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他