大数据组件--impala

111.Parquet表的使用

Parquet格式：数据模型:Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL
大勇任卷舒·2024-01-21 02:33

HBase集群写入出现大量毛刺排查

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优问题现象查看监控，业务请求量正常，但是server
KubeData·2024-01-17 02:12

一文了解数据库vs数据仓库vs数据湖

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优以下是本文目录：什么是数据库？
KubeData·2024-01-17 02:11

程序员如何构建自己的「护城河」

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优关注我，持续分享更多技术干货0.何为「护城河」前段时间
KubeData·2024-01-17 02:41

一文详细了解大数据离在线混部架构模型

离在线混部背景介绍随着云原生技术的蓬勃发展，在整个行业内都在探索大数据组件云原生化从而实现资源更精细化的使用，PS：关于云原生和大数据结合之后文章单独来写），在这其中就以大数据离在线混部技术为代表首先尝试将资源进行波峰波谷式的进行充分利用
KubeData·2024-01-17 02:09

nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件

目录目录一、引言二、NiFi的历史背景介绍三、NiFi是什么？核心特性应用领域四、NIFI入门五、NiFi工作流程六、实际应用场景七、优势总结一、引言NiFi（ApacheNiFi），全名为“NiagaraFiles”，是一款开源的数据集成工具，由Apache软件基金会开发和维护。它是一个易于使用、功能强大且可靠的系统，用于处理和分发数据的大数据数据组件。它以直观的用户界面、可视化的设计和强大的数
大壮001·2024-01-15 23:30

Flink（十二）【容错机制】

前言最近已经放假了，但是一直在忙一个很重要的自己的一个项目，用JavaFX和一个大数据组件联合开发一个功能，也算不枉我学了一次JavaFX，收获很大，JavaFX它作为一个GUI开发语言，本质还是Java
让线程再跑一会·2024-01-14 13:22

impala元数据自动刷新

一.操作步骤进入CM界面>Hive>配置>搜索启用数据库中的存储通知(英文界面搜索：EnableStoredNotificationsinDatabase)，并且勾选，注意一定要勾选，配置后面的配置不生效。数据库通知的保留时间默认为2天，意味着如果事件通知没有更新超过2天事件将会丢失二.hive配置参数hive-site.xml的HiveMetastoreServer高级配置代码段（安全阀）hiv
远方有海，小样不乖·2024-01-12 15:33

大数据OLAP引擎发展原因及特性分析

在大数据高速发展时期，多个技术团队基于OLAP的应用需求，开发出多种OLAP技术，如Hive、SparkSql、FlinkSql、Impala、Kylin、ClickHouse、Doris等，或者在实现其他应用需求的时候
i7杨·2024-01-10 01:31

Hidataplus-3.3.2.0-005公测版本基于openEuler release 22.03 (LTS-SP2)的测试

测试角色如下：hadoop、yarn、zookeeper、hive、impala。
杨航的技术博客·2024-01-08 16:35

个人笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了Pig和Hive。Pig是接近脚本方式去描述MapReduce，Hive则用的是SQL。它们把脚本和SQL语言翻译成MapReduce程序，丢给计
garagong·2024-01-07 07:16

Hive SQLException: Method not supported问题

概述项目使用到impala/hive查询引擎，ELK记录每天都要抛出差不多一两条报错信息：java.net.SocketTimeoutException:Readtimedout。
johnny233·2024-01-06 10:26

impala + kudu | 大数据实时计算踩坑优化指南

一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于sqoop从关系型数据直接以parquet格式导入hive会有问题，这里默认
王知无(import_bigdata)·2024-01-04 23:41

Impala查询详解

Impala的定位是一种新型的MPP查询引擎，但是它又不是典型的MPP类型的SQL引擎，提到MPP数据库首先想到的可能是GreenPlum，它的每一个节点完全独立，节点直接不共享数据，节点之间的信息传递全都通过网络实现
weixin_34234823·2024-01-04 23:41

备份kudu表数据（Kudu导入导出）

：最简单的方法是建好一张和需要备份的表一样的kudu表INSERTINTOTABLEsome_parquet_tableSELECT*FROMkudu_table方法一：(在Hue中进行即可）1,利用impala
冬瓜螺旋雪碧·2024-01-04 23:38

Impala-查询Kudu表详解（超详细）

文章目录前言一、使用Impala查询kudu表介绍1.使用Impala与Kudu表的好处2.配置Impala以使用Kudu3.Kudu副本因子二、ImpalaDDL增强功能1.Kudu表的主键列2.Kudu
大数据魔法师·2024-01-04 23:05

如何构建大数据指标分析系统

技术的第一性原则是解决问题，不同的技术方案都能实现同样的需求，那在公司原有技术架构上，如何设计技术架构，尽量用最少的大数据组件解决多种应用场景问题。
i7杨·2024-01-04 03:37

2024年统一大数据应用场景的技术

前言：中间件/大数据组件的出现是为了解决特定的应用场景。
i7杨·2024-01-04 03:07

关于Cloudera Hadoop的安装（CentOS）- 官文标注（待完成）

CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo,ApacheImpala
DazzlingTiger·2024-01-03 21:15

【impala】在容器里编译impala(5)

提供一份在容器里成功编译出来impalad的日志。
runzhliu·2024-01-03 21:14

HiveQL或trino(presto)：查询

工作中在用大数据，hive、impala、trino都有使用，使用hive和trino最多，整里了以下内容，有点长，看完，绝对有收获。
三生暮雨渡瀟瀟·2024-01-03 11:14

Impala导出csv文件

场景：当数仓环境为大数据集群（impala），临时从数仓取数导出为csv文件使用impala-shell命令把文件导出为本地csv文件--正常导出impala-shell-q"SELECT*FROMyour_table
n_avo7_i·2023-12-31 18:34

Impala4.x源码阅读笔记（三）——Impala如何管理Iceberg表元数据

前言本文为笔者个人阅读ApacheImpala源码时的笔记，仅代表我个人对代码的理解，个人水平有限，文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解，欢迎指正。
Eyizoha·2023-12-30 10:57

23.Kudu表插入中文字符

23.1问题情况使用ImpalaJDBC向Kudu表中插入中文字符，插入的中文字符串乱码，中文字符串被截断。
大勇任卷舒·2023-12-29 09:17

大数据库分析

ElasticSearch和impala首先，对于两个数据库作出说明，有hive查询比较慢，hbase会针对于列的查询不太友好，所以CDH推出了impala搜索引擎，都是基于HDFS的。
靈08_1024·2023-12-27 19:00

Impala 基于hive的交互式实时分析工具(一) 概念及原理介绍

技术背景impala是参照谷歌的新三篇论文（caffeine-网络搜索引擎，pregel-图形数据库，dremel-瞬时类sql查询）当中的dremel而来，号称是当前大数据领域最快的sql查询工具，比
章云邰·2023-12-27 19:59

hadoop 3.3.3集群安装部署

前言大数据开发涉及的组件和方向比较多，由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节
以茉萱·2023-12-24 02:18

【基础知识】大数据组件YARN简述

YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。ResourceManager负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的Master节点上，HA集群部署在EMR的多个Master节点上，保证了高可用性。NodeManager负责节点的资源管理、
偏振万花筒·2023-12-23 22:28

【基础知识】大数据组件HBase简述

HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。只是面向列，不是列式存储mysqlvshbasevsclickhouseHMaster负责HBase中RegionServer的管理，包括表的增删改查；RegionServer的负载均衡，Region分布调整；Regi
偏振万花筒·2023-12-23 22:54

Kylin基础知识点解析与应用探索

：学习内容：学习时间：学习产出：Kylin简介什么是KylinKylin的历史和发展Kylin在大数据领域的地位和作用Kylin架构Kylin的组成部分和模块Kylin的工作原理和流程Kylin与其他大数据组件的关系和集成
阿猫的故乡·2023-12-23 04:18

79.Sentry实现Hive/Impala数据脱敏

79.1演示环境介绍CM和CDH版本：5.13.1已启用Kerberos已启用Sentry79.2操作演示测试数据[root@ip-186-31-16-68datamasking]#vimemployees.csv1,JohnSmith,123-55-4567,25000.02,JimBloggs,999-88-7777,35000.03,JaneDoe,808-88-0880,45000.0创建
大勇任卷舒·2023-12-22 21:55

Impala 基于hive的交互式实时分析工具(二) 概念及原理介绍

impala和hive的区别概括：hive是【基于hadoop】的适合【离线批处理复杂sql分析的数仓工具】，impala是【基于hive】的适合【实时交互简单sql的数仓工具】执行计划1.hive：hive
章云邰·2023-12-22 01:34

Hadoop/Spark 太重，esProc SPL 很轻

经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。Hadoo
码农翻身·2023-12-21 10:07

数据中台之旅(五)数据开发介绍

功能介绍数据开发包含:作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发
belialxing·2023-12-21 09:59

Impala优化基本方案

本文源自cloudera官网上的Impala文档，原名为《ImpalaPerformanceGuidelinesandBestPractices》。
撸码小丑·2023-12-20 17:25

【基础知识】大数据组件HDFS简述

HDFS是经典的Master和Slave架构，每一个HDFS集群包括一个NameNode和多个DataNode。NameNode管理所有文件的元数据信息，并且负责与客户端交互。DataNode负责管理存储在该节点上的文件。每一个上传到HDFS的文件都会被划分为一个或多个数据块，这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上，位置信息交由NameNode统一管理。NameN
偏振万花筒·2023-12-18 22:06

大数据基础知识

为了一场紧急考试，没有正经系统学习过大数据知识的我开始恶补概念涉及Hadoop、Hbase、Spark、Flink、Flume、Kafka、Sqoop、HDFS、Hive、Mapreduce、Impala
偶余杭·2023-12-15 17:22

【基础知识】大数据概述

发展历程中国开源生态图谱2023参考内容中国开源生态图谱2023.pdf技术组件说明数据集成sqoop、dataX、flume数据存储hdfs、kafka数据处理mapreduce、hive、impala
偏振万花筒·2023-12-15 12:39

Flume+Kafka+Storm+Redis构建大数据实时处理系统

如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis）实时处理网站的用户访问日志，并统计出该网站的PV、UV将实时分析出的PV、UV动态地展示在我们的前面页面上如果你对上面提及的大数据组件已经有所认识
Summer_1981·2023-12-15 06:16

每日一读 11.27

RuntimeFilter技术在Impala中的应用:包括介绍、作用、实现等http://www.aboutyun.com/forum.php?
Vicor·2023-12-15 06:12

大数据组件sqoop部署安装与测试练习

环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7mysql5.17jdk1.8.191sqoop1.4.7(2.x不稳定,使用1.x)sqoop安装本人将sqoop部署在master机器上，mysql安装在zjx03上1下载sqoop应用包mkdi
zwb_jianshu·2023-12-15 06:05

大数据的技术栈-逐步完善

目录1.hadoopa.HDFS分布式文件系统b.Yarn集群资源管理器c.MapReducesql引擎d.Impalasql引擎e.工具概观2.数据仓库知识a.Hive数据库1)HiveSql2)数据库结构
刘文钊1·2023-12-04 20:12

大数据学习-离线数仓项目实战笔记（上）

1.前置1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0
ys4tnaf·2023-11-30 15:24

IDEA：外部引入jar包，打包失败，提示程序包找不到

/ImpalaJDBC41.jar-DgroupId=com.cloudera.impala-Dartifa
梦里Coding·2023-11-29 19:58

123.Impala查询缓慢问题与解决

123.1问题情况前提ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP
大勇任卷舒·2023-11-29 15:53

impala日期格式转换

impala日期格式常用转换获取时间//获取当前时间selectnow();//时间到毫秒,如：2022-07-2113:57:14.435929000selectcurrent_timestamp()
miaomiaotiaopi·2023-11-27 16:12

【Ambari】HDP单机自动化安装（基础环境和MySQL脚本一键安装）

目录一、版本信息1.1大数据组件版本1.2ApacheComponents1.3Databases支持版本二、安装包上传三、服务器基础环境配置3.1配置修改3.2服务器环境配置3.3MySQL数据库安装四
阿龙先生啊·2023-11-27 11:51

StarRocks与ClickHouse

MPP引擎主要有Trino，PrestoDB和Impala。这些引擎在行业内有着广泛的应用。2、开源数仓解决方案接下来
Yuan_CSDF·2023-11-26 19:11

3.CENTOS安装CDH和Kudu-2

这个版本开始Kudu的安装较之前要简单很多，省去了Impala_Kudu，安装完Kudu，Impala即可直接操作Kudu。
大勇任卷舒·2023-11-26 07:24

Apache集群安装Impala

文章目录1前言1.1中间件版本选取1.2各个实例通信网络端口1.3环境准备1.3.1CentOS6.81.3.2关闭防火墙2ApacheImpala简述2.1ApacheImpala架构组成介绍2.2ApacheImpala
陈舟的舟·2023-11-25 13:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他