大数据组件--impala

cannot import name 'constants' from 'TCLIService' (unknown location)

同时使用impala和pyhive链接时会报这个错误，原因是import顺序不对导致冲突。
QianmianH·2023-03-27 10:45

企业是如何选择技术栈来做离线数仓

案例一、小型公司首先我们要明白一点小型公司人员并不多其次服务器的配置有不是很高，这时如果要做数仓使用到的大数据组件就不可能了，那我们就使用传统数据库来进行讲解。
大数据老哥·2023-03-25 15:57

OLAP选型及使用场景

这时就引入了OLAP引擎，本文以impala和spark为主进行介绍。
多彩海洋·2023-03-24 22:43

CDH5.13.x文档翻译SQL Differences Between Impala and Hive

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/impala_langref_unsupported.html#langref_hiveql_deltaImpala
gregocean·2023-03-24 07:10

用于生产环境Hadoop集群的搭建

生产可用的大数据平台，应当包含存储（hdfs）、元数据管理（hive）、计算（mr、tez、spark、flink)、资源管理（yarn）等大数据组件，以及调度系统（dolphinscheduler），
兴趣使然的码基·2023-03-23 02:23

正确使用Impala的invalidate metadata与refresh语句

在Impala中，invalidatemetadata与refresh语句都可以用来刷新表，但它们本质上还是不同的。本文简要分析一下，并说明它们应该在什么情况下使用。
LittleMagic·2023-03-21 13:13

用户画像解决方案

https://fgk.pw/i/bMDNFAJ0916视频+源码+详细课件规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态
无涯2016·2023-03-21 13:08

hive 常见问题汇总

hivetimestamp与impala显示不一致hive''和null不一致导入hive\n\r特殊字符hive动态分区插入
多彩海洋·2023-03-20 14:21

IMPALA&HIVE大数据平台数据血缘与数据地图

https://www.freesion.com/article/1176553841/impala数据血缘与数据地图系列：1.解析impala与hive的血缘日志2.实时采集impala血缘日志推送到
七_seven·2023-03-20 01:14

CDH 6.3.1 rpm+http安装部署

一、准备工作1.离线部署主要分为三块:a.MySQL离线部署b.CM离线部署c.Parcel⽂件离线源部署2.规划节点MySQL部署组件Parcel文件离线源CM进程大数据组件cdh001ParcelActivityMonitorNNRMDNNMcdh002MySqlAlertPublisherEventServerDNNMcdh003HostMonitorServiceMonitorDNNM3
吃货大米饭·2023-03-19 20:02

一个由TimeZone引发的BUG

数据平台的数据流水线如下图所示，最近的平台的数据出现异常，数据导入过程中随机出现Impala中的数据比Loghub中的数据少了很多。
Caoyun·2023-03-18 20:07

impala 不可轻易更换列类型

1.建表[slave01:21000]>usetmp;Query:usetmp[slave01:21000]>createtableml_2(aint,bdouble,cvarchar(10));Query:createtableml_2(aint,bdouble,cvarchar(10))Fetched0row(s)in0.17s[slave01:21000]>showcreatetableml
老农民挖数据·2023-03-18 17:33

003 Impala | 安装前性能配置

为了更好的发挥Impala的性能，需要在impala的配置项，如下几点，Short-CircuitReads开启HDFS短路读取HDFS也有短路读取的功能，因此在安装Impala之前开启次功能，这样Impala
__destory__·2023-03-18 02:11

IMPALA 解析JSON 结论： 无法用于where条件

最近MYSQL5.7更新支持JSON语法，于是使用SQOOP同步了数据到大数据平台，准备使用IMPALA来做分析但是发现IMPALA无法使用JSON用于where条件，只能用于select，不过我未尝试使用基于嵌套表去查询作为替代方案
会长大的幸福_8bf9·2023-03-17 18:40

从Linux服务器本地写文件到hdfs

使用python中的impalapackage中的executemany方法向hivetable写入数据十分慢。可以使用pyhdfs向hdfs文件系统中写入文件，然后加载到table的分区实现。
cosine90·2023-03-17 10:47

大数据知识点分享：大数据平台应用 17 个知识点汇总

在Hadoop平台中，一般大家都把hive当做数据仓库的一种选择，而Mpp数据库的典型代表就是impala，presto。
haotian1685·2023-03-17 07:27

Impala：Java API导入数据到Impala Parquet表

摘要：Java，Impala，Parquet导数流程通过Java直接在HDFS上落CSV数据文件，通过Imapal的load语法将CSV映射成二维临时表，最后临时表写入分区表导数流程建表先构建目标表，parquet
xiaogp·2023-03-16 15:03

Impala 数值函数大全

Impala数学函数Impala中数学函数用来执行数值计算，比如基本加法，减法，乘法和除法及更复杂的运算函数列表abs(numeric_typea)返回参数的绝对值--得到-12的绝对值[master:
奥利奥_3357·2023-03-15 15:13

Hue 的SQL查询页面搜索框生效问题处理

集群启用Sentry之后，Hive和Impala的SQL查询页面多了一个搜索框，通过搜索框搜索时，侧边栏一直处于加载状态，如下图所示。首先通过Chrome抓包看到搜索的HTTP请求报了一个500错误。
Caoyun·2023-03-15 11:15

Ranger知识地图

Ranger入门路线1.准备能够上网的电脑，Eclisp开发环境，Linux服务器等；2.掌握Hadoop(HDFS/YARN)大数据组件基本功能，环境搭建，命令使用等；3.掌握Ranger的基本功能，
木木与呆呆·2023-03-14 01:17

Hive SQL使用技巧&避坑

Impala刷新命令：INVALIDATE
翱翔云端·2023-03-13 06:11

二、大数据组件之HDFS

HDFS全称是HadoopDistributedFileSystem,也就是Hadoop分布式文件系统，是一种在硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的区别很明显。HDFS具有高度的容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，并且适用于具有大数据集的应用程序。HDFS是一种适合大文件存储的分布式文件系统，不适合
阿靖哦·2023-03-09 06:30

MPP架构、常见OLAP引擎分析

MPP架构、常见OLAP引擎分析一、MPP架构1、SMP2、NUMA3、MPP二、批处理架构和MPP架构三、MPP架构的OLAP引擎1）只负责计算，不负责存储的引擎1、Impala2、Presto2）既负责计算
jerry-89·2023-02-16 20:56

Hudi: Uber Engineering的Apache Hadoop增量处理框架

随着ApacheParquet和ApacheORC等存储格式以及Presto和ApacheImpala等查询引擎的发展，Hadoop生态系统有潜力作为面向分钟级延时场景的通用统一服务层。
Kent_Yao·2023-02-06 10:31

Flume 理论

大数据常用数据处理框架graphLR实时流数据采集-->flume,kafka实时流数据处理-->spark,storm实时数据查询处理-->impala批数据导入导出-->Sqoop批数据查询处理--
袭明·2023-02-04 12:27

关于hadoop:2.6.0-cdh5.16.2与hive1.1.0-cdh5.16.2兼容springboot问题

关于这两个大数据组件的版本与springboot的兼容问题折腾了好久，最后终于成功了。
weixin_43814165·2023-02-03 12:32

spark python 上传代码包_hue通过livy提交spark jar包python文件到spark

背景：集群中有hive、spark2，没有impala需求：通过hue访问hive以及提交spark任务现状：hue以及通过sentry实现了对hive的权限管理CDH5.15.1centos7.4livy
weixin_39927408·2023-02-02 14:58

hadoop介绍

HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架）Flink（分布式计算框架）Zookeeper（分布式协作服务）Sqoop（数据同步工具）Hive/Impala
昊昊该干饭了·2023-02-02 14:58

大数据的框架与特点

1.Impalahadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。
weixin_30892037·2023-02-02 14:28

【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

几天把跨年搞的和人生分水岭似的那么，2023年的你有什么不一样了吗？是不是还和去年一样的造型？新姿势，学起来！腾讯云开发者社区带着干货来了，腾讯云×尚硅谷大数据研究院强强联手，重磅推出新年第一弹：腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：腾讯云开发者公开课-腾讯云开发者社区-腾讯云这套教程由腾讯云官方与尚硅谷大数据研究院联合推出，分为实时及离线两部分。实时数仓依托国内电商巨头的真实业
腾讯云开发者·2023-01-30 14:41

Impala的SYNC_DDL

那天去面试，面试官问我知不知道Impala同步数据的方式，我回答invalidatemetadata和refreshtable[partition]，后来他问我还有没有其他的方式，当时我没想到别的，因为工作中用到
润土1030·2023-01-29 04:30

Hive函数大全–完整版(一)

现在虽然有很多SQLONHadoop的解决方案，像SparkSQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。
ws的大数据田地·2023-01-28 16:27

数仓知识11：Hadoop生态及Hive、HBase、Impala、HDFS之间的关系

Hive、HBase、Impala、HDFS是Hadoop生态体系中常用的开源产品，各个产品间是一个什么样的关系，许多人都搞不清楚，本文将进行研究分析。
维克先生·2023-01-14 16:12

通过hadoop + hive搭建离线式的分析系统之快速搭建一览

非常适合目前的在线业务，这回老板提需求了，曾经也是一位数据分析师，sql自然就溜溜的，所以就来了一个以买家维度展示用户画像，从而更好的做数据推送和用户行为分析，因为是离线式分析，目前还没研究spark，impala
weixin_34166847·2023-01-12 21:35

大数据组件之Flink

文章目录大数据组件之Flink一.Flink简介Flink是什么？Flink的特点Flink框架处理流程Flink发展时间线Flink在企业中的应用Flink的应用场景为什么选择Flink？
识时务者-HJJ·2023-01-12 10:19

StarRocks测试 - StarRocks vs Impala 性能对比

测试方法TPC-H是业界常用的一套Benchmark，由TPC委员会制定发布，用于评测数据库的分析型查询能力。TPC-H查询包含8张数据表、22条复杂的SQL查询，大多数查询包含若干表Join、子查询和Group-by聚合等。本次测试基于TPC-H100G数据进行，其中主要表数据量如下：LINEITEM表约6亿行，ORDERS表1.5亿行，PARSUPP表8000万行。测试环境机器1台master
Asware·2023-01-10 21:42

Metabase添加impala驱动

github.com/brenoae/me...原文地址：https://segmentfault.com/a/11...本文为docker版本1.下载驱动文件存放本地路径/opt/metabase/plugins/ImpalaJDBC41
·2023-01-06 16:01

【新年新姿势第一弹】腾讯云EMR数仓建设教程发布——与尚硅谷强强联手带你全方位了解大数据组件

前几天把跨年搞的和人生分水岭似的那么，2023年的你有什么不一样了吗？是不是还和去年一样的造型？新姿势，学起来！腾讯云开发者社区带着干货来了，腾讯云×尚硅谷大数据研究院强强联手，重磅推出新年第一弹：腾讯云EMR数仓教程发布腾讯云开发者社区“公开课”直达：腾讯云开发者公开课-腾讯云开发者社区-腾讯云这套教程由腾讯云官方与尚硅谷大数据研究院联合推出，分为实时及离线两部分。实时数仓依托国内电商巨头的真实
·2023-01-06 16:56

IMPALA跟HIVE实践中的小绝招

#impala提升查询速度computestatstableName;#查看分区情况showpartitionstableName;#建分区表createtabletableName(字段)partitionedby
Alexander plus·2022-12-29 19:30

比Hive还快10倍的大数据计算引擎

最近几年，Presto这个大数据组件越来越多地出现在程序员的岗位需求中，很多应届同学一番自我检查后发现，在学校都没怎么接触过，更不用说了解了。某游戏公司岗位需求Presto到底是个啥？有什么用？
麦聪聊数据·2022-12-29 13:27

大数据实战项目 -- 离线数仓

Kafka，Sqoop，Logstash，DataX，数据存储MySql，HDFS，HBase，Redis，MongoDB数据计算Hive，Tez，Spark，Flink数据查询Presto，Druid，Impala
L小Ray想有腮·2022-12-24 12:02

DeepMind推出分布式深度强化学习架构IMPALA，让一个Agent学会多种技能

维金编译自DeepMindBlog量子位出品|公众号QbitAI目前，深度增强学习（DeepRL）技术在多种任务中都大获成功，无论是机器人的持续控制问题，还是掌握围棋和雅达利的电子游戏。不过，这些方面的进展仅限于孤立任务。完成每一项任务都要单独调试、训练agent。在最近的工作中，我们研究了如何训练单一agent去执行多种任务。今天，我们发布了DMLab-30。这是一组新任务，包含了在统一视觉环境
量子位·2022-12-23 13:11

分布式强化学习方法汇总

1、EspeholtL,SoyerH,MunosR,etal.Impala:Scalabledistributeddeep-rlwithimportanceweightedactor-learnerarchitectures
Barry Yang·2022-12-23 13:04

为何选MPP架构？

介绍像Greenplum（GPDB），ClickHouse，Impala，Presto，Tidb，Greenplum衍生物AnalyticDBPostgreSQL（adbpg）等都是采用MPP架构的，采用
·2022-12-20 00:19

Java版Spark离线统计分析实战

本文中需要用到的大数据组件有Hadoop、Spark及MongoDB数据库。均在CentOS中安装。本文中运行的程序是在windows中的Idea编辑器中进行编写，且为用Java编写，非Scala。
与李·2022-12-19 10:22

Superset基本介绍

EMR上的Superset，原装了对Mysql、Hive、Presto、Impala、Kylin、Druid、Clickhouse的支持。
猿小百·2022-12-18 22:06

基于CM管理的CDH集群集成Phoenix

基于CM管理的CDH集群集成Phoenix背景介绍：原有的CDH集群，以Hive+Hbase+Impala进行数据处理查询，Hbase而言语法难懂，不同于寻常的SQL，Impala而言速度查询速度太慢且无法进行记录的修改
百夜﹍悠ゼ·2022-12-17 10:57

impala常用命令（持续更新ing）

impala常用命令1，表字段查看条件判断Null判断数值表达式布尔值条件选择字段函数类型转换日期统计字符串相关字符串字段是否包含某个pattern排序2，查找表找出库中包含某些字符串的所有表3，表分区查看分区
每天都想躺平的大喵·2022-12-16 18:55

TeaTalk·Online 大数据+云原生，再度风云起

这次分享主要讲解大数据云原生的关键技术，这里主要包括大数据组件容器化、计算存储分离、数据湖&湖仓一体方面：1、介绍移动云云原生大数据分析Lakeh
wargzn_·2022-12-16 16:42

通过SQL一键解析表字段血缘关系

可以根据sql文件中的sql快速解析出表字段到字段的血缘关系，支持mysql、oracle、hive、impala、greenplum等数据库sql语法解析，可以在sql文件中放如多段sql解析，也可以同时解析多份
乌云雨·2022-12-14 04:37
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他