大数据组件--impala

大数据组件的区别总结（hive，hbase，spark，flink）

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序，hive和spark的区别就是mapreduce和spark的区别。HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库，是一种面向列族存储的非关系型数据库。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Flink
枫锦旧曾谙·2022-12-12 15:02

大数据组件-Hive简介,分层架构,安装方式,hive交互,数据库,数据表操作,自定义hive函数,hive数据存储,hive调优

目录标题Hive的简介为什么用HiveHive的分层架构Hive的安装1.上传并解压安装包2.安装mysql3.修改Hive的配置文件4.添加mysql的驱动包到Hive的lib目录下5.配置Hive环境变量Hive交互1.bin/hive交互方式通过sql脚本进行操作hive的基本操作1.数据库操作(1)创建数据库(2)创建数据库并制定位置(3)设置数据库键值对信息(4)查看数据库更多详细信息(
程序猿与汪·2022-12-12 10:34

基于Kerberos的跨域身份认证实验

目前大数据组件(如HDFS
大源阿良·2022-12-11 22:44

【大数据入门核心技术-Impala】（一）Impala简介

目录一、Impala介绍二、Impala优势三、Impala主要功能一、Impala介绍Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase
forest_long·2022-12-10 11:34

大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之5.即席查询Impala介绍及入门使用

文章目录前言1.Impala概述（1）Impala的概念和优势（2）Impala的缺点及适用场景2.Impala的安装与入门（1）准备工作（2）制作本地yum源（3）安装Impala（4）Impala启动和完善
cutercorley·2022-12-10 11:02

卓越产品计划丨神策分析性能优化详解：数据重组织查询优化

在过去7年多的发展过程中，我们基于ApacheImpala
神策数据·2022-12-10 00:37

阿里十年技术沉淀｜深度解析百PB级数据总线技术

云原生场景下数据总线需求场景及挑战数据总线简介数据总线作为大数据架构下的流量中枢，在不同的大数据组件之间承载着数据桥梁的作用。
阿里云云栖号·2022-12-09 21:17

KUDU对表操作

介绍的还是比较全的对于KUDU删除表就直接在Linux下运行：kudutabledeletemaster(master的主机名)表名对于使用kudu1.1以及以下的用户，利用impala创建kudu表的语句为
黑幕Zz·2022-12-09 07:24

kudu sql 实操

impala操作kudu建表hash分区CREATETABLExiniu.my_first_table(idBIGINT,nameSTRING,PRIMARYKEY(id))PARTITIONBYHASHPARTITIONS16STOREDASKUDU
海牛大数据_青牛老师·2022-12-09 07:54

大数据Kudu（二）：Kudu架构

文章目录Kudu架构一、Kudu存储模型及概念二、Kudutable存储原理Kudu架构一、Kudu存储模型及概念Kudu有自己的数据存储模型，不依赖于HDFS、Hive、HBase其他大数据组件。
Lansonli·2022-12-09 07:52

基于 Impala 的高性能数仓实践之物化视图服务

本文将主要介绍NDHImpala的物化视图实现。接上篇讲到了虚拟数仓，它们是让一个SQL又快又好地执行的关键。
Java那点事儿·2022-12-08 09:44

Git: gnutls_handshake() failed: Error in the pull function

apt-get-yinstallbuild-essentialnghttp2libnghttp2-devlibssl-dev安装docker-impala时，执行gitclonehttps://github.com
guoguangwu·2022-12-07 10:14

2013 Bossie评选：最佳开源大数据工具

Giraph、Hama以及Impala等工具的出现则是为了突破MapReduce的局限。
xiyf2046·2022-12-05 11:03

巨龙信息大数据集成系统 多元数据汇聚的一站式集成治理

产品特点兼容性强巨龙信息大数据集成系统，支持各大厂云平台、主流关系型数据库、国产数据库、开源大数据组件、数据接口、文件等数据源的集成适配，帮助用户轻松实现多元异构数据的汇聚接入工作。
厦门巨龙信息·2022-12-03 19:03

基于 Impala 的高性能数仓实践之物化视图服务

本文将主要介绍NDHImpala的物化视图实现。接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个SQL又快又好地执行的关键。
·2022-12-01 13:23

深度强化学习CS285-Lec17 Distributed RL

TransferLearning与DistributedRL概述一、分布式RL架构1.1DQN1.2GORILA1.3A3C1.4IMPALA1.5Ape-X1.6R2D3二、其它引用较高的分布式RL架构
Nemo555·2022-11-29 18:01

大数据Hive和Impala经典分析

目录一、Impala是什么？？？
小飞猪666·2022-11-29 17:33

CDH6 配置LDAP，Kerberos，Sentry

CDH6配置LDAP，Kerberos，Sentry1.开启Sentry控制Hive，Hue，Impala权限仅用作个人笔记，还没有二次验证1.1在mysql中配置数据库[root@cdh1~]#mysql-uroot-p
途足·2022-11-29 16:57

hive不在同一台机 hue_【Impala篇】---Hue从初始到安装应用

基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点是CDH平台首选的PB级大数据实时查询分析引擎.一般公司选择使用CDH部署集群，可以考虑下Impala。
weixin_39557087·2022-11-29 16:26

Impala和Hive集成Sentry、Kerberos认证

2019独角兽企业重金招聘Python工程师标准>>>关于Kerberos的安装和HDFS配置kerberos认证，请参考HDFS配置kerberos认证。关于Kerberos的安装和YARN配置kerberos认证，请参考YARN配置kerberos认证。关于Kerberos的安装和Hive配置kerberos认证，请参考Hive配置kerberos认证。请先完成HDFS、YARN、Hive配置
weixin_34137799·2022-11-29 16:55

hive+impala+hue+sentry+ldap整合

www.cloudera.com/documentation/enterprise/5-14-x/topics/sentry.html本文主要写一些openldap的搭建和phpldap的使用，还有ldap和（hive，impala
weixin_33889245·2022-11-29 16:25

hue启用ldap

.…..http://gethue.com/ldap-or-pam-pass-through-authentication-with-hive-or-impala/https://www.cloudera.com
weixin_30871905·2022-11-29 16:54

impala学习

impala配置个人认为配置文件的书写要注意格式+内容，非常重要。
心有猛虎_xy·2022-11-29 16:17

OLAP(三)：Impala介绍 、 (和hive/spark对比)、COMPUTE STATS

一、Impala概述Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
四月天03·2022-11-29 16:45

hue oozie执行impala sql

在hue使用oozie即workflow执行impalasql，需要使用shell调用impala-shell一、如果开启了LDAP，impala-shell需要输入密码，则shell需要调用expect
lishengping_max·2022-11-29 16:45

impala hive启用LDAP hue (cdh6.3)

1配置impala:注意：上述互斥项，如果使用ldap的uid，直接配置上面一个。
peidezhi·2022-11-29 16:14

Impala和Hive集成Sentry

本文主要记录CDH5.2Hadoop集群中配置Impala和Hive集成Sentry的过程，包括Sentry的安装、配置以及和Impala、Hive集成后的测试。
Junjie_M·2022-11-29 16:04

Hive、Impala、Hue集成LDAP

1.LDAP简介轻型目录访问协议，是一个开放的，中立的，工业标准的应用协议，通过IP协议提供访问控制和维护分布式信息的目录信息。在hadoop生态圈中，LDAP主要是用来做账号管理的。2.LDAP安装配置2.1安装LDAP（以下操作都只需在主节点执行）yuminstall-yopenldap-*2.2配置（1）更改配置rm-rf/var/lib/ldap/*cp/usr/share/openlda
心有猛虎_xy·2022-11-29 16:30

Flink面试题精简版（持续更新）

作为大数据领域炙手可热的大数据组件，Flink作为大数据行业跳槽必问的组件，整理一些Flink相关的面试题供大家参考，有些题言简意赅即可，大多数的博客冗余一堆的知识点，看完要好久，我想帮大家提炼总结出核心的点
一杯咖啡半杯糖·2022-11-29 15:08

大数据各组件安装（数据中台搭建）

3.关闭Selinux：4.文件描述符配置：5.关闭THP：6.自定义JDK安装：6.1删除默认openJDK：6.2安装jdk1.8.0_91：7.创建Hadoop用户：8.配置SSH免密登录：二、大数据组件安装
小强签名设计·2022-11-29 12:03

Spark快速入门

1.2Spark和Hadoop1.3Spark和MR二、Spark核心模块1.SparkCore2.SparkSQL3.SparkStreaming4.SparkMLlib5.SparkGraphX总结前言在学习大数据组件中
易逑实战数据·2022-11-29 11:41

机器学习基础

音频-HDFS、MR、Hive半结构化数据-XML、HTML形式-HDFS、MR、Hive、Spark速度快数据的增长速度快-TB-PB-ZB-HDFS数据的处理的速度快MR-HIVE-PIG-Impala
erainm·2022-11-22 03:40

波克城市：从Impala到StarRocks，让游戏分析焕发新活力

作者：波克城市大数据平台部门波克科技股份有限公司（以下简称“波克城市”）成立于2010年，立足于精品休闲游戏的全球化研发、发行，旗下拥有《爆炒江湖》《我是航天员》《猫咪公寓》等精品休闲游戏，连续五年入选中国互联网百强。目前，波克游戏积极探索和发展“游戏+”模式，努力构建以游戏产业为核心、多产业交融发展的互联网新生态。基于大数据和人工智能的技术，波克城市正在组建自己的数据平台，赋能各个项目组，以保障
StarRocks_labs·2022-11-21 09:36

大数据技术栈

ETL职位现状和未来发展技术栈Hadoop相关基本原理和操作：hdfs，yarn，mrOLTP：mysql，oracle，pg，etc…OLAP：Kylin，clickhouse，presto，impala
辉常努腻·2022-11-20 04:32

爱奇艺|海量数据实时分析服务技术架构演进

1.现状与挑战爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。
浪尖聊大数据-浪尖·2022-11-15 10:49

充分复用离线空闲算力，降低了实时计算资源开支

针对提供下游数据报表展示的场景，一般需要走预计算的流程将结果持久化下来，对数据就绪和计算耗时的敏感度都较高，而且查询逻辑相对复杂，Trino/Impala集群规模相对较小，执行容易失败，导致稳定性欠佳。
feidodoxcx·2022-11-15 10:37

记录python使用pymysql连接mysql数据库，使用impyla、ibis-framework[impala]连接hive\impala（kerberos）数据库（备以后查阅）

记录python使用pymysql连接mysql数据库，使用impyla、ibis-framework[impala]连接hive\impala（kerberos）数据库（备以后查阅）连接mysql数据库
想考个研·2022-11-14 09:37

大数据之Python实现每日钉钉数据自动推送

Python+impala+钉钉最近有一个需求，领导们需要关注每日的一些指标。
热心市民楚先生·2022-11-01 14:12

hive与impala相关

hive与impala相关hive的orc格式详解ORC（TheOptimizedRowColumnar），被设计用来给hive提供更高效的数据存储格式。
岁月的眸·2022-11-01 10:13

大数据集群监控体系架构

所以它的维护是充满挑战的：庞大的数据量、复杂的运算逻辑、相互关联的大数据组件、数以万计的运行任务都是要克服的难点。SRE如果不想被动的话，就必须做好各式监控。
好未来技术团队·2022-10-31 15:03

如何在Hive中创建自定义函数UDF及通过Impala同步元数据重用UDF的jar文件

简介如何在Hive中创建自定义函数UDF及使用如何在Impala中使用Hive的自定义函数UDF函数开发使用Intellij工具开发Hive的UDF函数，进行编译准备工作创建Maven工程，导入如下依赖
Vicky_Tang·2022-10-26 07:34

Apache Spark：大数据处理统一引擎

在开源ApacheHadoop堆栈中，类似Storm和Impala的系统也是特有的。即使在关系数据库世界中，“一刀切”系
仲培艺·2022-10-22 07:08

为何选MPP架构？

介绍像Greenplum（GPDB），ClickHouse，Impala，Presto，Tidb，Greenplum衍生物AnalyticDBPostgreSQL（adbpg）等都是采用MPP架构的，采用
·2022-10-20 22:04

Spark远程调试+页面监控--用最熟悉的方式开发Spark应用

大数据技术已经大行其道，但是很多人对大数据组件依然会觉得很陌生，很不顺手。对大部分人来说，环境部署、API使用其实问题都不大，技术人员最不欠缺的就是学习能力。
roykingw·2022-10-19 17:03

基于 Impala 的高性能数仓实践之物化视图服务

本文将主要介绍NDHImpala的物化视图实现。接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个SQL又快又好地执行的关键。
·2022-10-13 18:39

数据中台开源解决方案（一）

以查询引擎为例，可以使用的开源工具有MySQL、Redis、Impala、MongoDB、PgSQL等。可以根据实际业务需要，选择合适的开源套件。
梯度科技·2022-10-13 15:56

大数据组件之Flink简介

一、Flink简介ApacheFlink是一个分布式的流处理框架，它能够对有界和无界的数据流进行高效的处理。Flink的核心是流处理，同时它也能支持批处理，Flink将批处理看成是流处理的一种特殊情况，即数据流是有明确界限的。这和SparkStreaming的思想是完全相反的，SparkStreaming的核心是批处理，它将流处理看成是批处理的一种特殊情况，即把数据流进行极小粒度的拆分，拆分为多个
努力的小星星·2022-10-04 14:29

impala 执行计划详解

Impala是一个MPPMassivelyParallelProcessing计算引擎，简单来说就是将计算压力分到多个节点，得到结果后汇总，然后再返回给客户端。
屏占比·2022-09-30 10:39

Flink实战之实时风控规则引擎

一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台，为各业务线提供BI报表及数据接口支持。
000X000·2022-09-22 18:40

钱大妈基于 Flink 的实时风控实践

主要内容包括：项目背景业务架构未规则模型难点攻坚回顾展望点击进入Flink中文学习网一、项目背景目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute、Flink、Hologres）构建了离线和实时数据一体化的全渠道数据中台
Apache Flink·2022-09-22 18:16
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他