大数据组件--impala

数据搬运组件：基于Sqoop管理数据导入和导出

本文源码：GitHub||GitEE一、Sqoop概述Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)
·2021-03-15 13:34

python运行外部程序

executor-cores4--driver-memory8g--num-executors4--executor-memory16g--py-filesutils.zipexport2excel_useImpala.py
DeepMine·2021-03-11 01:58

基于Impala的网易有数BI查询优化总结

《效能提升30%、埋点线下bug率下降50%，网易云音乐数仓建设之路》一文提到了Impala性能优化工作对于音乐数仓建设的重要性，本文总结Impala在网易有数BI应用场景下的最新查询优化经验，并探讨后续进一步优化的思路
NetEaseResearch·2021-02-22 17:56

手动导包和maven导包发生冲突

jar包冲突问题以及解决方案，如果有更好的解决方案，欢迎留言~~~本项目以IDEA作为开发环境1.出现问题这次问题出现在修改开源项目上，拿来开源项目运行是没有问题的，但是后来要在原有的项目添加hive和impala
天吻蓝了海海染蓝了天_6e66·2021-02-19 17:48

大数据组件介绍

大数据的方向梳理大数据出现的背景：4V特性（数据量，数据种类，数据处理速度，价值密度低）集群发展中，有两类比较常见的问题：水平瓶颈，单点故障1.平台侧HDFS解决存储yarn技术框架Zookeeper分布式协调,Kerberos&LDAP负责安全HDFS一、主从结构主节点NameNode(单点故障用主备机制解决，水平瓶颈用联邦机制解决)存储元数据fsimage元数据在内存，同时磁盘也会保存一份，磁
奔腾游子·2021-02-19 16:28

Hadoop离线_impala的介绍及安装部署

impalaimpala的介绍1.概述2.优点3.缺点4.impala和Hive的关系5.impala的架构及查询计划6.impala/hive/spark对比impala的安装及部署1.安装环境准备2
_WeiA·2021-02-18 22:13

理清SASL/GSSAPI/Kerberos

比如：hadoop，kafka等常见的大数据组件。本文试图理清楚这些概念之间的真正联系。Kerberos:一种基于中心认证服务器的中心化认证协议和框架。
·2021-02-09 11:42

大数据组件笔记 -- ZooKeeper

文章目录一、入门1.1基本理解1.2应用场景二、单节点安装三、内部原理3.1选举机制3.2节点类型3.3结构体3.4监听器3.5写数据流程3.6权限控制四、开发实战4.1分布式部署4.2客户端常用命令4.3Maven程序一、入门Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。1.1基本理解工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的
L小Ray想有腮·2021-02-08 16:25

2021大数据学习路线（基于自身技术栈）

学习过程中，结合着大数据组件的官方文档对自己理解不了和模糊的地方，做一个补充。数仓和spark分析这块，最好结合这业务来，多加联系加深影响。
steve涛·2021-02-03 17:19

Impala详解

第1章Impala的基本概念1.1什么是ImpalaCloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。
·2021-01-26 14:52

理清SASL/GSSAPI/Kerberos

比如：hadoop，kafka等常见的大数据组件。本文试图理清楚这些概念之间的真正联系。Kerberos:一种基于中心认证服务器的中心化认证协议和框架。
·2021-01-25 20:29

pyhton_将impala查询结果进行钉钉群内推送

fromdatetimeimportdatetimeimportjsonimporturllib.requestimportpymysqlaspmsimportpandasaspdimportpandasaspdfromsqlalchemyimportcreate_engineimportdatetimefrompyhiveimporthivefromimpala.dbapiimportconne
不二梁·2021-01-25 14:13

Impala SQL on Kudu优化（一）

一、Impalasql的计算方式是啥？在使用Impala进行SQL查询的时候，我们经常会使用join来关联多个表进行查询，获取想要的结果。
团子粑粑·2021-01-23 21:10

企业级大数据项目【2】数仓-流量域ODS-DWD开发篇

大数据领域中则尚无一站式解决方案，通常需要用到很多技术组件来实现不同环节：使用HDFS做存储使用spark、mapreduce作为底层计算引擎使用hive或者sparksql，作为sql引擎另外，还有impala
江湖人称涛哥·2021-01-21 10:48

好书推荐--大数据日知录（深入理解大数据的必备书籍）附电子版下载

这本书详细介绍了我们所使用的大数据组件的底层原理及实现算法。像Flink中非常重要的分布式一致性协议，使用的是两阶段提交协议，这本书中就详细介绍了两阶段提交协议的原理，如下为书中截图：还有像
My-sunmy·2021-01-17 15:15

好书推荐--大数据日知录（深入理解大数据的必备书籍）附电子版下载

这本书详细介绍了我们所使用的大数据组件的底层原理及实现算法。像Flink中非常重要的分布式一致性协议，使用的是两阶段提交协议，这本书中就详细介绍了两阶段提交协议的原理，如下为书中截图：还有像
My-sunmy·2021-01-17 15:30

HIVE常用正则函数(like、rlike、regexp、regexp_replace、regexp_extract)

Oralce中regex_like和hive的regexp对应selectregexp_like('JFAF','^[JKN]')--以J或K或N开头--oracle,impala语法select'JFAF'regexp
多彩海洋·2021-01-15 09:40

金融市场高频数据应当如何管理 —— DolphinDB与pickle的性能对比测试和分析

例如Impala和Greenplum的数据仓库，以及例如HBase的NoSQL数据库，可以解决这个数据量级的存储，但是这类通用的存储引
DolphinDB·2021-01-08 12:23

金融市场高频数据应当如何管理 —— DolphinDB与pickle的性能对比测试和分析

例如Impala和Greenplum的数据仓库，以及例如HBase的NoSQL数据库，可以解决这个数据量级的存储，但是这类通用的存储引
DolphinDB·2021-01-08 12:22

即席查询工具---Presto的安装与使用（hive数据源）

不是Mysql或者oracle的代替品，也不能处理在线事务（OLTP）1.2Presto架构1.3Presto优缺点1.4Presto、Impala性能比较https://blog.csdn.
New灬soul·2021-01-04 13:06

Hue--集成Hive与Impala

集成Hive与Impala1、集成Hive与Impala2、MySQL3、验证1、集成Hive与Impala关闭所有Hive、Impala的服务进程配置Hue中与Hive的关联hue.ini：1000-
韩家小志·2021-01-04 03:44

Hue--介绍及安装

介绍及安装介绍安装介绍本质：构建了一个JavaWeb程序，将所有工具的客户端封装了，在配置文件中配置每个工具的服务端地址功能：实现统一化的终端访问，来管理访问大数据的多个框架/多个组件ImpalaHiveHDFSYARNMySQLSParkSolr
韩家小志·2021-01-04 03:30

2020年总结：数据里有你、我、他，关键还是自己

极客时间阅读数据阅读范围：大数据组件架构原理算法编程语言原理JVM计算
李孟lm·2020-12-30 16:19

impala查询语句_Impala基础语法（一）

1.1Impala服务组件1.1.1ImpalaDeamon该进程运行于集群每个节点的守护进程，是Impala的核心组件，每个节点该进程的名称为impalad。
火辣健身·2020-12-29 06:52

Excel连接Impala

Impala知识，请参考Impala基础知识步骤：下载安装驱动下载ImpalaODBC驱动msi安装文件并傻瓜式安装；cloudera官网需要注册，或者可以从其他地方找到下载地址。
johnny233·2020-12-27 16:08

kudu大量数据更新_数据高效处理的秘诀——Kudu实战

背景使用Kudu之前，我们的OnlineReport采用都HDFS/ParquetonImpala的架构，数据每隔一小时通过MapReduce从生产db增量同步到HDFS，再通过HIVE/MAPREDUCE
weixin_39929687·2020-12-22 20:40

记录一次TDH的inceptor导出建表语句和数据

TDH是星环公司的一款大数据组件聚合平台，类似于CDH，但是TDH将一些组件自己做了封装，比如hive重新封装成了inceptor，公司的TDH测试环境要下线，需要备份inceptor中的数据，现在分步做一次记录
天吻蓝了海海染蓝了天_6e66·2020-12-22 11:48

python通用数据库操作工具 pydbclib的使用简介

pydbclib是一个通用的python关系型数据库操作工具包，使用统一的接口操作各种关系型数据库（如oracle、mysql、postgres、hive、impala等）进行增删改查，它是对各个python
·2020-12-22 10:06

flink连接hbase的连接池_flink实战-flink streaming sql 初体验

SQL，StructuredQueryLanguage:结构化查询语言，作为一个通用、流行的查询语言，不仅仅是在传统的数据库，在大数据领域也变得越来越流行，hive、spark、kafka、flink等大数据组件都支持
weixin_39845241·2020-12-17 00:37

强化学习原理与python实现原理pdf_纯Python实现！Facebook发布PyTorch分布式强化学习库...

TorchBeast实现了流行的IMPALA算法的一个版本，用于RL代理的快速、异步、并行训练。
weixin_39638048·2020-12-16 23:06

大数据实战记录

存储MapReduce计算Yarn资源管理HBaseHBase基本操作HBase运维和优化ZooKeeperHiveHive基本操作HiveSQL大全Hive运维管理Hive备份与恢复Hive参数调优Impala
Beth_Chan·2020-12-14 16:54

Impala-shell命令参数的实现

1.impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。
·2020-12-11 18:26

Impala概述及其安装部署

文章目录一、概述1.基本概念2.Impala与Hive关系3.Impala与Hive异同4.Impala架构二、安装部署(以Node01节点为例)1.安装前提2.下载安装包、依赖包3.配置本地yum源4
大数据老人家i·2020-12-10 22:51

Impala 安装部署

Impala安装部署安装前提下载安装包、依赖包虚拟机新增磁盘（可选）配置本地yum源安装Impala修改impala配置安装impala后hadoop，hive等会自动重新安装原有数据无法使用谨慎选择是否先准备快照安装
镜子里的宇宙·2020-12-10 17:40

和impala_Impala+Kudu基础操作手册

SQL操作通过impala对kudu进行sql操作数据库操作--描述表DESCRIBEtabel_name;--查看分区情况SHOWPARTITIONStable_name;--查看当前使用数据库SELECTcurrent_database
weixin_39794734·2020-12-08 08:30

Apache Impala 的安装部署

4．配置本地yum源4.1．上传安装包解压使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。cd/cloudera_datatar-zxvfcdh5.14.0-centos6.tar.gz4.2．配置本地yum源信息安装ApacheServer服务器yum-yinstallhttpdservicehttpdstartchkconfighttpdon配置本地yum源的文
ChinaManor·2020-12-07 17:50

1. Spark架构

Spark在hadoop组件集的位置Spark是大数据集群的一种计算框架，其在大数据组件的位置如下。这里说明，Spark是对并行框架MapReduce的一种替换，而不是对整个hadoop的替换。
爱学习的小朱哥·2020-11-13 11:11

【讲稿】Impala在网易大数据中使用和优化实践-P2

上文：【讲稿】Impala在网易大数据中使用和优化实践-P13.基于ZK的服务高可用虽然每一个Impalad都可以作为Coordinator，对外提供访问服务，接受客户端请求，但是缺乏一个路由机制。
NetEaseResearch·2020-11-12 12:40

HBase学习（一）——入门

大数据组件图.png海
大数据阶梯之路·2020-11-05 20:26

【讲稿】Impala在网易大数据中使用和优化实践-P1

导读：网易大数据平台的底层数据查询引擎，选用了Impala作为OLAP查询引擎，不但支撑了网易大数据的交互式查询与自助分析，还为外部客户提供了商业化的产品与服务。
NetEaseResearch·2020-11-03 17:56

8.2 Impala

一、Hive缺陷Hive建立在Hadoop平台上，依赖底层的MapReduce和HDFS，因此延迟高二、Impala简介Impala由Cloudera公司开发实时交互查询系统，参照Dremel系统设计。
大白猿学习笔记·2020-10-27 15:28

Impala(一) 基本命令及操作

--在impala中创建表a,在Hive中可以查到，Hive会自动更新元数据createtablea(idint,namestring);--在Hive中创建表b，在impala中查询不到，impala
Y1983058680·2020-10-23 22:57

hive join的深入解析

在大数据体系中占着很重要，并且很大的角色，我们知道，hive虽然开始只是为了让一些不擅长写MR的人员，为了方便他们查询数据而生的一个基于Hadoop的查询工具，但hive现在被更多的框架所见解，包括SparkSQL,Impala
cariya·2020-10-11 12:23

Linux常见Shell命令

本文是对日常使用linux，尤其在学习hadoop大数据组件时经常使用到的linux命令的一个总结，linux的每个命令都有很多可选的参数，在本文中不会详细的介绍每个命令的各种参数，只会介绍每个命令最常用的使用场景
我是老薛·2020-10-09 15:18

Permission denied：System.setProperty("HADOOP_USER_NAME", "用户名")

日萌社人工智能AI：KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）大数据组件使用总文章System.setProperty("HADOOP_USER_NAME
あずにゃん·2020-09-17 10:05

Grafana用mysql数据源展示图表实践

微信公众号：Java流水账本号记录国服安琪拉日常编程流水帐,欢迎后台留言背景公司风险部门的同学平常都是在impala中查看T+1的业务数据，希望技术部门提供一个看板，能够实时查看当前各个业务线的调用外部数据的情况
安琪拉的博客·2020-09-17 06:08

本地安装kylin学习环境

本地安装kylin学习环境：（以HDP2.5和kylin2.5.0+为例）原理简介:HDP是一个集成的大数据环境，包括了通用的大数据组件例如MR，hive，HBASE等等，而且有统一的ambari进行管理
渡月桥·2020-09-17 05:34

HDB IN ACTION(1)

一、SQLonHadoop我们需要知道业界很多产品如hive、Presto、Drill、SparkSQL、Impala等均在发力sqlonhadoop,如果谈及这个话题，需要很多的篇幅，我们这里只需要知道
jameswangcnbj·2020-09-16 23:43

在hive或impala中编写udf清洗数据时，常用的正则

在做项目的过程中，使用正则表达式来匹配一段文本中的特定种类字符，是比较常用的一种方式，下面是对常用的正则匹配做了一个归纳整理。我的案例下载链接：https://download.csdn.net/download/shuimofengyang/108331871、匹配中文:[\u4e00-\u9fa5]2、英文字母:[a-zA-Z]3、数字:[0-9]4、匹配中文，英文字母和数字及下划线：^[\u
水墨风漾·2020-09-16 19:53

hive 删除udf函数

DROP-FUNCTION-IF-EXISTS-udf-fails-with-quot-function-udf/td-p/92001https://docs.cloudera.com/documentation/enterprise/5-9-x/topics/impala_drop_funct
zxfBdd·2020-09-16 17:36
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他