大数据组件--impala

爱奇艺 —— 海量数据实时分析服务技术架构演进（Druid/Impala/Kudu/Kylin/Presto/ElasticSearch）

1.现状与挑战爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。
大数据学习与分享·2020-07-10 00:27

通过java代码进行impala和kudu的对接

对于impala而言，开发人员是可以通过JDBC连接impala的，有了JDBC，开发人员可以通过impala来间接操作kudu；maven导包：com.clouderaImpalaJDBC412.5.41
diaojing1918·2020-07-09 15:46

hadoop+zookeeper+hbase伪分布式安装

基本安装步骤安装包下载从大数据组件下载地址下载以下组件安装包hadoop-2.6.0-cdh5.6.0.tar.gzhbase-1.0.0-cdh5.6.0.tar.gzzookeeper-3.4.5-
dengjiyu8406·2020-07-09 15:50

spark提交命令 spark-submit 的参数 executor-memory、executor-cores、num-executors、spark.default.parallelism分析

日萌社人工智能AI：KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、
あずにゃん·2020-07-09 06:29

重新编译spark 增加spark-sql适配CDH

clouderamanager装的spark支持hqlApacheSpark学习：将Spark部署到Hadoop2.2.0上CDH内嵌spark版本不支持spark-sql,可能是因为cloudera在推自己的impala
Dino系我·2020-07-09 05:12

CDH5上安装Hive,HBase,Impala,Spark等服务

由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了ClouderaManager方式进行安装。
Andy_Yang·2020-07-09 03:42

impala两种方式同步hive元数据

基础知识Impala采用多个impalad（impala的核心进程）同时提供服务的方式，并且它会由catalogd（元数据管理和元数据存储）缓存全部元数据，再通过statestored（状态管理进程）完成每一次的元数据的更新到
@black·2020-07-08 19:46

大数据组件原理总结-Hadoop、Hbase、Kafka、Zookeeper、Spark

Hadoop原理分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参数分别备份在不同的Datanode，而数据块在哪个节点上，这些信息都存储到Namenode上面。Yar
weixin_30379973·2020-07-08 13:05

58同城 HBase 平台建设实践

其通用的基础能力包含数据存储、实时计算、数据查询分析等，是基于大家熟悉的Hadoop/HBase/Spark/Flink及相关OLAP等为主的大数据组件而建设的大数据基础能力平台。
过往记忆·2020-07-08 12:27

CentOS7 NTP服务

#sudoyuminstallntp#systemctlrestartntpd#ntptime有不少的服务严格依赖NTP服务，比如kudu和impala#systemctlstatusntpd●ntpd.service-NetworkTimeServiceLoaded
vkingnew·2020-07-08 12:54

大数据组件常用端口总结(持续更新中......)

组件名称端口号端口作用Hadoop(Yarn、HDFS)50070HDFSWEBUI端口8088Yarn的WEBUI接口19888jobhistoryWEBUI端口8020高可用的HDFSRPC端口9000非高可用的HDFSRPC端口8485JournalNode的RPC端口8019ZKFC端口Zookeeper2181客户端连接zookeeper的端口2888zookeeper集群内通讯使用，L
BullDemonKing等待唐僧的日子·2020-07-08 07:44

CDH6.3.1 Http方式部署

一、准备工作1.离线部署主要分为三块a.MySQL离线部署b.CM离线部署c.Parcel⽂文件离线源部节点MySQLParcel离线源CM服务进程大数据组件hadoop001MySQLParcelActivityMonitorNNRMDNNMhadoop002DNNMhadoop003DNNMhadoop004DNNM
Nice_N·2020-07-08 02:42

centos7下的 impala安装及与hive集成

1.环境：1.首先得先装好的环境：centos7,hadoop2.7，jdk1.8，hive,mysql；2.三台机子名称映射为：127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdoma
panrhenry·2020-07-08 01:42

大数据开发笔记

大数据开发笔记0Brief1Java2SQL3大数据组件底层原理EMR-阿里云大数据平台/工业场景下的大数据工具HDFS-分布式文件系统MapReduce-分布式数据处理引擎HBase-分布式数据库/NoSQL
Fighter Fong·2020-07-07 22:54

大数据之Ambari2.7+HDP3.0（一）

如果是生产环境打算用ambari+hdp，不建议用高版本，因为后期需要自己整合一些组件，比如impala、flume，很麻烦，特别是版本不匹配的时候，简直吐血。。接下来的我会把搭建过程一一记录下来。。
LearnBigData·2020-07-07 16:27

CDH集群中部署Presto

同Impala一样，作为Hadoop之上的SQL交互式查询引擎，通常比Hive要快5-10倍。Presto是一个运行在多台服务器上的分布式系统。
象在舞·2020-07-07 08:30

Impala支持的语言和访问方式

描述Impala支持哪些语言？尤其是对于CC++的支持对JDBCODBC的支持如何？是否有适用CC++调用的接口？如果有条件，实际check下解决Impala底层由C++编写的，LLVM同一编译运行。
ZYJ2016·2020-07-07 05:11

大数据新手必看！一文详尽Spark机器学习库的安装与入门

Spark1.1.2使用Spark编写简单的应用程序1.2Spark编程基础与数据操作1.2.1RDD操作1.2.2数据处理1.3SparkMLib矩阵基础1.3.1MLlib向量1.3.2MLlib矩阵众所周知，大数据组件之多
zaiwuhan2014·2020-07-07 03:34

Keberos安全认证学习

因为，最近要做大数据组件的安全认证，需要涉及到kerberos这个组件，记录相关资料，后续查看。
JY_He·2020-07-06 22:54

CDH6.0、6.1篇：4、CDH安装(包含HBase.HDFS.Hive.Hue.Impala.Oozie.YARN.ZooKeeper)

前置工作：在CDH安装之前必须保证NODE1主节点中的以下程序均已启动1.每台机器：根据aliyun提供的服务进行时间同步：ntpdate-untp6.aliyun.com启动服务systemctlstartntpd、systemctlrestartntpd查看是否启动ps-ef|grepntpd开机启动systemctlenablentpd.service查看时间同步状态ntpstat查看时间：
laughing1997·2020-07-06 16:24

大数据组件kafka部署安装与测试练习

环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7mysql5.17jdk1.8.191kafka2.11_2.01kafka官网http://kafka.apache.org/kafka安装#master[root@mastersoftwares]
zwb_jianshu·2020-07-06 13:49

window 安装和配置 hadoop

日萌社人工智能AI：KerasPyTorchMXNetTensorFlowPaddlePaddle深度学习实战（不定时更新）大数据组件安装(非CDH)和使用总文章链接：https://pan.baidu.com
あずにゃん·2020-07-06 13:18

hive 学习心得和日常填坑

2019-12-11更新：impala结构化数据库基于google最新三篇大数据文章，基于hive(提供metadata)的一种更快的数据库。
三印·2020-07-06 12:09

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（一）

一、OLAP与Impala简介1.OLAP简介OLAP是OnlineAnalyticalProcessing的缩写，意为联机分析处理。
wzy0623·2020-07-06 08:22

DBeaver连接hive、impala、phoenix、HAWQ、redis

目录一、DBeaver简介二、下载与安装三、连接hive四、连接impala五、连接phoenix六、连接HAWQ七、连接redis伴随着技术的不断发展与进步，我们会接触和使用越来越多的数据源。
wzy0623·2020-07-06 08:22

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。
wzy0623·2020-07-06 08:22

FaIcon开源跨平台还免费数据库客户端，换掉navcat

支持众多的数据库：RedShift,MySQL,PostgreSQL,IBMDB2,Impala,MSSQL,Oracle,SQLite,MariaDB等，基本包括我们常用的数据库，基本可以代替部份收费软件
wyyyh9458·2020-07-06 08:56

从零搭建生产Hadoop集群（一）——离线安装YUM源搭建

sDistributionIncludingApacheHadoop，简称“CDH”），基于Web的用户管理界面，支持大部分Hadoop组件，包括HDFS、YARN、Hive、Hbase、Zookeeper、Flume、Impala
大数据首席数据师·2020-07-06 05:25

千亿级数量下日志分析系统的技术架构选型

所以对于很多大数据工程师，如何根据业务需求去选择合适的大数据组件，做合适的大数据架构工作就是日常工作中最常遇到的问题。在这里根据七牛
写回·2020-07-06 03:06

大数据不就是写SQL吗？

SparkSQL、Hive、Phoenix、Drill、Impala、Presto、Druid、Kylin（这里的SQL引擎是广义的，大家不必钻牛角
weixin_34032827·2020-07-06 00:43

Impala与Hive的优缺点和异同

定位:HIVE：长时间的批处理查询分析impala:实时交互式SQL查询impala优缺点优点：1.生成执行计划树，不用多次启动job造成多余开销，并且减少中间结果数据写入磁盘，执行速度快2.不占用yarn
weixin_30505751·2020-07-05 21:02

大数据技术总结

大数据技术总结大纲概念应用难题技术栈大数据架构1.数据收集Sqoop/CanalFlumeKafka2.数据存储HDFSHBaseKudu3.分布式协调与资源管理ZookeeperYarn4.数据计算MapReduceSparkImpala
Lonwayne·2020-07-05 16:36

大数据组件sqoop部署安装与测试练习

环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7mysql5.17jdk1.8.191sqoop1.4.7(2.x不稳定,使用1.x)sqoop安装本人将sqoop部署在master机器上，mysql安装在zjx03上1下载sqoop应用包mkdi
enjoy_muming·2020-07-05 12:59

Elasticsearch数据分析二三事

例如要统计一批商品的销售数据，一群人的身份特征等等，以前都需要使用Hive，Impala等跑任务，现在数据可以所见即所得。实时的数据分析，和搜索不一样，会有以下的特点：1.查询速度不需要太快。
EEEvan·2020-07-05 12:24

使用JDBC连接Impala配置

ImpalaJDBC官方下载地址：ImpalaJDBC41-2.6.3版本：http://repo.odysseusinc.com/artifactory/community-libs-release-local
香山上的麻雀·2020-07-05 12:33

hadoop离线分析（简单版）-Hbase

目录Hbase概述Hbase与Hive、Pig、Impala、Tez对比Hbase架构原理Hbase逻辑模型Hbase物理存储HBase工作流程HBase的高可用HBase性能和优化HBaseshell
戰士·2020-07-05 06:49

Centos7搭建CDH6.0.1(单机版)

学习大数据组件，最好的方式是直接参照官网。不过官网的教程也让我吃了一坑，在此记录一下。
好雨知时节哎·2020-07-05 06:42

Impala--实战之整合HBASE&JDBC&性能优化（三）

Impala与HBase整合impala可以通过Hive外部表的方式和Hbase进行整合-步骤一：创建HBASE表，添加数据create'test_info','info';put'test_info'
风行无极·2020-07-05 01:34

Impala--实战之impala-shell&存储&分区&sql（二）

Impalashell外部命令impala-shell执行时可加参数-h(--help)-v(--version)-V(--verbose)默认使用的就是这个--quiet关闭详细输出-p显示执行计划-
风行无极·2020-07-05 01:33

今日欧美圈：英伦男声登顶公告牌，Tame Impala宣布新专

本周美国公告牌排行榜出炉！LewisCapaldi温情热单《SomeoneYouLoved》在拿下英国单曲榜冠军后，登顶本周Billboard单曲榜！SelenaGomez新单《LoseYouToLoveMe》空降14位。KanyeWest新专《JesusisKing》Pitchfork评分7.2。基督教是Kanye福音专辑中坚定不移的关注点，这是一部丰富的，但是在记录关于一个人对上帝（和他自己）
胡萝卜音乐·2020-07-04 20:51

2018-07-15notes

1.MaypitchestradedealatTrumpdinnerthepresidentandhiswifeweregivenaredcarpetreceptionatBlenheimPalace.leakleakinformation
不眠茶·2020-07-04 17:03

开源OLAP系统对比

常见OLAP对比数据库响应时间并发能力社区处理能力分析能力理解Impala慢低适中支持的数据规模大兼容HQL以及多表join和窗口函数目前通用的解决方案是impala+kudu，mpp架构Kylin快高活跃支持的数据规模大性能高
ghy429090·2020-07-04 16:24

大数据组件运维工具之HBase

摘要：HBase自带许多运维工具，为用户提供管理、分析、修复和调试功能。本文将列举一些常用HBase工具，开发人员和运维人员可以参考本文内容，利用这些工具对HBase进行日常管理和运维。HBase组件介绍HBase作为当前比较热门和广泛使用的NoSQL数据库，由于本身设计架构和流程上比较复杂，对大数据经验较少的运维人员门槛较高，本文对当前HBase上已有的工具做一些介绍以及总结。写在前面的说明：1
华为云·2020-07-04 14:19

1.大数据工具简单分析天猫年底月销量

整体流程如下：说明：利用scrapy爬取天猫店铺数据约50万条，导入HDFS分布式存储，利用大数据组件spark操作算子分析及sparkSQL查询分析得出处理结果，最后，EChart前端组件将结果以图表形式展现出来
王小禾·2020-07-04 11:36

大数据评测报告：开源OLAP引擎综评（HAWQ、Presto、ClickHouse）

大家都知道开源大数据组件种类众多，其中开源OLAP引擎包含Hive、SparkSQL、Presto、HAWQ、ClickHouse、Impala、Kylin等。
Percent_bigdata·2020-07-04 07:33

hive、impala、prestoDB 优缺点对比

操作运行在Mapreduce框架之上hive仍然不支持多个reduce操作groupby和orderby查询非常好的支持用户自定义函数和其他竞品相比，查询速度很慢很友好的和hbase等系统结合clouderaimpala
小强的进阶之路·2020-07-04 02:04

OLAP及分析工具选型

druid.htmlDruidvsElasticsearchDruidvsKey/ValueStores(HBase/Cassandra)DruidvsRedshiftDruidvsSparkDruidvsSQL-on-Hadoop(Hive/Impala
Benjamin0705·2020-07-04 02:20

impala查询内存限制Memory limit exceeded

ERROR:MemorylimitexceededQuerydidnothaveenoughmemorytogettheminimumrequiredbuffersintheblockmanager.原因：当impala
不正经的程序员·2020-07-02 13:49

Alex 的 Hadoop 菜鸟教程: 第21课 不只是在HBase中用SQL：Phoenix

这边说的NoSQL专指HBase，意思是可以用SQL语句来查询Hbase，你可能会说：“Hive和Impala也可以啊！”。但是Hive和Impala还可以查询文本文件，Phoenix的特点就是，
alexxiyang·2020-07-02 13:21

Impala学习记录（最小化可执行环境）

be/build/dubug中的.a文件，是静态链接库0.shell脚本获得当前路径IMPALA_HOME=$(cd`dirname$0`;pwd)或者先cd进入相应文件，再用...
mavises·2020-07-02 11:37
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他