Kudu

Apache Kudu 概念和架构

目录ApacheKudu概念和架构...1列式数据存储...1读取效率...1数据压缩...2Raft一致性算法...2数据表...2平板（tablet）...2平板服务器（tabletserver）.
devilteam2006·2022-02-13 17:15

kafka =>SparkStreaming=>kudu集成kerberos

本文档主要介绍在cdh集成kerberos情况下，sparkstreaming怎么消费kafka数据，并存储在kudu里面假设kafka集成kerberos假设kudu集成kerberos假设用非root
阿甘骑士·2022-02-12 23:48

Ambari自动化部署

目录组件概览自定义服务Ambari-FlinkAmbari-DolphinschedulerAmbari-PrestoAmbari-Kudu部署流程Step.1准备机器Step.2运行安装脚本Step.3Ambari
carollia·2022-01-28 15:27

ETL用户数据处理: kafka->spark->kudu

数据结构kafka数据结构kudu表数据结构Spark处理逻辑读取kafka数据日志解析创建应用id的累加器kudu建表和数据写入Dolphinscheduler-Yarn调度Presto查询Kudu数据数据结构
carollia·2022-01-25 11:27

kudu on impala 基本用法。

好久没用kudu了突然别的项目组开始用kudu，问各种问题，实在招架不住。。。。于是自我学习一波。
cclovezbf·2021-11-10 17:30

kudu ksck 部分表 TS unavailable

一下命令如果涉及认证问题请sudosukudu或者kinitkudu@xxx.xxx检查所有kudu表是否正常kuduclusterksckmaster.data.com:7051,node02.data.com
cclovezbf·2021-11-05 17:28

为在线数据库构建基于 Kudu 的实时数据同步

简述Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的成员之一。它专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
·2021-10-09 12:52

实时离线一体大数据在资产租赁saas服务中使用

目录流水查询需求什么是实时数据即时查询系统架构实现扩大业务覆盖率大数据需求实时离线一体化系统之技术架构实时离线一体化系统之数据流实时离线一体化接入数据仓库分层规范化预计算方案(Kylin+Kudu)实时离线开发统一访问数据入口透明的数据分层存储展望未来流水查询需求需求第一期
zhisheng_blog·2021-10-07 18:00

SparkSQL极速入门 整合Kudu实现广告业务数据分析

download:SparkSQL极速入门整合Kudu实现广告业务数据分析服务器端代码，server_tcp.py!
·2021-08-05 21:31

UCloud一站式智能大数据平台USDP免费版正式发布！

目前开源的主流存储技术栈主要包含如下3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch：包含Logstash、ElasticSearch、Kibana等；·Kudu
·2021-07-27 19:28

java.lang.NoClassDefFoundError: com/stumbleupon/async/Callback

java.lang.NoClassDefFoundError:com.loopj.android.http.LogHandler这是由于kuduAPI版本不兼容造成的，换成对应的版本即可。
大数据狂人·2021-07-13 15:08

Apache Kudu 简介

ApacheKudu简介目录ApacheKudu简介...1ApacheKudu是为Hadoop平台开发的一个列式存储管理器。
devilteam2006·2021-06-27 00:11

ClickHouse高可用集群的安装与部署

随着业务体量的扩张，我们的业务人员逐渐有了分析海量用户行为和点击流数据的需求，经过各种调研，最终敲定ClickHouse为最佳方案（成功挤掉了之前有丰富实操经验的Kudu哈哈）。
LittleMagic·2021-06-25 22:19

迟到的Kudu设计要点面面观（前篇）

后篇传送门：https://www.jianshu.com/p/24bdc6f62e84目录PrologueKudu的初衷集群架构与共识保证表与分区的设计底层存储设计细节事务与数据一致性（待续）与Impala
LittleMagic·2021-06-22 15:06

flink 学习笔记 — 自定义 Sink 函数

自定义Sink函数这里主要自定义写入kudu的kuduSink。自定义sink需要我们实现SinkF
飞不高的老鸟·2021-06-21 08:26

迟到的Kudu设计要点面面观（之更加迟到的后篇）

前篇传送门：https://www.jianshu.com/p/5ffd8730aad8目录Prologue（见前篇）Kudu的初衷（见前篇）集群架构与共识保证（见前篇）表与分区的设计（见前篇）底层存储设计细节
LittleMagic·2021-06-20 07:37

UCloud一站式智能大数据平台USDP免费版正式发布！

目前开源的主流存储技术栈主要包含如下3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch：包含Logstash、ElasticSearch、Kibana等；·Kudu
·2021-06-18 21:33

Apache之Drill

Drill简介Drill是一个交互式SQL查询引擎，官方默认支持的数据源有hive、hbase、kafka、kudu、mongo、opentsdb、jdbc等，其中jdbcstorageplugin可以覆盖所有支持
神豪VS勇士赢·2021-06-10 20:36

Centos7下安装kudu

简介kudu官网https://kudu.apache.org/准备直接通过yuminstall是找不到kudu的源的，在官网安装的页面详细介绍了怎么在各种系统下安装kudu:https://kudu.apache.org
pandaAnthony·2021-06-05 09:42

[新星计划]Kudu底层数据模型图

文章目录引言总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。1）、一个Table会被分成若干个tablet，其中Tablet的数量是根据hash或者是range进行设置的2）、一个Tablet中包含MetaData信息和多个RowSet信息，其中MetaData信息是block和block在dat
ChinaManor·2021-06-04 19:14

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：
明月十四桥·2021-05-26 10:33

Note_Logistics_Day06

/Logistics_Day04：Kudu入门使用01-[复习]-上次课程内容回顾主要讲解：Kudu存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析
ChinaManor·2021-05-24 18:22

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：
明月十四桥·2021-05-24 12:53

大数据必知必会系列__面试官问能不能徒手画一下你们的项目架构[新星计划]

文章目录引言一.ETL架构及Kudu框架二.OGG及Canal数据同步架构图总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者
ChinaManor·2021-05-22 14:07

一篇文章搞定一个大数据组件：kudu知识点全集

目录1、kudu的定位2、kudu基本概念3、存储架构3.1储存架构：Tablet3.2储存架构：RowSets3.3储存架构：DiskRowSets4、kudu工作原理4.1Compaction4.2Tablet
明月十四桥·2021-05-14 18:27

Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理

本文的技术栈：DebeziumSQLServerSourceConnector+Kafka+Spark+MySQLps:后面应该会将数据放到Kudu上。
留歌_36·2021-04-27 01:37

Spark+Kudu的广告业务项目实战

Spark+Kudu的广告业务项目实战1.简介本项目需要实现：将广告数据的json文件放置在HDFS上，并利用spark进行ETL操作、分析操作，之后存储在kudu上，最后设定每天凌晨三点自动执行广告数据的分析存储操作
终年i·2021-04-12 15:07

kudu java

因为网上Kudu的相关资料不多，我也就照着kudu-example和kudu的JavaAPI自己写写试试，有待改进，如果哪位大佬有更好的改进建议欢迎告诉我~话不多说，直接上代码。
k大数据·2021-03-11 02:26

Impala SQL on Kudu优化（一）

一、Impalasql的计算方式是啥？在使用Impala进行SQL查询的时候，我们经常会使用join来关联多个表进行查询，获取想要的结果。对于表的数量达到千万甚至上亿的时候，不同的join方式所造成的执行速度，可能差距非常大。Impala提供了两种Join算法－shuffle和broadcast。二、主要Join方式1.broadcastjoin适合大表与小表的join，将大表划分成多块，小表广播
团子粑粑·2021-01-23 21:10

2021年要做的大事，25个大数据必知领域全面开启更新

目前入选的框架和技术方向包括不限于：「Iceberg」、「Flink」、「Heron」、「Druid」、「Kylin」、「Kudu」、「Redis最新」、「Elasticsearch」、「Hive」、「
王知无-大数据技术与架构·2021-01-04 00:00

kudu大量数据更新_数据高效处理的秘诀——Kudu实战

背景使用Kudu之前，我们的OnlineReport采用都HDFS/ParquetonImpala的架构，数据每隔一小时通过MapReduce从生产db增量同步到HDFS，再通过HIVE/MAPREDUCE
weixin_39929687·2020-12-22 20:40

HBase中LSM-tree的应用

前言传统的关系型数据库一般使用B树作为索引结构，而在大数据场景下，比较多的存储引擎使用LSM-tree这种数据结构，比如hbase、kudu等，本篇文章介绍下HBase中LSM-tree的具体应用以及针对读性能的具体优化机制
风筝Lee·2020-12-17 23:08

和impala_Impala+Kudu基础操作手册

SQL操作通过impala对kudu进行sql操作数据库操作--描述表DESCRIBEtabel_name;--查看分区情况SHOWPARTITIONStable_name;--查看当前使用数据库SELECTcurrent_database
weixin_39794734·2020-12-08 08:30

kudu参数优化设置，让集群飞起来~

根据数据体量，结合集群各节点的CPU、内存、磁盘的表现，合理优化设置kudu参数，让集群飞起来~如有雷同，纯属借鉴~1.Kudu后台对数据进行维护操作，如写入数据时的并发线程数，一般设置为4，官网建议的是数据目录的
明月十四桥·2020-12-03 16:23

鹰角网络全球海量数据，一键轻松统一存储与处理

阿里云对象存储OSS为其提供了统一的数据存储池，方便鹰角网络将全球收集到的海量不同数据进行统一存储，同时阿里云对象存储OSS可无缝对接云原生数据湖分析DLA，DLA提供扫描量版与CU版的SQL服务，可以针对Kudu
阿里云云栖号·2020-11-23 10:17

鹰角网络全球海量数据，一键轻松统一存储与处理

阿里云对象存储OSS为其提供了统一的数据存储池，方便鹰角网络将全球收集到的海量不同数据进行统一存储，同时阿里云对象存储OSS可无缝对接云原生数据湖分析DLA，DLA提供扫描量版与CU版的SQL服务，可以针对Kudu
阿里云云栖号·2020-11-23 10:22

7、hadoop学习笔记01

前提1.1大数据主要分三块存储hdfshivehbasekudu计算sqlsparkflink资源任务调度yarn1.
weixin_45515429·2020-11-22 21:53

cloudera manager5.14版本更新信息

总体概况5.14.0的cdh更新内容ApacheImpalaApacheKuduClouderaSearchApacheImpala1、新的布尔运算符：ISTRUE,ISNOTTRUE,ISFALSE,
@black·2020-09-16 04:00

cloudera manager5.13版本更新信息

概括新功能1.Sentry实现HA2.Kafka0.11集成，0.11目前为社区最新版3.Kudu1.5开始默认打包到CDH，不需要使用额外的Parcle安装4.Kudu与Sentry授权集成，支持列授权据说
@black·2020-09-16 04:00

mybatis 连接presto查询（kudu）

添加maven依赖com.facebook.prestopresto-jdbc0.2081、配置tcbase.properties文件#kududataSourceKudu.driverClassName
printsky·2020-09-16 03:59

【原创】大叔经验分享（54）flume kudu sink运行一段时间kudu client报错

flumekudusink运行一段时间报错：19/05/0510:15:56WARNclient.ConnectToCluster:Errorreceivingaresponsefrom:master:
weixin_30466039·2020-09-16 01:11

Flink自定义 Sink 函数从kafka往kudu写数据

2、自定义Sink函数这里主要自定义写入kudu的kuduSink。自定义sink需要我们实现S
bigdata_users·2020-09-15 23:34

大数据入门：Spark+Kudu的广告业务项目实战笔记(六)

本章目标：将代码打包并运行在服务器上。1.将数据放在HDFS上先把Hadoop启动起来：[hadoop@hadoop000~]$cdapp/[hadoop@hadoop000app]$lsapache-maven-3.6.3hive-1.1.0-cdh5.15.1spark-2.4.5-bin-hadoop2.6hadoop-2.6.0-cdh5.15.1jdk1.8.0_91tmp[hadoop
Tai_Park·2020-09-15 14:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(二)

第一章点这里传送1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计packagecom.imooc.bigdata.cp08.businessimportcom.imooc.bigdata.cp08.utils.SQLUtilsimportorg.apache.spark.sql.SparkSessionobjectProvinceCityStatAp
Tai_Park·2020-09-15 14:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(一)

1.简介本项目需要实现：将广告数据的json文件放置在HDFS上，并利用spark进行ETL操作、分析操作，之后存储在kudu上，最后设定每天凌晨三点自动执行广告数据的分析存储操作。
Tai_Park·2020-09-15 13:23

Spark学习案例——SparkSQL结合Kudu实现广告业务分析

下方有数据可免费下载目录原始数据项目架构ETL处理业务一业务二业务三代码重构打包定时运行源码地址https://github.com/chengyanban/spark-project/tree/master/广告数据分析原始数据下载数据:请点击我.提取码：3bm9有两个文件，一个广告业务的data-test.json，一个ip.txt文件项目架构ETL处理data-test.json文件中每行有
程研板·2020-09-15 12:30

kudu原理及使用

https://blog.csdn.net/a376554764/article/details/89445319写的不错
专注于大数据技术栈·2020-09-14 15:36

Android MQTT 实现Push

[/size][/b][size=large]代码工具部分：[/size]1.客户端代码(java)：下载自：https://github.com/tokudu/AndroidPushNotificationsDemo2
springof·2020-09-13 23:16

Apache Kudu主节点（Master）迁移

提前修改机器上kudu账号可以登录，（/etc/passwd），之后都是以kudu执行命令1、将每个master的记录下来kudufsdumpuuid--fs_wal_dir=/home/data/kudu-master
huanggang028·2020-09-12 19:38

大数据之kudu安装

目前一直的kudu安装方式有三种1、制作本地chd（镜像太大，几个G）2、修改yum源，直接yum安装（半天下载不下来）3、rpm安装这里主要说的是第三种方式，rpm进行安装，到github下载一个rpm
dengjiaqun·2020-09-12 10:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他