KUDU

kudu 安装简介

简介:测试集群规划:集群规划节点作用hadoop01MasterServer、TabletServer、KuduClienthadoop02MasterServer、TabletServerhadoop03MasterServer
飞起的书包·2020-06-26 12:37

kudu+impala 使用手册

1.技术路线oracle--kafka-kudu2.各个组件优缺点Hive：数据直接存放于hdfs中，适合离线分析，确不利于记录级别的随机读写。
小小聪·2020-06-26 08:13

通过impala创建kudu数据库报错 Not enough live tablet servers to create a table

通过impala创建kudu数据库时报错Notenoughlivetabletserverstocreateatablehttps://blog.csdn.net/u011031430/article/
s2018_0423·2020-06-26 06:06

kudu的安装与运行

kudu安装包下载地址ctrl+f查找kudu，这6个rpm包都要下载下来，推荐使用迅雷下载在下载的时候我们还需要做一些准备工作。执行以下命令，安装必备的包。
yoletPig·2020-06-26 00:54

kudu

https://www.jianshu.com/p/d91761c63a451、kudu整体介绍Kudu是cloudera开源的运行在hadoop平台上的列式存储系统,拥有Hadoop生态系统应用的常见技术特性
angel微笑·2020-06-25 15:56

SparkSql篇3：SparkSql读写kudu

SparkSql篇3：SparkSql读写kuduspark操作kudu的方式有很多，spark封装了KuduContext，里面有kudu的增删改查本文主要正对sparksql,利用外部数据源方式，直接从
叮咚菜鸟许某人·2020-06-25 14:30

flume篇1：flume把json数据写入kudu(flume-kudu-sink)

flume篇1：flume把json数据写入kudu(flume-kudu-sink)对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个jsonsend出去，这样也是ok的废话不多说，
叮咚菜鸟许某人·2020-06-25 14:30

kudu 1.7 源码安装

kudu1.7源码安装一.安装环境依赖yuminstallautoconfautomakecyrus-sasl-develcyrus-sasl-gssapi\cyrus-sasl-plainflexgccgcc-c
有梦想的人不睡觉121·2020-06-25 11:21

大数据入门：Spark+Kudu的广告业务项目实战笔记(五)

1.统计需求本章主要实现需求四：APP统计。需求如下：2.代码编写入口搭好：AppStatProcessor.process(spark)先看一下第一步的运行情况：packagecom.imooc.bigdata.cp08.businessimportcom.imooc.bigdata.cp08.`trait`.DataProcessimportcom.imooc.bigdata.cp08.uti
Tai_Park·2020-06-25 10:24

Kudu报cannot import authentication data from a different user: old='', new='XXX'解决办法

今天Kudu又抽抽了，在导入数据的时候报错如下：java.lang.IllegalArgumentException:cannotimportauthenticationdatafromadifferentuser
Tai_Park·2020-06-25 10:24

CDH环境集成KUDU的安装和使用

CDH环境集成KUDU安装与使用说明一、安装说明1.1、安装步骤：1、重新配置CDH集群，将对应版本的KUDU放到本地repo目录后按照安装CDH环境步骤逐步进行安装；1.2、所遇问题：1、无法读取到kudu
DKFLEE·2020-06-25 03:19

kudu服务无法启动问题！

最近在kudu开发时候，遇到一个奇怪问题：kudu原本正常，重启之后再也无法正常启动，报错信息如下：E051410:27:54.91012116072webserver_options.cc:111]-
qm006·2020-06-24 22:48

kudu 使用杂记

Kudu是一个基于Raft的分布式存储系统，它致力于融合低延迟写入和高性能分析这两种场景Kudu提供了table的概念。用户可以建立多个table，每个table都有一个预先定义好的schema。
Jason不在家·2020-06-24 11:00

Kudu1.7修复unavailable Tablet replication

情景：昨天修改了solr的配置，重启完solr发现有两台kuduserver掉了，查看日志发现原来是由于文件句柄太多了导致的。
黑幕Zz·2020-06-24 11:43

Kudu TabletServer服务器断电无法启动

KuduTabletServer服务器断电无法启动1.问题KuduTabletServer服务器正常大量写入时，服务器异常重启，会造成TabletServer的metadata的文件数据不完整功能，再次启动
lynnyq·2020-06-24 11:38

KuduMaster迁移

KuduMaster迁移主数量必须为奇数。
lynnyq·2020-06-24 11:38

KuduTablet设置维护时间

KuduTablet设置维护时间参考follower_unavailable_considered_failed_sec默认为300s，tablet失去联系超过300s后，该节点的数据就会在其他节点重建
lynnyq·2020-06-24 11:38

KUDU和IMPALA的结合使用

Kudu与ApacheImpala紧密集成，允许使用Impala的SQL语法从Kudutablets插入，查询，更新和删除数据。
Sin_Geek·2020-06-24 10:05

kudu性能优化

一.背景一个实时业务，数据流app->nginx->lua->kafka->sparkstreaming->kudu->zepplin。打开zepplin，实时数据出不来。看不到。
longxibendi·2020-06-24 08:53

Kudu遇到的坑，是真的坑~

在我使用spark对接kudu的过程中，出现如下错误：坑1:Causedby:org.apache.kudu.client.NoLeaderFoundExceptionCausedby:org.apache.kudu.client.NoLeaderFoundException
留歌36·2020-06-24 06:19

Kudu参数调优

一，KuduTabletServers参数调节FlagVakudOptionsDefault描述–block_cache_capacity_mbinteger512分配给KuduTablet服务器块缓存的最大内存量
冬瓜螺旋雪碧·2020-06-24 02:55

impala简介及实践总结

参考文章:impala的详细介绍--图文描述Kudu+Impala介绍Impala简介Impala是什么Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。
风情客家__·2020-06-23 23:41

Kudu实践总结

参考：Kudu在使用过程中的各种限制主键表创建后，主键不能修改。必须删除重建表指定新的主键主键列必须在非主键列之前主键列的值不能使用UPDATE函数修改。
风情客家__·2020-06-23 23:10

优化spark sql读取 kudu数据

1.背景2.实战3.实战1.背景通过sparksql读取kudu数据，由于kudu表只有6个tablet，所以spark默认只能启动6个task，读取kudu数据，通过界面可以看到kudu的scan维持在
shengjk1·2020-06-23 23:29

Apache Kudu TabletServer迁移

Kudu集群tabletserver迁移1、在clouderamanager界面上停止该节点的tabletserver角色服务2、通过脚本工具removeNode.sh，从kudu集群中删除该节点的所有
huanggang028·2020-06-23 15:46

Kudu异常总结

>>>1、impala不支持kudu表的关键字：PARTITIONED-LOCATION-ROWFORMAT（官方链接：ImpalaKeywordsNotSupportedforKuduTables），
Viking_bird·2020-06-23 10:14

一次Impala upsert Kudu执行缓慢问题排查总结

问题背景BI同学会用Impala在Kudu表上跑一些ETL任务，最近，BI同学反馈一个Kudu表的ETL任务突然变慢，执行时间从原来的不到1分钟到现在的7分钟。
Viking_bird·2020-06-23 10:13

使用docker安装并启动kudu

目录背景下载docker-kudu镜像简单方式启动比较冗长的方式背景之前尝试过用docker中安装centos再编译安装kudu，虽然安装成功了，但启动调试时出现了很多错误，一时无法解决该问题，但为了快速上手
汐朔·2020-06-22 15:47

centos6.7编译安装kudu

目录背景安装前准备安装依赖包安装并配置Git安装配置克隆kudu代码（失败）升级GIT随后再克隆Kudu代码安装依赖包编译安装再次克隆kudu代码（成功）编译kudu源码安装配置启动背景此centos6.7
汐朔·2020-06-22 15:15

impala相关命令

环境：kudu：1.7.0CDH：5.16.22020-06-02查看字段统计信息#查看字段统计信息>>>SHOWCOLUMNSTATSweb_rpa_count;参考：https://docs.cloudera.com
microfat992·2020-06-22 01:09

Cloudera集群意外断电之后KUDU组件tserver无法重启的问题

Cloudera集群意外断电之后KUDU组件tserver无法重启的问题故障原因分析：故障原因分析：测试用的5节点CDH集群因为机房意外断电，很多组件重启失败，手动将agent一个个kill掉重启之后，
Lucien_Hu·2020-06-22 00:26

大数据技术栈速览之：KUDU

Kudu是什么？有什么特性？它和Hadoop生态的关系是什么？有了HDFS和HBase，为什么还要用kudu？
itbgj·2020-06-21 22:08

kudu 性能优化:

kudu性能优化:1,maintenance_manager_num_threadsKudu后台对数据进行维护操作，如flush、compaction、inserts、updates、anddeletes
GYY22897·2020-06-21 20:42

kudu master uuid异常修复

线上kudu集群有3个master，无意间发现有个主节点连不上且无法识别，查看主节点页面每个master节点都会有一个唯一标识UUID，并且每个master都会保存master所有节点的uuid，而现在有个
woloqun·2020-06-21 14:12

线上kudu集群优化

公司上线了kudu有段时间了，主要有两个用途：1.实时落地流量日志以便满足灵活的实时olap查询2.解析mysqlbinlog日志，生成业务库实时映射表最近发现有张业务库的实时映射表数据查询起来非常慢，
woloqun·2020-06-21 14:40

浅谈大数据原理 (Designing Data-Intensive Applications 书评)

我们会知道hadoop的不足之处，为了支持CRUD，我们会去看看cassandra、habase、kudu如何存取、更新数据；为了提高计算效率，我们会去了解tez、spark如何基于DAG
群演_·2020-06-21 08:49

Spark写入Kudu报错：cannot import authentication data from a different user: old='', new='Administrator'

初步分析是用户权限问题，网上有人提供的解决方案如下：在/etc/kudu/conf/master.gflagfile加入以下内容：#添加信任的子集，0.0.0.0/0表示信任所有远程连接--trusted_subnets
温文尔雅的流氓·2020-06-21 01:36

Kudu安装和部署

（1）下载Kudu相关安装包Kudu版本是1.7.0-cdh5.15.1，使用rpm包安装，网址如下：http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh
温文尔雅的流氓·2020-06-21 01:36

Spark SQL读取MySQL数据写入Kudu

（1）pom文件中加入SparkKudu相关依赖org.apache.kudukudu-spark2_2.111.7.0（2）编写代码objectSparkKuduApp{defmain(args:Array
温文尔雅的流氓·2020-06-21 01:36

520活动参与做的实时报表部分全景记录

环境：impala、kudu、dataX数据的大体流向：mysql-->kafka-->flink-->kudu-->impala-->mysql;中间通过java、python、sql等串联。
BabyFish13·2020-06-20 21:48

Kudu Java API Test

importorg.apache.kudu.Schema;importorg.apache.kudu.client.
香山上的麻雀·2020-06-10 18:32

大数据平台之初体验 | 网易猛犸 | 数据仓库、调度系统、数据质量、离线与实时计算应有尽有。

支持HDFS、Hbase、Kudu等从GB到PB级别的存储方案，支持Hive和MapReduce等批量计算、Spark内存计算、Kylin多维分析、Impala和流式计算（开源SparkStreaming
程序员小陶·2020-05-26 09:20

kudu安装与运行

kudu安装包下载地址ctrl+f查找kudu，这6个rpm包都要下载下来，推荐使用迅雷下载在下载的时候我们还需要做一些准备工作。执行以下命令，安装必备的包。
yoleen·2020-05-21 17:00

关于Ozone、Ranger、Flink、Kudu、Kubernetes、Impala的6个视频

ApacheOzone旨在解决HDFS对于小文件和文件系统对象总数的规模限制。在当前的数据中心硬件上，HDFS的限制约为3.5亿个文件和7亿个文件系统对象。Ozone的体系结构解决了这些限制。它采用对象存储的设计架构，支持扩展到上百亿的数据对象。（https://mp.weixin.qq.com/s/idhpGcWj5XTZkrVc_eoGJg）Ranger是Hadoop之上的统一安全框架，它支持
ClouderaHadoop·2020-05-15 14:57

java操作kudu 增删改查

1.maven导入依赖org.apache.kudukudu-client1.6.02.增删改查/***@descriptionkudu测试demo*@authorIT云清*/@SpringBootTest
IT云清·2020-05-12 20:14

利用StreamSets实现MySQL中变化数据实时写入Kudu

环境准备开启MariaDB的Binlog日志修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置server-id=999log-bin=mysql-binbinlog_format=ROW注意:MySQLBinlog支持多种数据更新格式包括Row、Statement和mix（Row和Statement的混合），这里建议使用Row模式的Binlog格式，可以更加方便实时的反应
lei_charles·2020-04-29 12:30

Apache Kudu 加速对频繁更新数据的分析

今天解读的内容是来自HadoopSummitSan2016关于ApacheKudu的一个介绍：ApacheKudu&ApacheSparkSQLforFastAnalysticsonFastData（视频见文章末尾
大数据技术峰会解读·2020-04-12 06:23

当设计 | 偶遇技术，邂逅科学

缪斯在设计界最近的一次出场，是设计师OscarLhermitte和工作室Kudu联合推出的一款灯具Moon（名字也是简单直白的向月亮致意）。
InYard家居·2020-04-11 22:41

基于 Tile 连接 Row-Store 和 Column-Store

在之前的Kudu的文章里面，我已经提到过，行列混存是一个非常有意思的研究方向，因为不同的存储方式有不同的针对应用场景，但作为技术人员，折腾是天性，所以大家都在研究如何融合行存和列存，让一个服务能尽量满足大部分应用需求
siddontang·2020-04-03 15:18

LSM树原理、应用与优化

kudu为什么比hbase更适合支持OLAP查询？上一篇场景和挑战提到数据系统最基本的需求就是数据存取，多数情况下数据是一条条记录，每条记录包含key和value。
群演_·2020-04-02 06:08
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他