KUDU

CDH环境下 Flink On Yarn 任务中文乱码问题解决

任务中文乱码问题解决问题描述问题解决1.Linux的环境变量设置字符集2.修改MapReduce的环境变量3CM界面,修改Yarn配置(mapred-site.xml)4非CDH环境解决参考问题描述在Flink通过kudu-client
杉屿·2020-09-12 04:58

spark+kudu 例子

//读取kudusqlContext.read.options(Map("kudu.master"->"data.hadoop:5071","kudu.table"->"testable")).kudu.show
qq_37207637·2020-09-11 22:58

kudu upsert data api

课程链接：http://edu.51cto.com/course/15174.htmlkudu对插入数据进行更新操作try{StringtableName="wyh_main";KuduClientclient
@black·2020-09-11 20:45

KUDU同步数据到Hive报错

KUDU同步数据到Hive报错一：现象Azkaban每晚任务：将KUDU数据写入Hive偶尔出现连接kudu报错：Exceptioninthread“main”java.sql.SQLException
灵魂要吗·2020-09-11 09:59

大数据和区块链区别和关系

另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层不只是HDFS，还有HBase和Kudu等存储架构。
深夜女的程序员敲代码·2020-09-11 07:34

情商笔记

情商.png上面是我根据一篇文章做的思维导图，每一点都有备注的这里是百度云下载链接链接：https://pan.baidu.com/s/1UlV0NZh7utuQLVWBkudUNg密码：ct2h《非暴力沟通
阿布554_·2020-08-26 23:24

Kudu启动过程中常见错误及解决方法

在kudu启动时，控制台显示启动ok并不一定已经真正启动了kudu-master和kudu-tserver，需要查看进程是否已经运行ps-ef|grepkudu[root@node01~]#ps-ef|
灰灰灰灰辉·2020-08-25 05:14

hive 插入数据的时候，不能直接运行，报错FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.

，报错错误原因：namenode内存空间不够，JVM剩余内存空间不够新job运行所致错误提示StartingJob=job_1594085668614_0006,TrackingURL=http://kudu
csdn_xiaofeng·2020-08-24 16:15

streamingset学习之旅

背景，之前需要把oracle的数据拉取导kudu，组内大神增加了flume组件。
cclovezbf·2020-08-24 13:15

kudu库下所有表迁移，从a库到b库

记录下1.找到DBS中ods_tcm_data和ods_tcm_data_kd所对应的ID2.修改TBLS中原来ods_tcm_data的DB_ID为ods_tcm_data_kd的DB_ID//3.修改TABLE_PARAMS中对应的impala::ods_tcm_data.{table}为impala::ods_tcm_data_kd.{table}4.重启HiveMetastoreServe
cclovezbf·2020-08-24 13:15

生产上Canal与Maxwell颠峰对决

---->存储HBASE/KUDU/Cassandra增量的思考：a.全量该怎么刷bootstapb.增量该
Try Everything、·2020-08-24 12:59

kudu 文件描述符 更改

kudu文件描述符超过阀值kudu文件描述符缺省打开文件数为32768在/etc/security/limits.d/下找到了cloudera的limit配置文件，里面限制为32768/etc/security
风语飘摇·2020-08-23 19:29

海量数据实时分析服务技术架构演进

1.现状与挑战爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。
爱奇艺技术产品团队·2020-08-23 08:24

presto catalog 动态加载

改），只能重新打包镜像，进行滚动升级；而比较理想的方式是：presto的catalog可以动态的增删改，只在presto版本升级的时候才进行镜像发版；目前公司catalog主要有hive，mysql，kudu
woloqun·2020-08-23 03:48

大数据入门：Spark+Kudu的广告业务项目实战笔记(四)

Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.统计需求完成统计地域分布情况，需要原始请求数、有效请求数、广告请求数、参与竞价数、竞价成功数、广告主展示数
大数据技术与架构·2020-08-23 03:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(六)

Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)本章目标：将代码打包并运行在服务器上。
大数据技术与架构·2020-08-23 03:05

大数据入门：Spark+Kudu的广告业务项目实战笔记(五)

Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.统计需求本章主要实现需求四：APP统计。
大数据技术与架构·2020-08-23 03:04

大数据入门：Spark+Kudu的广告业务项目实战笔记(三)

Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)这章的主要目标是对前两个需求的代码进行重构。
大数据技术与架构·2020-08-23 03:04

大数据入门：Spark+Kudu的广告业务项目实战笔记(二)

Spark+Kudu的广告业务项目实战系列：Spark+Kudu的广告业务项目实战笔记(一)1.功能二开发统计省份、城市数量分布情况，按照provincename与cityname分组统计packagecom.imooc.bigdata.cp08
大数据技术与架构·2020-08-23 03:04

Spark Structured : KuduException$OriginalException: Originalasynchronous stack trace

1.美图#2.背景一个运行好的程序，进行调优处理，然后因为做了一些参数后爆粗KuduException$OriginalException:Originalasynchronousstacktrace其他错误如下调参数前的参数
九师兄·2020-08-23 02:10

spark读写kudu

packagesparkUtilimportorg.apache.kudu.spark.kudu.KuduContextimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.SparkSessionobjectSparkKudu
我是浣熊的微笑·2020-08-22 21:30

Spark读取kudu，将Row类型Rdd转成其它类型

importorg.apache.kudu.spark.kudu.KuduContextimportorg.apache.spark.SparkConfimportorg.apache.spark.sql.SparkSessionimportscala.collection.mutable.ArrayBufferobjectSpark_kudu
我是浣熊的微笑·2020-08-22 21:29

2018-04-21

kudu提纲整体技术架构基本组件构成限制&制约原子性与事务机制压缩与存储机制相关image.png●Master：负责集群table、tablet元数据管理，对table的crud，tablet分布，ts
乐乐笑哈哈·2020-08-22 14:22

Android推送通知的实现--PHP+ANDROID做消息推送：基于IBM的MQTT协议的Tokudu项目测试

先看演示：下载duteba的android客户端apk：STEP1：客户端的服务启用：测试APK下载地址：下载我给自己的手机ID设置为cruelfire,下方的项目介绍里都是读取的Android_ID唯一DeviceID编号STEP2：服务器消息发送方：http://blog.duteba.com/api/phpmqttclient/index.php第一个输入你手机的客户号，第二个输入要推送的消
ynwewrfjhh·2020-08-22 11:32

Drill storage plugin实现原理分析

DrillStoragePlugin介绍Drill是一个交互式SQL查询引擎，官方默认支持的数据源有hive、hbase、kafka、kudu、mongo、opentsdb、jdbc等，其中jdbcstorageplugin
阿里云云栖号·2020-08-22 11:00

impala的 join查询的优化实践

,t1.plate_noASpn1,t2.plate_noASpn2,t1.pt_timestampASptts1,t2.pt_timestampASptts2FROM(select*FROMdatakudu
道友，且慢·2020-08-21 16:02

centos7进程限制、打开文件限制等

从centos7以后，yum或者rpm安装的服务，尤其带内部用户的，比如kudu，需要关注systemd的参数，这类服务的进程、文件打开句柄限制和root、普通用户的不同。
吉甫作诵·2020-08-21 14:45

Spark+Kudu的广告业务项目实战笔记(一)

1.简介本项目需要实现：将广告数据的json文件放置在HDFS上，并利用spark进行ETL操作、分析操作，之后存储在kudu上，最后设定每天凌晨三点自动执行广告数据的分析存储操作。
大数据技术与架构·2020-08-21 05:18

kudu原理与使用

1、kudu简介1.1、kudu是什么？简单来说:dudu是一个与hbase类似的列式存储分布式数据库。官方给kudu的定位是:在更新更及时的基础上实现更快的数据分析1.2、为什么需要kudu？
木木竹·2020-08-21 03:44

Centos7安装kudu

1、下载kudurpm包下载地址:https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.14.0/RPMS/x86_64/下载rpm包如下:kudu
木木竹·2020-08-21 03:12

关于java连接kudu或者flume的kudusink的异常汇总

1、Causedby:org.apache.kudu.client.NonRecoverableException:Couldnotconnecttoaleadermaster.Clientconfiguredwith1master
大数据小蜗牛·2020-08-20 17:32

impala 0

架构是日志收集到kafka，经过清洗后存放到kudu中，然后定时去做mapreduce任务，将kudu中的老表的数据分配到hdfs中。
metooman·2020-08-20 17:15

CDH6.3.2升级Hive到4.0.0

升级目的：为上层开发，提供统一元数据服务并能通过hive操作kudu表，kylin可以通过hive对在kudu中的数据做分析面临问题：hive4.0之前hive没有KuduStorageHandler机制
品途旅游·2020-08-20 14:37

CDH6.3.2升级Hive到4.0.0

升级目的：为上层开发，提供统一元数据服务并能通过hive操作kudu表，kylin可以通过hive对在kudu中的数据做分析面临问题：hive4.0之前hive没有KuduStorageHandler机制
非洲羚羊·2020-08-20 13:00

streamsets自定义插件部署方案

streamsetsdatacollector新增upsert4mysql目录1.背景简介2.部署步骤2.1cm界面操作2.2上传驱动包2.3上传插件2.4选择pipeline2.5pipeline配置3.启动界面1.背景简介由于sdc缺少由kudu
tianjun2012·2020-08-18 22:54

Kudu学习总结

本文为Kudu学习总结一、Kudu简介Kudu是为快速数据的快速分析而生的存储，是专为下一代硬件设计的，可提高跨框架分析性能的，用于构建实时分析应用的原生存储引擎二、Kudu概览1）Kudu的特点Kudu
烈光·2020-08-18 11:06

Centos6.10安装impala集成kudu之错误

Centos6.10安装impala集成kudu时，修改了hdfs-site.xml文件时，加入了下面属性：dfs.domain.socket.path/var/run/hdfs-sockets/dn然后重新启动
木木竹·2020-08-17 21:25

修改Kudu配置的主机名后无法启动报错 IO error: Could not verify integrity of files: xxxxxxxxxx

原因是因为元数据没有自动更新，需要手动更新每个master节点的元数据具体的操作步骤如下：1.先查看具体kudu的元数据配置信息，我这里的目录是cd/data0/server/kudu/master/consensus-meta
杨鑫newlfe·2020-08-17 15:55

SparkStreaming消费Kafka根据数据时间落地Hdfs，维护偏移量至kudu

一环境信息项目依赖scala2.11.0jdk1.8org.apache.maven.pluginsmaven-compiler-plugin77org.apache.sparkspark-core_2.112.4.0-->org.apache.spark-->spark-sql_2.11-->2.1.1-->-->org.apache.sparkspark-hive_2.112.4.0org.a
Master_slaves·2020-08-17 07:18

Kylin 最佳实践｜爱奇艺如何处理千亿级数据

数据按时效性分为两种类型：离线类型的灌入到HDFS，实时数据灌入到Kafka；往上是各种分析引擎，Hive用于PB级别的离线分析，Kylin用于每日报表，针对相对固定的维度进行分析，Impala用户Ad-hoc场景，Kudu
大数据星球-浪尖·2020-08-16 14:02

如何用DataX自定义KuduWriter插件

如何用DataX自定义KuduWriter之前，先了解一下什么是DataX，它能做什么事DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer
山间浓雾有路灯，风雨漂泊有归舟·2020-08-14 18:54

StreamSets的简单使用

StreamSets的简单使用环境:StreamSets3.14.0kudu1.7.0-cdh5.16.21.创建一个directory2kudu的Pipline2.在Pipline流程中添加Directory
Migumigu1316·2020-08-14 16:51

解析mysql binlog

目前有个功能需要将mysql中的数据同步到数仓（hdfs，kudu或者其他存储）中去，如果离线的方式可以考虑sqoop，spark，缺点就是延时比较高，可能一个小时，或者一天；数据一致性很难得到保证，mysql
woloqun·2020-08-14 12:08

数仓笔记 一

好久没写博客了，最近一直在忙数仓迁移的事，从SqlServer迁移到impala+kudu上，没使用hive。建立一套大数据的数仓，数据接入用的streamSets。
新手路上的程序员·2020-08-14 04:45

Java访问Kudu报NoLeaderFoundException异常

通过JavaAPI访问Kudu时报NoLeaderFoundException错误，是找不到master节点中的leader角色，一般应该将Kudu中所有的master节点都写进代码中，但若还是报这个错误的话
DeathGXD·2020-08-13 14:02

Java操作Kudu

org.apache.kudukudu-client1.9.0importorg.apache.kudu.ColumnSchema;importorg.apache.kudu.Schema;importorg.apache.kudu.Type
DeathGXD·2020-08-13 14:02

kudu的基本操作（查看集群状态，APT操作，impala操作，spark整合）

1.命令行查看kudu状态操作通过root用户切换到kudu用户1.1查看集群整体信息（我本机的hostname是hadoop002，也就是kudu的master是hadoop002）-bash-4.2
muyingmiao·2020-08-11 05:29

Kudu部署

一Kudu的简介和部署1.Kudu的特点OLAP工作负载的快速处理。与MapReduce、Spark等Hadoop生态系统组件集成。
muyingmiao·2020-08-11 05:29

Kudu局限笔记

结构局限主键主键不可修改，如要修改需重新建表主键必须位于表结构的第一列主键不可修改数据内容，若要修改必须删除后重新插入主键不为空且Double、Float、Bool类型的列不能作为主键不支持主键自动增长联合主键的单元数据不得大于16KB列不支持char,date,array,map数据类型不可改变列类型例如是否为空列最多支持300列不支持修改列表表必须有奇数个副本，最多7个无法更改表的副本数，必须
灯火gg·2020-08-10 14:52

Kudu-master启动：Failed to start Kudu Master Server. Return value: 1

今天屁颠屁颠装了kudu，到启动Kudu-mater的时候报错了：[[email protected]]$sudo.
Tai_Park·2020-08-09 23:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他