KUDU

Flink Cdc EOFException 的问题

今日公司有一个FlinkCdc的任务将mysql的binlog数据同步到kudu中，但是有一天凌晨开始间歇性的报异常，任务间歇性的重启。
隔壁寝室老吴·2023-09-01 17:50

error: KUDU cannot find installed kudu client

在安装kudu_python的包的时候，当没有在配置文件中设置KUDU_HOME的时候，会有这样的错误。
七齐起器·2023-09-01 01:05

BI报表设计 AJ-Report

多数据源支持，内置mysql、elasticsearch、kudu驱动，支持自定义数据集省去数据接口开发，支持17种大屏组件，不会开发，照着设计稿也可以制作大屏。
ejinxian·2023-08-26 10:44

Flink：FlinkSql 问题总结

问题一，连接kudu，org.apache.kudu.shaded.com.google.common.collect.Sets解决：缺jar包，将kudu-client放到%flink_home%/lib
Joseph25·2023-08-24 04:25

芒果TV x StarRocks：极速统一的流批处理架构全新进化，助力数据分析乘风破浪

作者：黄立超、刘波涛芒果TV产品技术中心数据技术部资深大数据研发工程师StarRocks小编导语：在引入StarRocks之前，芒果TV的智慧运营平台架构采用云上EMR平台，Hive存储历史数据，Kudu
·2023-08-22 10:15

DataX中的数据交互源码探究

因为工作的原因,需要排查数据源端到目标端的数据是否丢失,正好有机会研究一下datax的源码.这里我们探索的oracleReader和kuduWriter的数据交互,其他的组件原理类似第一步:查看oracleReader
山间浓雾有路灯·2023-08-21 05:49

【Azure 应用服务】App Service For Linux 中安装paping, 用于验证从App Service向外请求的网络连通性

问题描述AppServiceForLinux中安装paping的操作步骤解决步骤1）登录AppService的Kudu站点，点击BashNoalttextprovidedforthisimage2）使用命令下载
云中路灯·2023-08-21 05:51

StreamSets update和delete分离之后导致的操作顺序错乱

解决方案(针对kudu的Destination)：Kudu的Destination中有个设置DefaultOperation，这个设置的说明是：defaultoperationtoperformifsdc.ope
熊_看不见·2023-08-14 09:30

Impala在kudu中创建含中文字段名的表

方案：通过kudu的API创建含中文字段的表，然后在Impala中创建外部表进行关联。下面详细介绍该方案。
hbtszyt·2023-08-11 19:24

我是如何成为Apache Kudu committer & PMC的？

小米从2012年开始正式涉足开源，不光积极参与开源社区，修复bug、提交代码，同时逐渐将自研的系统或框架进行开源，先后开源了企业级、高可用、可扩展的监控系统Open-Falcon、分布式Key-Value存储系统Pegasus、移动端深度学习框架MACE以及智能SQL优化与改写工具SOAR。小米内部倡导开源、拥抱开源，而开源也是小米工程文化的一个重要组成部分。小米在发展过程中，也为开源生态做了很多
weixin_33747129·2023-08-10 18:23

Kudu与Spark 生产最佳实践

{StringType,StructField,StructType}importorg.apache.kudu.client._importcollection.JavaConverters.
若泽大数据·2023-08-08 13:32

Kudu-客户端API编程、生态整合(Spark、Flink、Impala)

文章目录Kudu客户端API编程客户端API核心类Java编程接口环境准备创建表插入数据查询数据修改表结构更新数据删除数据更新和插入删除表Hadoop生态整合整合概述集成SparkSparkshell中操作
迷雾总会解·2023-08-04 04:25

Kudu-集群管理、基架感知、透明分层存储管理、性能优化

文章目录Kudu集群管理Kudu命令行工具命令行工具盘点常见命令KuduWeb界面WebUI端口MasterWebUITabletServerWebUI监控和管理工具编译和安装使用备份与恢复其他高级主题机架感知机架感知作用配置机架感知透明分层存储管理索引跳跃式扫描优化资源规划性能调优硬件层面优化操作系统层面优化网络优化配置调优透明分层存储案例分析需求分析方案设计架构设计分层存储设计模拟数据构建数据
迷雾总会解·2023-08-04 04:25

Kudu-基本架构、模式设计、Docker部署

文章目录简介介绍Kudu出现的背景Kudu使用场景OLTP与OLAP行式存储与列式存储与其他存储对比KuduVS关系型数据库KuduVS常见大数据存储对比总结Kudu基本架构架构Kudu中的相关概念和机制主键热点问题分区架构补充
迷雾总会解·2023-08-04 04:54

kudu 迁移

原文链接：https://www.cpweb.top/2526官方文档：迁移到多个Kudumaster：https://kudu.apache.org/docs/administration.html#
啊哈？？·2023-08-02 14:33

海量数据存储组件Hbase

hdfshbaseNoSQL数据库支持海量数据的增删改查基于Rowkey查询效率特别高kudu介于hdfs和hbase之间hbase依赖hadoop+zookeeper，同时整合框架phoenix(擅长读写
February13·2023-07-31 17:56

ubuntu22用apt安装固定docke20.10版本

mqq-virtual-machine:~#lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:UbuntuKineticKudu
qq_14910065·2023-07-31 10:28

芒果TV x StarRocks：极速统一的流批处理架构全新进化，助力数据分析乘风破浪

作者：黄立超、刘波涛芒果TV产品技术中心数据技术部资深大数据研发工程师StarRocks小编导语：在引入StarRocks之前，芒果TV的智慧运营平台架构采用云上EMR平台，Hive存储历史数据，Kudu
StarRocks_labs·2023-07-22 23:46

利用 StreamSets 实现将 SQL Server 中数据实时同步写入 Kudu

环境准备SQLServer中创建测试库表CREATEDATABASEtest;CREATETABLE[dbo].[cdc_test]([id]intIDENTITY(1,1)NOTNULL,[name]varchar(60)COLLATEChinese_PRC_CI_ASNOTNULL,CONSTRAINT[PK_cdc_test]PRIMARYKEYCLUSTERED([id])WITH(PAD
lei_charles·2023-07-22 05:29

kudu集群数据节点(tserver)扩容(缩容)

背景：4个数据节点有数据倾斜，rebalance后依旧如此，检查分片数量和分布情况也是均衡的。最后发现相同的分片在其中一个节点存储消耗的磁盘资源比其他节点要大很多，导致了这个节点磁盘消耗较快。于是决定更换节点的磁盘操作计划如下：1-将有问题的节点踢出集群(缩容)2-等待数据rebalance达到数据迁移的效果3-更换好磁盘后，将节点重新加入到集群(扩容)缩容-数据迁移1-设置宕机恢复时间为1分钟后
龟速扣代码·2023-07-21 02:50

合并日志树——LSM Tree

他在大数据的存储上广泛引用(HBase,Kudu,Clickhouse的MergeTree等)，它的处理情景是将随机读写操作变成顺序读写操作，从而提高IO
龟速扣代码·2023-07-21 02:50

【Azure 应用服务】[App Service For Linux（Function) ] Python ModuleNotFoundError: No module named 'MySQLdb'

问题描述在使用AzureFunction创建新的PythonFunction时，使用MySQLdb连接数据库时候出现ModuleNotFoundError:Nomodulenamed'MySQLdb'，但是**Kudu
云中路灯·2023-07-18 00:42

Apache Kudu 在**医疗科技的生产实践

目录说明医疗场景下数据特点KUDU的介绍kudu架构kudu文件组织形式kudu的生产实践技术选型整体的架构项目遇到的问题参考资料说明本文主要介绍APACHEKUDU在**医疗科技数据实时分析场景下的实践
humanity11·2023-07-16 18:32

98.StreamSets实时采集Kafka

98.1演示环境介绍已安装Kafka并正常运行未启用KerberosRedHat版本：7.4CM和CDH版本：cdh5.13.3kafka版本：3.0.0(0.11.0)Kudu版本：1.5.098.2
大勇任卷舒·2023-07-15 20:09

Apache Kudu 学习

ApacheKudu学习一、背景二、kudu架构一、背景HDFS：吞吐能力极强，但是随机读写能力差，适合进行批处理数据分析HBase：随机读写能力极强，但是吞吐能力差，适合做随机分析处理。
牵梦u·2023-07-14 13:44

Apache Kudu

ApacheKudu是一种开源的分布式存储和分析引擎，它可以快速地存储和分析大规模的结构化数据。
ItisNagatoYuki·2023-07-14 13:14

Apache Kudu 从源码开始构建并部署 Kudu 集群

官网|文档|源码目录1概述1.1架构及概念和术语1.2支持的列类型1.3编码类型1.4列压缩1.5关于主键2编译2.1安装需要的依赖库2.2构建文档时需要的依赖(可选)2.3编译Kudu2.4安装2.5
Yore Yuen·2023-07-14 13:41

3、Apache Kudu集成impala(shell和java操作)的详细操作

ApacheKudu系列文章1、ApacheKudu介绍及架构、工作原理、两种部署方式、使用限制详解2、ApacheKudu-javaapi操作kudu详细示例以及kudu的三种实现示例3、ApacheKudu
一瓢一瓢的饮 alanchan·2023-07-14 13:08

2、Apache Kudu-java api操作kudu详细示例以及kudu的三种实现示例

ApacheKudu系列文章1、ApacheKudu介绍及架构、工作原理、两种部署方式、使用限制详解2、ApacheKudu-javaapi操作kudu详细示例以及kudu的三种实现示例3、ApacheKudu
一瓢一瓢的饮 alanchan·2023-07-14 13:07

Apache Kudu 学习总结

ApacheKudu学习秘籍个人公众号大数据理论及实战AnewadditiontotheopensourceApacheHadoopecosystem,ApacheKuducompletesHadoop
Seniscz·2023-07-14 13:36

1、Apache Kudu介绍及架构、工作原理、两种部署方式、使用限制详解

ApacheKudu系列文章1、ApacheKudu介绍及架构、工作原理、两种部署方式、使用限制详解2、ApacheKudu-javaapi操作kudu详细示例以及kudu的三种实现示例3、ApacheKudu
一瓢一瓢的饮 alanchan·2023-07-14 13:33

大数据中台技术组件

一、平台搭建1.1.Amabari+HDP1.2.CM+CDH二、相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto
TURING.DT·2023-06-22 16:31

Flink Table/Sql自定义Kudu Sink实战(其它Sink可参考)

目录1.背景2.原理3.通过Trino创建Kudu表4.FlinkKuduTableSinkProject项目4.1pom.xml4.2FlinkKuduTableSinkFactory.scala4.3META-INF
Bulut0907·2023-06-20 13:42

大数据hadoop生态技术简介

暂时将其核心技术分为9类：数据采集技术框架：Flume、Logstash、FileBeat；Sqoop和Datax；Cannal和Maxwell数据存储技术框架：HDFS、HBase、Kudu、Kafka
三水写代码·2023-06-18 22:05

K8s 部署 Apache Kudu 集群

一、K8s部署ApacheKudu集群安装规划组件replicaskudu-master3kudu-tserver31.创建命名空间vikudu-ns.yamlapiVersion:v1kind:Namespacemetadata
小毕超·2023-06-18 18:05

Java Spark 操作 Apache Kudu

一、ApacheKuduApacheKudu是一种列式分布式存储引擎，它的设计目标是支持快速分析和高吞吐量的数据访问，同时也能够支持低延迟、实时查询和更新操作。
小毕超·2023-06-18 18:03

Hbase、Kudu和ClickHouse横向对比V2.0

安装部署方式对比3组成架构对比4基本操作对比4.1数据读写操作4.2数据查询操作5HBASE在滴滴出行的应用场景和最佳实践5.1订单事件5.2司机乘客轨迹5.3ETA5.4监控工具DCM5.5小结6网易考拉基于KUDU
陈舟的舟·2023-06-17 23:34

使用Apache SeaTunnel进行数据库同步（MySQL to MySQL）

目前，大数据体系里有各种各样的数据引擎，有大数据生态的Hadoop、Hive、Kudu、Kafka、HDFS，也有泛大数据库体系的MongoDB、Redis、ClickHouse、Doris，更有云上的
猿敲月下码·2023-06-17 10:50

Apache Kudu入门学习

目录一、概念二、背景三、特点四、架构五、应用场景六、kudu的模式设计1、列设计2、主键设计3、分区设计1.范围分区RangePartitioning2.哈希分区HashPartitioning3.多级分区
chimchim66·2023-06-14 13:43

一文读懂 Apache Kudu

前言ApacheKudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。
香山上的麻雀·2023-06-09 19:02

构建智能电商推荐系统：大数据实战中的Kudu、Flink和Mahout应用【上进小菜猪大数据】

本文将介绍如何利用Kudu、Flink和Mahout这三种技术构建一个强大的大数据分析平台。我们将详细讨论这些技术的特点和优势，并提供代码示例，帮助读者了解如何在实际项目中应用它们。
上进小菜猪·2023-06-07 05:04

基于 SpringBoot + Vue 实现的可视化拖拽编辑的大屏项目

多数据源支持，内置mysql、elasticsearch、kudu驱动，支持自定义数据集省去数据接口开发，支持17种大屏组件，不会开发，照着设计稿也可以制作大屏。
~卑微的搬砖人~·2023-04-21 13:50

Flink实战1-数据实时写入Kudu的客户端方式给与业务以Impala实时分析

背景互联网金融，面对的业务方较多；风控部门的数据分析师，策略分析师，反欺诈分析师等，目前的数据量这些分析师使用Python以及MySQL是无法满足快速高效的分析的；商城、运营部门等的报表看板，定制化用户行为分析等。；目前的自主分析是使用的开源产品Superset做一部分的改造，接入Druid，ES，Impala，分析师们已经全部转到我们的平台，大部分的使用都是基于我们数仓的DWS，但是除此之外实时
Kevin_鹿·2023-04-19 06:54

大数据知识点记录

1、工具：大数据知识点记录_江湖行骗老中医的博客-CSDN博客HUE相当于Navicat的一个工具kudu（数据库）------>impalaHbase（数据库）------>HiveAzkaban调度
Jack_2085·2023-04-17 13:45

大数据1 简介

大数据的核心工作：•存储：妥善保存海量待处理数据•计算：完成海量数据的价值挖掘•传输：协助各个环节的数据传输2.大数据软件生态•存储：ApacheHadoopHDFS、ApacheHBase、ApacheKudu
像影子追着光梦游_·2023-04-16 02:18

【Azure 应用服务】App Service For Windows 环境中部署Python站点后，如何继续访问静态资源文件呢（Serving Static Files）？

问题描述当创建一个AppService后，运行时环境和版本选择Windows和Python3.6.登录Kudu站点查看，默认的文件有web.config,hostingstart-python.py,hostingstart-python.html
云中路灯·2023-04-13 06:50

[Hudi学习笔记] Hudi 与Kudu、Hive Transactions、Hbase及Stream Processing的比较

WhatisHudi?Hudi是HadoopUpsertsanDIncrementals的缩写，用于管理HDFS上的大型分析数据集存储。Hudi的主要目的是高效的减少入库延时。Hudi是Uber开发的一个开源项目。存储于HDFS上的分析数据集一般通过两种类型的表来提供，即读取优化的表（ReadOptimizedTable）和近实时表（Near-RealtimeTable）。ReadOptimize
Kent_Yao·2023-04-12 00:36

大数据处理规范（选型测试），自用

从采集端，到结果展示端，一般秒级数据采集到系统处理以及分析都是秒级像消息到kafka推送基本都是毫秒级，入库秒级（kudu)1.校验准确性?
我要用代码向我喜欢的女孩表白·2023-04-09 08:43

新手入门大数据，认识大数据学习路线

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
金光闪闪耶·2023-04-07 13:48

【硬刚大数据】2021年从零到大数据专家之Kudu篇

欢迎关注博客主页：https://blog.csdn.net/u013411339欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021
王知无(import_bigdata)·2023-04-06 11:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他