kudu数据导入导出

MySQL数据库基础(三)数据的导入导出及表记录管理

一、数据导入导出1.1搜索路径查看修改查看搜索路径mysql>showvariableslike"secure_file_priv";+------------------+--------------
·2021-09-09 07:00

MySQL 亿级数据导入导出及迁移笔记

最近MySQL的笔记有点多了，主要是公司Oracle比较稳定维护较少，上周被安排做了一个MySQL亿级数据的迁移，趁此记录下学习笔记；数据迁移，工作原理和技术支持数据导出、BI报表之类的相似，差异较大的地方是导入和导出数据量区别，一般报表数据量不会超过几百万，而做数据迁移，如果是互联网企业经常会涉及到千万级、亿级以上的数据量。导入和导出是两个过程，即使做数据迁移我们也要分开来看，同时，导入/导出方
·2021-09-06 13:34

SparkSQL极速入门 整合Kudu实现广告业务数据分析

download:SparkSQL极速入门整合Kudu实现广告业务数据分析服务器端代码，server_tcp.py!
·2021-08-05 21:31

CloudQuery 如何实现云上数据导入导出

伴随着「数据安全法」的落地，数据安全又成为了时下的热门话题。我们通常说企业内部数据价值，显然并不是指躺在一个个静态excel表格中的数据。在数据量呈指数级上升、数据结构越来越复杂的背景下，催生出了「大数据」概念。海量数据的出现导致数据库的容量时刻经受巨大的考验，性能波动的同时催生出DBA越来越频繁的备份、导入、导出动作。虽然行业正在迎来云和大数据时代，我们日常使用的工具却仍然停留在PC机时代。在数
·2021-07-27 19:26

UCloud一站式智能大数据平台USDP免费版正式发布！

目前开源的主流存储技术栈主要包含如下3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch：包含Logstash、ElasticSearch、Kibana等；·Kudu
·2021-07-27 19:28

java.lang.NoClassDefFoundError: com/stumbleupon/async/Callback

java.lang.NoClassDefFoundError:com.loopj.android.http.LogHandler这是由于kuduAPI版本不兼容造成的，换成对应的版本即可。
大数据狂人·2021-07-13 15:08

Apache Kudu 简介

ApacheKudu简介目录ApacheKudu简介...1ApacheKudu是为Hadoop平台开发的一个列式存储管理器。
devilteam2006·2021-06-27 00:11

使用PLSQL进行Oracle数据导入导出

【参考】https://blog.csdn.net/xudasong123/article/details/79819578https://blog.csdn.net/lifuxiangcaohui/article/details/7767968
小小全_·2021-06-26 20:47

ClickHouse高可用集群的安装与部署

随着业务体量的扩张，我们的业务人员逐渐有了分析海量用户行为和点击流数据的需求，经过各种调研，最终敲定ClickHouse为最佳方案（成功挤掉了之前有丰富实操经验的Kudu哈哈）。
LittleMagic·2021-06-25 22:19

迟到的Kudu设计要点面面观（前篇）

后篇传送门：https://www.jianshu.com/p/24bdc6f62e84目录PrologueKudu的初衷集群架构与共识保证表与分区的设计底层存储设计细节事务与数据一致性（待续）与Impala
LittleMagic·2021-06-22 15:06

flink 学习笔记 — 自定义 Sink 函数

自定义Sink函数这里主要自定义写入kudu的kuduSink。自定义sink需要我们实现SinkF
飞不高的老鸟·2021-06-21 08:26

Django-09-数据导入导出功能

实现admin页面数据的导入导出功能，需要用到第三方的扩展包：django-import-export官网：http://django-import-export.readthedocs.io/en/latest/index.html1.安装及配置安装：pipinstalldjango-import-export我们需要在admin页面用到导入导出，所以需要在myproject/setting.p
JOooo_·2021-06-20 17:07

迟到的Kudu设计要点面面观（之更加迟到的后篇）

前篇传送门：https://www.jianshu.com/p/5ffd8730aad8目录Prologue（见前篇）Kudu的初衷（见前篇）集群架构与共识保证（见前篇）表与分区的设计（见前篇）底层存储设计细节
LittleMagic·2021-06-20 07:37

UCloud一站式智能大数据平台USDP免费版正式发布！

目前开源的主流存储技术栈主要包含如下3种类型：·HDFS：Hadoop系列套件，包含Hive、HBase、Phoenix等；·ElasticSearch：包含Logstash、ElasticSearch、Kibana等；·Kudu
·2021-06-18 21:33

Apache之Drill

Drill简介Drill是一个交互式SQL查询引擎，官方默认支持的数据源有hive、hbase、kafka、kudu、mongo、opentsdb、jdbc等，其中jdbcstorageplugin可以覆盖所有支持
神豪VS勇士赢·2021-06-10 20:36

Centos7下安装kudu

简介kudu官网https://kudu.apache.org/准备直接通过yuminstall是找不到kudu的源的，在官网安装的页面详细介绍了怎么在各种系统下安装kudu:https://kudu.apache.org
pandaAnthony·2021-06-05 09:42

[新星计划]Kudu底层数据模型图

文章目录引言总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。1）、一个Table会被分成若干个tablet，其中Tablet的数量是根据hash或者是range进行设置的2）、一个Tablet中包含MetaData信息和多个RowSet信息，其中MetaData信息是block和block在dat
ChinaManor·2021-06-04 19:14

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：
明月十四桥·2021-05-26 10:33

Note_Logistics_Day06

/Logistics_Day04：Kudu入门使用01-[复习]-上次课程内容回顾主要讲解：Kudu存储引擎，类似HBase数据库，属于HBase和HDFS折中产品，既能够随机数据读写，又支持批量数据加载分析
ChinaManor·2021-05-24 18:22

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：
明月十四桥·2021-05-24 12:53

大数据必知必会系列__面试官问能不能徒手画一下你们的项目架构[新星计划]

文章目录引言一.ETL架构及Kudu框架二.OGG及Canal数据同步架构图总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者
ChinaManor·2021-05-22 14:07

WorkRobot设计方案

主要功能数据库数据导出数据格式转换数据库数据导入导出——数据库构架类数据格式转换——MongoDB数据库格式与Pandas类型转换类数据库架构类设计方案简介数据库模型基础类：MongoDB、MonDatabase
plutoese·2021-05-21 09:52

Redis存储

1.准备工作在本节开始之前请确保已经安装好了Redis及RedisPy库，如果要做数据导入导出操作的话还需要安装RedisDump，如没有安装可以参考第一章的安装说明。
何苦_python_java·2021-05-16 03:54

一篇文章搞定一个大数据组件：kudu知识点全集

目录1、kudu的定位2、kudu基本概念3、存储架构3.1储存架构：Tablet3.2储存架构：RowSets3.3储存架构：DiskRowSets4、kudu工作原理4.1Compaction4.2Tablet
明月十四桥·2021-05-14 18:27

redis 数据导入导出

开启现有Redis实例的AOF功能（如果实例已经启用AOF功能则忽略此步骤）#redis-cli-hip-pportconfigsetappendonlyyes`通过AOF文件将数据导入到新的Redis实例(假定生成的AOF文件名为append.aof)#redis-cli-hip-p6379-apass--pipe
龙权·2021-05-14 12:29

云数据库管理与数据迁移

云数据库管理与数据迁移认证可以帮助学员掌握云数据库的概念，如何在云端创建数据库、将自建数据库迁移至云数据库MySQL版、数据导入导出，以及云数据库运维的常用操作。
xmvip01·2021-05-08 02:00

云上数据库管理与迁移

云数据库管理与数据迁移认证可以帮助学员掌握云数据库的概念，如何在云端创建数据库、将自建数据库迁移至云数据库MySQL版、数据导入导出，以及云数据库运维的常用操作。
姜总的小可爱·2021-05-02 17:22

Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理

本文的技术栈：DebeziumSQLServerSourceConnector+Kafka+Spark+MySQLps:后面应该会将数据放到Kudu上。
留歌_36·2021-04-27 01:37

云数据库管理与数据迁移

云数据库管理与数据迁移认证可以帮助学员掌握云数据库的概念，如何在云端创建数据库、将自建数据库迁移至云数据库MySQL版、数据导入导出，以及云数据库运维的常用操作。
云计算小百科·2021-04-21 05:41

sqoop整合hbase

Sqoop整合HBasesqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去我们也可以通过sqoop导入数据到hbase
KujyouRuri·2021-04-19 11:22

Spark+Kudu的广告业务项目实战

Spark+Kudu的广告业务项目实战1.简介本项目需要实现：将广告数据的json文件放置在HDFS上，并利用spark进行ETL操作、分析操作，之后存储在kudu上，最后设定每天凌晨三点自动执行广告数据的分析存储操作
终年i·2021-04-12 15:07

neo4j-运维篇

1.数据导入导出1.1导入1.1.1CREATE语句为每一条数据写一个CREATE:CREATE(:label{property1:value,property2:value,property3:value
jellyb·2021-03-11 07:22

kudu java

因为网上Kudu的相关资料不多，我也就照着kudu-example和kudu的JavaAPI自己写写试试，有待改进，如果哪位大佬有更好的改进建议欢迎告诉我~话不多说，直接上代码。
k大数据·2021-03-11 02:26

【Clickhouse】CLICKHOUSE SQL文件等常用语句

文章目录1.概述数据导入导出分区查看列的压缩率查看物化视图的磁盘占用2.批量执行3.DBASQL3.2锁3.3磁盘空间使用3.4性能3.5复写1.概述数据导入导出导入数据clickhouse-client
九师兄·2021-01-29 20:05

Impala SQL on Kudu优化（一）

一、Impalasql的计算方式是啥？在使用Impala进行SQL查询的时候，我们经常会使用join来关联多个表进行查询，获取想要的结果。对于表的数量达到千万甚至上亿的时候，不同的join方式所造成的执行速度，可能差距非常大。Impala提供了两种Join算法－shuffle和broadcast。二、主要Join方式1.broadcastjoin适合大表与小表的join，将大表划分成多块，小表广播
团子粑粑·2021-01-23 21:10

数据库运维家中常备：上限约400MB/s，比COPY等工具还好用的数据利器

1.GDS定位GDS是GaussDB(DWS)提供的一个数据导入导出工具，可在支持多种场景下的数据迁移业务，如异型数据库之间、两个集群之间等。
·2021-01-22 15:12

如何修改influxdb表结构_时序数据库DolphinDB与InfluxDB对比测试报告2

我们重新对DolphinDB和InfluxDB进行对比测试，测试涵盖数据导入导出、数
温特二Winter·2021-01-07 09:39

2021年要做的大事，25个大数据必知领域全面开启更新

目前入选的框架和技术方向包括不限于：「Iceberg」、「Flink」、「Heron」、「Druid」、「Kylin」、「Kudu」、「Redis最新」、「Elasticsearch」、「Hive」、「
王知无-大数据技术与架构·2021-01-04 00:00

kudu大量数据更新_数据高效处理的秘诀——Kudu实战

背景使用Kudu之前，我们的OnlineReport采用都HDFS/ParquetonImpala的架构，数据每隔一小时通过MapReduce从生产db增量同步到HDFS，再通过HIVE/MAPREDUCE
weixin_39929687·2020-12-22 20:40

db2 linux 导入数据_linux导入db2数据库

AIX系统上实现DB2数据导入LINUX系统下面为您介绍的DB2数据导入导出方法实现的是AIX系统上DB2数据导入LINUX系统，如果您对DB2数据导入方面感兴趣的话，不妨一看。
weixin_39661129·2020-12-19 11:54

HBase中LSM-tree的应用

前言传统的关系型数据库一般使用B树作为索引结构，而在大数据场景下，比较多的存储引擎使用LSM-tree这种数据结构，比如hbase、kudu等，本篇文章介绍下HBase中LSM-tree的具体应用以及针对读性能的具体优化机制
风筝Lee·2020-12-17 23:08

记一次大量数据导入导出SAP系统实验

最近因为碰到一个大量数据传输到SAP的场景，在个人的ECC虚拟机上做了一个数据导入到SAP并且从SAP导出的测试，本文是对测试过程要点的记录。导入测试场景：将具有4列500万条数据导入到zemployee表，zemployee表的结构：通过Python第三方模块faker生成模拟数据，4列数据以csv格式存储，文件体积为350M。fromfakerimportFakerimportrandomfa
Stone0823·2020-12-15 19:01

和impala_Impala+Kudu基础操作手册

SQL操作通过impala对kudu进行sql操作数据库操作--描述表DESCRIBEtabel_name;--查看分区情况SHOWPARTITIONStable_name;--查看当前使用数据库SELECTcurrent_database
weixin_39794734·2020-12-08 08:30

Django多数据库联用实现方法解析

本文讲述在一个djangoproject中使用多个数据库的方法,多个数据库的联用以及多数据库时数据导入导出的方法。
·2020-12-06 13:08

kudu参数优化设置，让集群飞起来~

根据数据体量，结合集群各节点的CPU、内存、磁盘的表现，合理优化设置kudu参数，让集群飞起来~如有雷同，纯属借鉴~1.Kudu后台对数据进行维护操作，如写入数据时的并发线程数，一般设置为4，官网建议的是数据目录的
明月十四桥·2020-12-03 16:23

分布式时序数据库DolphinDB与InfluxDB对比测试报告2

我们重新对DolphinDB和InfluxDB进行对比测试，测试涵盖数据导入导出、数
DolphinDB智臾科技·2020-11-26 20:46

鹰角网络全球海量数据，一键轻松统一存储与处理

阿里云对象存储OSS为其提供了统一的数据存储池，方便鹰角网络将全球收集到的海量不同数据进行统一存储，同时阿里云对象存储OSS可无缝对接云原生数据湖分析DLA，DLA提供扫描量版与CU版的SQL服务，可以针对Kudu
阿里云云栖号·2020-11-23 10:17

鹰角网络全球海量数据，一键轻松统一存储与处理

阿里云对象存储OSS为其提供了统一的数据存储池，方便鹰角网络将全球收集到的海量不同数据进行统一存储，同时阿里云对象存储OSS可无缝对接云原生数据湖分析DLA，DLA提供扫描量版与CU版的SQL服务，可以针对Kudu
阿里云云栖号·2020-11-23 10:22

7、hadoop学习笔记01

前提1.1大数据主要分三块存储hdfshivehbasekudu计算sqlsparkflink资源任务调度yarn1.
weixin_45515429·2020-11-22 21:53

Python数据导入导出

文章目录一、使用numpy读写数据np.load()np.save()二、使用pandas读写数据数据导入数据导出三、Python读写文件open()函数读文件写文件一、使用numpy读写数据NumPy能够读写磁盘上的【文本数据】或【二进制数据】。将数组以二进制格式保存到磁盘np.save和np.load是读写【磁盘】数组数据的两个主要函数，默认情况下，数组是以【未压缩的原始二进制格式】保存在【扩
anonymox·2020-11-11 15:26
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他