kudu数据导入导出

KUDU--秒级查询的数据仓库

##==Kudu是什么==Kudu是ToddLipcon@Cloudera带头开发的存储系统，其整体应用模式和HBase比较接近，即支持行级别的随机读写，并支持批量顺序检索功能。
YYDU_666·2018-11-05 16:43

第二十一天 -- hive补充 -- hive分区、分桶 -- hive数据导入导出

第二十一天–hive补充–hive分区、分桶–hive数据导入导出文章目录第二十一天--hive补充--hive分区、分桶--hive数据导入导出一、Hive基础补充二、Hive分区hive分区的目的hive
Eva.努力学习·2018-10-20 16:40

impala+kudu

虚拟机环境配置虚拟机设置启动代理软件安装都需要使用apt-get需要用到代理，设置代理如下：vim/etc/profile.d/proxy.shexporthttpprxoy=http://dev-proxy.oa.com:8080/exporthttpsprxoy=http://dev-proxy.oa.com:8080/exportftp_prxoy=http://dev-proxy.oa.c
小雪的笔记·2018-10-19 14:25

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行
chaochao52001·2018-10-18 23:11

kudu安装之Master config (gd92s3:7051) has no leader

ERROR:ImpalaRuntimeException:ErrorcreatingKudutable'impala::kudu_custtag.cust_indexs01'CAUSEDBY:NonRecoverableException
心なし·2018-10-14 22:42

CDH启动tserver报错：java.lang.IllegalStateException: Multiple processes with same name

【现象】在CDH界面上重启kudutserver时界面报错：【原因】1.首先查看cloudera-scm-agent的日志cm/log/cloudera-scm-agent/supervisord.log
明月三千里68·2018-09-26 17:23

MongoDB数据备份与恢复以及安全认证

与其他数据库一样，MongoDB提供了数据备份和恢复以及数据导入导出的功能，在MongoDB安装目录的bin目录下有，有以下exe文件，下面我们主要使用这些工具：一、数据备份与恢复数据的备份与恢复主要使用到
不清不慎·2018-09-23 16:19

大数据离线日志流程分析

sqoop是一个hadoop和关系型数据库之间数据导入导出的一个工具，讲hdfs上的数据传递到mysql或者oracle称为导入，反之称为导出。
老子天下最美·2018-09-13 17:17

Drill storage plugin实现原理分析

DrillStoragePlugin介绍Drill是一个交互式SQL查询引擎，官方默认支持的数据源有hive、hbase、kafka、kudu、mongo、opentsdb、jdbc等，其中jdbcstorageplugin
阿里云云栖社区·2018-09-12 00:00

MySQL 亿级数据导入导出/数据迁移笔记

最近MySQL的笔记有点多了，主要是公司Oracle比较稳定维护较少，上周被安排做了一个MySQL亿级数据的迁移，趁此记录下学习笔记；数据迁移，工作原理和技术支持数据导出、BI报表之类的相似，差异较大的地方是导入和导出数据量区别，一般报表数据量不会超过几百万，而做数据迁移，如果是互联网企业经常会涉及到千万级、亿级以上的数据量。导入和导出是两个过程，即使做数据迁移我们也要分开来看，同时，导入/导出方
布偶猫爸爸·2018-09-09 17:49

DBA03： MySQL存储引擎 、 数据导入导出 管理表记录 匹配条件

一、mysql存储引擎1.1MySQL工作原理1.connectors与其他编程语言中的sql语句进行交互，如php、java等。2.ManagementServeices&Utilities系统管理和控制工具3.ConnectionPool(连接池)管理缓冲用户连接，线程处理等需要缓存的需求4.SQLInterface(SQL接口)接受用户的SQL命令，并且返回用户需要查询的结果。比如selec
@谷哥·2018-09-05 10:31

kudu、Impala、交互式查询

1、KuduHadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。
郭首志·2018-09-04 18:02

centos 6下apache kudu安装报错Error during hole punch test问题解决

【环境】centos6.8、6.9版本，x8664位CDH版本CDH-5.13.3-1.cdh5.13.3.p0.2kudu版本1.5.0【过程和报错】通过clouderamanager界面，在一个tabletserver
明月三千里68·2018-08-29 16:42

【oracle】oracle数据库导入导出命令！

IMP和EXP命令Oracle数据导入导出imp/exp就相当于oracle数据还原与备份。
帅胖子·2018-08-29 08:42

Oracle11G的数据库数据导入导出（由11g上导出导入10g数据库等）

常用命令EXPDPUSERID=’scott/tiger@orclassysdba’schemas=scottdirectory=DATA_PUMP_DIRdumpfile=dp.dmplogfile=dp.logversion=10.2.0.1.0createtablespacehouqin_tablespacedatafile‘D:\dzj\orcl\TEST01111.DBF’size100
bieli5211·2018-08-27 14:18

Oracle数据库导入导出 imp/exp备份还原

Oracle数据导入导出imp/expOracle数据导入导出imp/exp在cmd的dos命令提示符下执行，而不是在sqlplus里面，但是格式一定要类似于：imp/exp用户名/密码@service_name
longtenggenssupreme·2018-08-24 15:20

Oracle数据库导入导出 imp/exp备份还原

Oracle数据导入导出imp/expOracle数据导入导出imp/exp在cmd的dos命令提示符下执行，而不是在sqlplus里面，但是格式一定要类似于：imp/exp用户名/密码@service_name
longtenggenssupreme·2018-08-24 13:56

Kudu启动问题

1.kudu-master启动失败错误信息：E082011:51:14.7602037928master.cc:183]Unabletoinitmastercatalogmanager:Notfound
Swallowjy·2018-08-23 12:24

kafka超时导致的重复消费的问题

今天看到群友遇到个问题：问题的表象是超时导致autoCommit失败，从而导致重复消费错误内容是：2018-08-2100:00:00.938[kudu-0-C-1]WARNo.a.k.c.consumer.internals.ConsumerCoordinator-Autooffsetcommitfailedforgroupsm
killer0128·2018-08-21 21:20

连接池连接kerberos权限认证的impala+kudu数据库

不要扔个个东西来就让我用，在开发环境没有kerberos，来了上正式，直接给布上，你让我这连kerberos都不知道是啥的java开发人员咋搞，完，写一下自己通过连接池连接存在kerberos认证的impala+kudu
coder_zyz·2018-08-17 11:19

centos7 安装单机版kudu

1.安装ntpyuminstallntp-y2.启动ntpsystemctlstart|stop|restartntpd.service3.添加安装包yum源[cloudera-kudu]#PackagesforCloudera'sDistributionforkudu
chunyangwu·2018-08-15 23:19

Apache Kudu 加速对频繁更新数据的分析

摘要：上图是Hadoop生态体系中,存储引擎和应用场景的对应关系。横轴代表数据查询分析的频度(PaceofAnalysis),依次为:归档基于静态数据的扫描/分析(一次写入多次读取)基于频繁更新数据的快速分析实时访问/更新(OLTP)纵轴代表的是数据的更新频度(PaceofData),依次为只读追加(Append-Only)频繁更新实时更新我们知道,HDFS特别适合归档和基于静态数据的扫描/分析的
chichichichi·2018-08-15 14:13

kudu报错解决

问题描述：kudu运行一段时间后不能插入、查询数据。
bianfulin_·2018-08-14 14:00

CDH集群常见故障处理

1kudu在CDH的各个组件中最容易出现服务停止的情况报错大部分原因是因为Clockinit的问题，也就是时钟同步的问题，处理方法与hdfs的nfsgatway服务无法启动类似，手动同步一下时间即可：ServicentpstopNtpdateCDH1Servicentpstart
棪棪棪棪棪·2018-08-13 13:25

数据导入导出、备份恢复

1、数据导入（文件内容导入数据库）1、作用：把文件系统的内容导入到数据库中2、语法loaddatainfile"/var/lib/mysql-files/文件名"intotable表名fieldsterminatedby"分隔符"linesterminatedby"\n";3、将scoretable.csv文件导入到数据库的表中1、在数据库中创建对应的表createtablescoretab(id
凌逆战·2018-08-02 19:00

异构数据源海量数据交换工具-Taobao DataX 下载和使用

目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥有很多不同类型的数据
羽翼天宇·2018-07-29 15:14

Impala（一）：Impala+Kudu+HDFS教程

本文部分引用其它博客，部分原创，如有不妥之处，欢迎随时留言沟通交流，谢谢~1、Impala语法增删改查2、Impala常用函数2.1、字符串函数参考链接：https://blog.csdn.net/qq_24699959/article/details/798636642.2、数值函数参考链接：https://blog.csdn.net/qq_24699959/article/details/80
ai_1046067944·2018-07-25 15:40

impala的保留关键字，建表时慎用

在使用impala建kudu表时，如果使用了impala的保留关键字，在查询时，需要对关键字字段加上“符号，所以尽量不要使用的关键字。
姥爷家的小胡同·2018-07-22 18:33

搭建 MongoDB 服务器，MongoDB 基本使用，数据导入导出

MongoDB1.1软件介绍•介于关系数据库和非关系数据库之间的产品–一个基于分布式文件存储的数据库。–由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。–MongoDB将数据存储为一个文档,数据结构由键值(key=>value)对组成。–MongoDB文档类似于JSON对象。字段值可以包含其他文档,数组及文档数组。1.2软件特点–安装简单–面向文档存储,操作比较简单容易–支持
落雪无蘅·2018-07-22 17:34

mysql数据导入导出

mysql数据导入导出mysqldump本地需安装mysql客户端，适用于操作本地数据库和远程数据库#命令行连接：mysql-h172.30.1.46-P3306-uroot-proot#备份指定数据库所有表结构及数据
五道杠好青年·2018-07-17 14:00

DBA03 - MySQL存储引擎、数据导入导出 管理表记录 匹配条件

一、mysql存储引擎1.1MySQL工作原理1.connectors与其他编程语言中的sql语句进行交互，如php、java等。2.ManagementServeices&Utilities系统管理和控制工具3.ConnectionPool(连接池)管理缓冲用户连接，线程处理等需要缓存的需求4.SQLInterface(SQL接口)接受用户的SQL命令，并且返回用户需要查询的结果。比如selec
李俊的博客·2018-07-12 22:35

[Kudu基础]--Kudu+Impala介绍 | 微店数据科学团队博客

感谢原文作者：https://juejin.im/entry/5a72d3d1f265da3e4d730b37Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目
highfei2011·2018-07-10 17:48

【Sqoop】数据转换工具Sqoop

1、Sqoop概述HiveQL对数据进行分析，并将结果集存储到hdfs文件或hive表中，当前端需要使用数据处理的结果时，需要将结果集导出到RDBMS中，而Sqoop就是将常用的MapReduce（数据导入导出
魏晓蕾·2018-07-07 23:44

Flume 基础知识

大数据常用数据处理框架graphLR实时流数据采集-->flume,kafka实时流数据处理-->spark,storm实时数据查询处理-->impala批数据导入导出-->Sqoop批数据查询处理--
袭明君008·2018-07-06 17:25

Sqoop工具的使用和详解

Sqoop是用来进行数据导入导出的工具，一般用在hadoop这个框架中，常用的应用场景有将mysql数据库中的数据导入HDFS或者Hive、Hbase，或者从后者中导出到关系型数据库中，下面将进行几段代码的演示导入和导出的过程
kangaroojie·2018-07-05 17:23

oracle导入sql文件

公司以前都是用dmp操作数据导入导出，最近从别的地方人家给是sql文件数据库文件，不得不学习一下如何导入大文件的sql，好应对各种突发情况。
M_ling·2018-06-20 10:35

在CDH5.14.2 中启用kudu的配置与验证

在CDH5.14.2中启用kudu的配置标签（空格分隔）：大数据平台构建一：系统平台介绍二：安装kudu的集成一：系统平台介绍1.1.关于kudu的介绍Kudu是Cloudera开源的新型列式存储系统，
flyfish225·2018-06-11 13:52

Oracle数据导入导出（exp、imp命令使用）

exp导出#expbasename/passwordfile=/home/Oracle/basename.dmpowner=basename;例：expbase123/123file=/home/Oracle/base123.dmpowner=base123;imp导入#impbasename/passwordfile=/home/oracle/basename.dmpfromuser=basen
疯狂的咸鸭蛋·2018-06-10 00:21

mysql数据导入导出方法总结

MySQL数据备份还原方式总结：一、将数据导入到指定的数据库第一种导入方式：（linux下和Windows下语法是一样的，只是路劲的书写方式不同而已）1、创建一个空数据库2、进入MySQL安装目录bin下3、导入命令mysql-uroot–p密码数据库名Usedatabasename;Mysql>Sourced:\dump.sql导入成功之后：***使用第一种方式比较好，推荐使用第一种方式二、从数
xiaocao13140·2018-05-24 14:10

Oracle的导入导出有几种方式，有何区别？

关于Oracle数据导入导出不同于像MySQL那么简单,初学者也容易犯困，搞得模糊不清。本文就详细介绍Oracle导入导出，帮助大家理清思路。
导哥·2018-05-24 12:19

Kudu的架构以及优势

介绍：Hadoop生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBase只能
百味神探·2018-05-08 00:00

Hive与Oracle之间利用Sqoop进行数据的导入导出

近期在工作中遇到了Hive与Oracle之间数据导入导出的问题，故整理如下，以供需要者参考。
象在舞·2018-05-07 20:29

删了一个专题，就好像失恋一样难过

图片发自App前几个月换项目组，使用了elasticsearch，对于一直使用spark和kudu我来说，搜索引擎真是全新的技术。
大神带我来搬砖·2018-04-28 22:01

MySQL 大量数据导入导出数据库的办法

1.https://www.cnblogs.com/gaogaoxingxing/p/6066533.html导入1G的数据，但是在怎么都导入不了，用命令行就可以轻松搞定了。用mysqlsource命令可以导入比较大的文件。代码如下复制代码mysql>usedbtest;mysql>setnamesutf8;mysql>sourceD:/www/sql/back.sql;通过source命令导入多
一木卫一·2018-04-24 09:53

Apache Kudu集群安装

简介Kudu是Cloudera开源的分布式列式存储引擎，支持分区、随机读写、批量扫描、实时更新等。
wangpei1949·2018-04-21 20:19

Impala表导入kudu时遇到的问题

今天在hue上执行数据的重新导入：1、删除原先的kudu表：droptableevents_tab_2;2、需要在impala里创建kudu新表：CREATETABLEevents_tab_2(user_idSTRING
杜克泰森·2018-04-20 14:16

Impalad导入TSV/CSV文件到Kudu

方法一：1将async-1.4.0.jar文件链接到hadoop-mapreduce路径下面：ln-s/opt/cloudera/parcels/CDH/jars/async-1.4.0.jar/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce2创建一个.csv文件：vitest.csv1,name_1,212,name_2,223,name_3,333将
强子no2·2018-04-13 23:31

kudu 安装

Step1，配置Yum的Repository根据自己Linux环境版本进行处理使用Yum来安装kudu，但由于kudu还不是Yum的常规组建，直接安装会找不到kudu，所以第一步需要将kudu的repo
强子no2·2018-04-13 23:20

ElasticDump的安装使用

ElasticDump是一个ElasticSearch的数据导入导出开源工具包，方便使用。
道非常道·2018-04-13 14:00

sqoop 的安装与常用抽数操作

sqoop简介处理sqoop环境配置处理sqoop数据导入导出处理一：sqoop简介处理-1.Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL
flyfish225·2018-04-12 12:04
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他