kudu数据导入导出

Phoenix从4.7升级到4.14

之前有实验过impala+kudu在3亿+数据的数据表上的查询效果，整体效果不错，基本上都是秒出结果，所以这次研究一下hbase+phoenix的方案，对比一下。1、选择版本http
LearnBigData·2019-10-28 17:46

Flume笔记

正常使用即可任务调度，定时执行，任务之间的依赖sqoop:数据导入导出工具将关系型数据库当中的数据导入到大数据平台import将大数据平台的数据导出到关系型数据库export导入mysql数据到hdf
你好！Mr陈·2019-10-21 14:00

Apache Kudu入门

ApacheKudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。
黑马程序员广州·2019-10-17 03:35

Python-工具-批量插入INSERT语句(将sql文件导入数据库)

实际工作中，对于数据导入导出可以使用PLSQLDeveloper/Tools/ImportTbales功能实现，但由于回滚段的限制对于导入的数据量存在限制。
大法师焦佩·2019-10-16 20:00

大数据--sqoop数据导入导出

1、在MySQL中创建表student2、在MySQL中创建表student43、在hive中创建表student3------------------------------------------------------------------------------hive(default)>createtablestudent3(idint,namestring,sexstring)>ro
newtest00·2019-10-05 17:00

kudu

Kudu的数据类型:BOOL,INT8,INT16,INT32,BIGINT,INT64,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP.但DECIMAL,CHAR,VARCHAR
会飞的牛奶·2019-10-04 15:29

Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理

本文的技术栈：DebeziumSQLServerSourceConnector+Kafka+Spark+MySQLps:后面应该会将数据放到Kudu上。
liuge36·2019-09-29 11:00

使用Spark 2.2.1 + Kudu 1.5.0 操作Kudu大数据系统

使用Spark2.2.1+Kudu1.5.0操作Kudu大数据系统Kudu的版本查询：（https://www.cloudera.com/documentation/enterprise/release-notes
段智华·2019-09-26 18:15

Python制作数据导入导出工具

python2.6编写，自己瞎写的，备用'''ExportandImportElasticSearchData.SimpleExampleAt__main__@author:[email protected]@note:uncheckconsistencyofdata,pleasedoitbyself'''importjsonimportosimportsysimporttimeimporturlli
·2019-09-23 22:19

ThinkPHP使用PHPExcel实现Excel数据导入导出完整实例

本文所述实例是使用在Thinkphp的开发框架上，要是使用在其他框架也是同样的方法，很多人可能不能正确的实现Excel的导入导出，问题基本上都是phpExcel的核心类引用路径出错造成的，如果有问题大家务必要对路劲是否引用正确进行测试。具体操作步骤如下：（一）导入Excel第一，在前台html页面进行上传文件：如：导入Excel表：第二，在对应的php文件进行文件的处理if(!empty($_FI
·2019-09-23 18:39

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和H，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行选择。在这之
·2019-09-23 06:55

爱奇艺海量数据实时分析架构的演进

1.现状与挑战爱奇艺目前使用到的大数据相关技术有Druid、Impala、Kudu、Kylin、Presto、ElasticSearch等，并且随着各技术框架的版本升级而升级。
Hadoop技术博文·2019-09-16 20:10

hive常用功能：Hive数据导入导出方式

作为数据仓库的Hive，存储着海量用户使用的数据。在平常的Hive使用过程中，难免对遇到将外部数据导入到Hive或者将Hive中的数据导出来。今天主要就来学习一下Hive的几种数据导入和导出的方式。一、Hive数据导入方式这里主要介绍四种：从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；从别的表中查询出相应的数据并导入到Hive表中；在创建表的时候通过从别的表中查询出相应的
寒月谷·2019-09-12 19:58

分布式存储系统Kudu与HBase的简要分析与对比

原文链接：https://www.cnblogs.com/163yun/p/9646008.html分布式存储系统Kudu与HBase的简要分析与对比本文来自网易云社区作者：闽涛背景Cloudera在2016
hellozhxy·2019-09-12 18:29

经验拾忆（纯手工）=> Python-ORM之peewee：插件拓展（三）

声明本篇主要讲，关于peewee的一些拓展：包括新式CRUD-数据导入导出-信号-数据库反向生成模型。
Cython_lin·2019-09-04 00:00

大数据基础-数据存储组件介绍

文章目录目标分类-列式存储-行式存储-常见存储格式TextFileRCFileORCParquetARVO-典型开源应用-kudu:面向实时分析的存储引擎-Hive支持的格式-Impala支持的格式-HBase
coding-now·2019-09-02 13:43

hive 数据导入导出

1、创建表结构指定分隔符droptableXXX;createtableXXX(.....)partitionedby(dtstring)rowformatdelimitedfieldsterminatedby'\t';2、数据导入loaddatalocalinpath''overwriteintotableXXXpartition(dt='20180824');3、数据导出insertoverw
姜兴琪·2019-08-27 12:38

MySQL-注释-Navicat基本使用-复杂查询练习题-解题思路-pymysql操作数据库-SQL注入-05

个人总结）与数据服务器建立连接创建&打开数据库、表创建打开修改操作表结构修改表结构查询修改操作表数据基本语句对应的操作模型*****特色功能从数据库建立模型模型页面基本操作用模型设计数据库并导出结构、数据导入导出导出导入附属小功能刷新小按钮查看操作对应
suwanbin·2019-08-25 18:00

impala的update用法

原文链接：http://impala.apache.org/docs/build/html/topics/impala_update.html更新声明（仅限Impala2.8或更高版本）更新Kudu表中的任意行数
她的吉他·2019-08-22 11:38

impala的update用法

原文链接：http://impala.apache.org/docs/build/html/topics/impala_update.html更新声明（仅限Impala2.8或更高版本）更新Kudu表中的任意行数
她的吉他·2019-08-22 11:38

Kudu与HBase的区别与联系

原文链接：https://blog.csdn.net/weixin_39478115/article/details/78470294背景今天面试，被问到了，Kudu与HBase的区别，说了几条，但我觉得答得还不是很好
汐朔·2019-08-15 23:21

kudu状态监控脚本

zabbix监控kudu主节点、从节点数量、表分布平衡情况的脚本：#!
穆如清风s·2019-08-15 09:49

Kudu 创建主键

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-08-09 23:48

Kudu-Java-api操作表(DDL)

目录背景创建表结构单主键设置联合主键设置删除表，添加删除字段背景如前面几篇文章所述，kudu的环境已经搭建好了，剩下就是对kudu-api的上手操作了。本次主要是创建表，添加，删除字段。
汐朔·2019-08-09 15:35

Spark2.4.0和Scala2.11集成Kudu1.8.0遇到的坑

最近做实时数仓用到了sparkstreaming和kudu两个组件，因为资料少得可怜，折腾了一番终于是搞定了，在这里记录下期间遇到的坑先通过Impala建张Kudu表createtablekudu_appbind_test
lzw2016·2019-08-08 16:43

spark程序打包为jar包，并且导出所有第三方依赖的jar包

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-07-31 12:47

kudu集群高可用搭建

首先咱得有KUDU安装包这里就不提供直接下载地址了（因为有5G，我的服务器网卡只有4M，你们下的很慢）这里使用的是CDH版本官方下载地址http://archive.cloudera.com/cdh5/
强行快乐~·2019-07-29 19:00

Cloudera Hadoop生态概要总结

通过批量加载处理（Sqoop)、流式实时传输（Flume、Kafka)将数据移入移出Hadoop;数据存储层：主要包括具有高批处理性的HDFS，具有高随机读写性的HBase，以及批处理性和随机读写性介于两者之间的Kudu
Anan_楠·2019-07-26 10:54

HIVE与HDFS进行数据导入导出操作

1.将HDFS文件导入到HIVE中1.1创建内部表createtableresult(user_idint,product_idint,ratingfloat)commend"saveuserinformation"rowformatdelimitedfieldsterminatedby',';loaddatainpath"/hadoop/input/result.csv"上面是是先创建一个表，然
幸运的Alina·2019-07-24 16:51

Kudu 的架构概述

Kudu的架构概述目录Kudu的架构概述体系结构概述Kudu的特点Kudu的概念和术语体系结构概述下图显示了一个Kudu集群，其中有三个主机和多个tabletservers，每个tabletserver
Seniscz·2019-07-23 23:24

Kudu 概述

Kudu概述Kudu是为ApacheHadoop平台开发的一个列存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:它运行在普通硬件上，可水平伸缩，支持高可用性操作。
Seniscz·2019-07-23 22:00

数据分析第二天--pandas DataFrame部分和数据导入导出

1.pandasDataFrame部分昨天讲了序列部分，今天来讲讲pandas的数据框，其实是昨天偷懒没写。环境还是一样，用spyder就好。概念数据框(DataFrame)用于存储多行和多列的数据集合，有点像Excel表格，它的不同列可以是不同的数据类型。定义一个数据框通过pandas的DataFrame函数通过字典来生成数据框，这个函数一般包含三个参数。pandas.DataFrame(dat
shelgi·2019-07-22 17:04

Kudu 分页查询的两种方式

Impala操作/读写Kudu，使用druid连接池Kudu原理、API使用、代码KuduJavaAPI条件查询spark读取kudu表导出数据为parquet文件（sparkkuduparquet）kudu
日萌社·2019-07-22 17:51

kudu - 单机版安装

官方文档/etc/kudu/conf/master.gflagfile--fs_wal_dir=/home/data/kudu/master/wal--fs_data_dirs=/home/data/kudu
PeersLee·2019-07-18 22:01

hive使用教程（2）--数据导入导出、查询与排序

一.向表中装载数据（Load）1．语法hive>loaddata[local]inpath'/opt/module/datas/student.txt'overwrite|intotablestudent[partition(partcol1=val1,…)];（1）loaddata:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表（3）inpath
BI罗·2019-07-09 12:04

StreamSets 实时同步mysql数据到kudu

StreamSets实时同步mysql数据到kudu初始化数据业务库下的表wm.admin_user_appwm.department1.在hive创建数据库;CREATEDATABASEzxl_db;
Shyllin·2019-07-05 16:58

Kudu：spark读取数据写入kudu通用方法

文章目录通用方法创建表并写入数据读取数据spark集成kudu的已知问题和限制Java方法调用kudu示例通用方法importorg.apache.spark.sql.
xuejianbest·2019-06-29 13:12

Sqlite -- 数据迁移备份--从低版本3.6.2到高版本3.8.6

引子：1，Sqlite在Windows、Linux和MacOSX上的安装过程2，嵌入式数据库的安装、建库、建表、更新表结构以及数据导入导出等等详细过程记录3，嵌入式数据库事务理解以及实例操作数据迁移一，
selectgo·2019-06-27 23:55

一款【免费+简单+好用+性能强大】的词云(Wordcloud)制作工具（含详细介绍）

先奉上链接https://www.wordclouds.com/文章目录免费的在线词云生成器数据导入导出选择图像分辨率查看单词列表调节字体大小保持画面平衡调整单词间距选择单词方向图像布局反转选择画面形状显示画面背景选择配色方案自定义颜色选择单词字体向导免费的在线词云生成器效果一览
Javy Wang·2019-06-27 17:23

一款【免费+简单+好用+性能强大】的词云(Wordcloud)制作工具（含详细介绍）

先奉上链接https://www.wordclouds.com/文章目录免费的在线词云生成器数据导入导出选择图像分辨率查看单词列表调节字体大小保持画面平衡调整单词间距选择单词方向图像布局反转选择画面形状显示画面背景选择配色方案自定义颜色选择单词字体向导免费的在线词云生成器效果一览
Javy Wang·2019-06-27 17:23

CDH kudu master 迁移和新增

目录一.CDHkudumaster新增流程一.首先对已经拥有的kudu1的master做准备工作二.为每个新主站执行以下准备步骤二.CDHkudu当msater节点宕机做master服务迁移一.对每个存活的
HarSenZhao·2019-06-27 16:38

greenplum数据导入导出

一、数据导入greenplum数据导入有五种方式：1.insert：通过sql直接插入数据2.copy：通过master节点加载，无法实现并行高效数据加载copytablenamefrom'/home/../test.cvs'withdelimiter',';3.外部表：创建外部表，然后插入数据4.gpload：外部表的封装通过编辑gpload控制文件test.yml完成导入gpload-ftes
shenghe_chen·2019-05-29 10:40

MongoDB常用命令

数据库连接开启远程访问：修改配置文件/etc/mongod.conf中bindIp:127.0.0.1为bindIp:0.0.0.0连接数据库：mongo数据库地址:端口/数据库名-u用户名-p密码数据导入导出导入数据库文件到集合
风吹我已散博客·2019-05-23 08:42

impala创建kudu表过程，并发时异常

1.环境impala版本2.11.0-cdh5.14.0，kudu版本2.11.0-cdh5.14.02.问题现象最近使用impala+kudu时遇到个问题，有个程序会定时通过jdbc来创建kudu表，
1032851561·2019-05-22 15:26

如何将jar包安装到本地maven仓库

maven仓库地址：https://mvnrepository.com/下载jar包maven安装jar包命令：org.apache.kudukudu-spark2_2.111.6.0-cdh5.14.0test
Demon_gu·2019-05-16 17:17

Kudu学习

Kudu与HbaseHbase是列族存储，一般情况下定义一个列族，然后列族中多个列，这样会更加接近于行存储，schema的定义比较宽松，可以随时添加列；Kudu是真正的列式存储，而且schema的定义比较严格底层的存储实现不同
Bitson·2019-05-09 14:51

Hive,Mysql,Sqoop安装使用数据导入导出

Hive简介Facebook开发构建与Hadoop之上的数据仓库，可以结构化数据文件映射为一张数据库表提供完整的SQL查询功能，将SQL语句转换为MapReduce任务进行适合静态数据分析，数据变化不频繁不支持记录级别的更新插入或者删除，不支持事务提供ETL数据提取转化加载，可以维护海量数据，对数据挖掘后形成任意报告表单HiveSQL和Mysql更接近分区表按照分区条件在表目录下将数据文件分类归档
宁缺100·2019-04-22 23:18

hive建库建表与数据导入，hql运行-hive内部表与外部表，分区表，数据导入导出（twenty-three day）

hive脚本化运行hql大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制：该机制的核心点是：hive可以用一次性命令的方式来执行给定的hql语句[root@hdp20-04~]#hive-e"insertintotablet_destselect*fromt_src;"然后，进一步，可以将上述命令写入shell脚本中，以便于脚本
高辉·2019-04-18 16:01

mysql数据导入导出命令备忘

mysql数据导入导出经常用到，但又经常忘，所以在网上找了个文章备忘一下原文来自http://blog.csdn.net/xin_yu_xin/article/details/7574662MySQLdump
cyxlzzs·2019-04-18 11:23

mysql数据导入导出命令备忘

mysql数据导入导出经常用到，但又经常忘，所以在网上找了个文章备忘一下原文来自http://blog.csdn.net/xin_yu_xin/article/details/7574662MySQLdump
cyxlzzs·2019-04-18 11:23
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他