Sqoop列式存储

hive的存储格式及压缩

行式存储与列式存储行式存储特点：保证一条记录里面的所有字段能够存放在同一个hdfs的block里优点：当查询所有(select*fromtbname)时，能直接查询出来缺点：不同列的字段类型不同，压缩性能差
5xh·2019-04-16 22:49

hadoop学习之旅1

，对应出现了Sqoop，Cammel，Datax等工具。数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等
weixin_30652897·2019-04-16 10:00

用Sqoop进行Hive和MySQL之间的数据互导

createtableanticheat_blacklist(useridvarchar(30)primarykey,dtint,update_timetimestamp,delete_flagint,operatorvarchar(30));全量导出用sqoopexport
XIAO的博客·2019-04-15 20:00

sqoop1和sqoop2安装配置

自己去官网上看userguide,可有效解决问题：http://sqoop.apache.org/一、sqoop1,sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz安装配置
wisdom_power·2019-04-15 15:44

sqoop1和sqoop2安装配置

自己去官网上看userguide,可有效解决问题：http://sqoop.apache.org/一、sqoop1,sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz安装配置
wisdom_power·2019-04-15 15:44

sqoop将mysql数据导入hbase、hive的常见异常处理

原文链接：http://www.cnblogs.com/baixianlong/p/10700700.html原创不易，如需转载，请注明出处https://www.cnblogs.com/baixianlong/p/10700700.html，否则将追究法律责任！！！一、需求：1、将以下这张表（test_goods[id,goods_name,goods_price]）数据导入Hbase由此，编写
amb7212·2019-04-13 12:00

sqoop将mysql数据导入hbase、hive的常见异常处理

一、需求：1、将以下这张表（test_goods[id,goods_name,goods_price]）数据导入Hbase由此，编写如下sqoop导入命令sqoopimport-Dsqoop.hbase.add.row.key
会炼钢的小白龙·2019-04-13 12:00

黑猴子的家：谈一谈我对 Linux 的了解

1、开源的力量Linux是开源的，我们已经用过的开源软件有Jdk、mysql、Hadoop、Zookeeper、Hive、Sqoop、Flume、HBase、Oozie、Hue、Spring、SpringMVC
黑猴子的家·2019-04-12 14:49

黑猴子的家：谈一谈我对 Linux 的了解

1、开源的力量Linux是开源的，我们已经用过的开源软件有Jdk、mysql、Hadoop、Zookeeper、Hive、Sqoop、Flume、HBase、Oozie、Hue、Spring、SpringMVC
黑猴子的家·2019-04-12 14:00

Clickhouse 入门教程（一）—— 安装与启动

2.2.2rpm包安装三、Clickhouse启动与验证一、Clickhouse简介Clickhouse是一个开源的面向联机分析处理（OLAP,On-LineAnalyticalProcessing）的列式存储数据库管理系统
magicpenta·2019-04-10 20:25

Apache NiFi 与Falcon/Oozie异同

Falcon/OozieVsNiFi异同：同：都可以与外部RDBMS数据源进行连接获取数据（Falcon/Oozie使用Sqoop）都可以将数据存储在HDFS中都能够运行Hive查
HelloWide·2019-04-10 20:35

新手入门大数据，大数据的入门！！！认识大数据

一、数据采集与预处理FlumeNGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban
数据小二·2019-04-10 18:56

Hive案例：根据日志统计某网站每天每小时的PV和UV流量

1.前言需求：统计每天24小时每个时段的PV和UV的数量主要使用Hive查询，Sqoop导出到MySQLPV：PageView一条url就算一次UV：UniqueView一个用户只算一次2.环境准备操作系统
樊领·2019-04-10 13:48

大数据-Hive

提供了命令行工具和JDBC驱动程序以将用户连接到Hive特点优点（1）操作接口采用类SQL语法，简单、快速（2）可以替代MapReduce程序，sqoop（3）可以处理海量数据（4）支持UDF，自定义函数缺点
JP-Destiny·2019-04-09 22:07

Apache Sqoop Cookbook 中文翻译

ApacheSqoopCookbook官方文档中文翻译1-2Chapter1开始1.4.开始使用Sqoop1.5.获取Sqoop帮助Chapter2导入数据2.1.全表传输2.2.指明目标目录2.3.导入数据子集
双人旁微灬凉·2019-04-09 12:01

大数据学习路线（完整详细版）

大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
qq_25889465·2019-04-08 23:16

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的对比）

综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式
夜古诚·2019-04-06 16:18

HBase面试题

(1)Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。
脚丫先生·2019-04-04 22:34

Sqoop export 导出推数详解

前言因为工作上用到sqoop从hive导出数据到关系型数据库，所以学习了下sqoop导出的具体功能，因除官网外（全英文，可能部分人不喜欢看英文），没有特别好的资料，在此整理总结下自己关注的一些东西。
Sin_Geek·2019-04-03 09:00

搭建大数据集群架构Hadoop+Hive+Hbase+Spark+Zookeeper+Phoenix+Sqoop+Flume+Kafka+Azkaban

大数据集群搭建目录概叙41.1引言41.2集群拓扑图51.3整体架构图51.4设备选型61.5版本选择61.6功能分布7集群基础配置72.1修改主机名72.2hosts主机名IP映射文件修改72.3关闭防火墙82.4配置免秘钥SSH82.5Jdk安装82.6Mysql安装8集群组件配置93.1Hadoop配置93.1.1core-site.xml93.1.2hdfs-site.xml93.1.3m
HelloNBA·2019-04-01 16:25

【大数据学习笔记】sqoop

1、简介将关系型数据库与hadoop数据进行转换的工具官网文档地址：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html我用的是1.4.6版本，集群使用
hellboy0621·2019-04-01 15:29

Apache Sqoop Hive导出到MySQL

1.目标库MySQL相关参数1）连接配置--connectjdbc:oracle:thin:@//10.xx.xx.xxx:1521/orcl--usernamebdas--passwordxxx2）表的配置--tablexxx2.hive参数配置1）基本配置--export-dir/user/hive/warehouse/dm.db/t_prc_video_join_count#hive的表在h
猫君之上·2019-04-01 10:53

MYSQL数据仓库Infobright

高效查询主要依赖特殊设计的存储结构（列式存储）对查询的优化。测试：图1图1两张相同的表里面都储存了2300W数据,19列数
_陆春阳_·2019-03-31 01:34

浅谈数据同步之道

1、SqoopApacheSqoop是一种工具，用于在Apac
隐峯·2019-03-30 19:00

Sqoop

刚开始看《大数据知识体系讲解》，Sqoop一直在用，却没有好好了解过，Mark一下概念sqltoHadoop,关系型数据库与hdoop之间的数据ETL工具,支持全量和增量更新git地址：https://
点点渔火·2019-03-30 00:20

Sqoop全量增量将数据从SqlServer/MySQL导入HDFS/Hive，再从HDFS/Hive导出到数据库最全总结

最近总结了很全的sqoop应用，有以下内容1.SqlServer/MySQL全量增量导入HDFS/Hive，2.HDFS导入hive3.hdfs导出到SqlServer/MySQL4.hive导出到hdfs5
qq_36881881·2019-03-29 12:19

Sqoop葵花宝典

Sqoop葵花宝典基于Sqoop1.x场景导入流程graphLRA[RDBMS]-->|Sqoop|B(Hive)导出流程graphLRA[Hive]-->|Sqoop|B(RDBMS)字段说明字段MySQL
bener·2019-03-27 16:00

Sqoop增量同步Oracle数据到hive：merge-key再次详解

对于sqoop增量同步Oracle数据到hive的命令参数以及如何定制自动增量job的测试已经再前面几篇文章详细测试过了，连接：1、sqoop避免输入密码自动增量job脚本介绍这篇文章是基于上面连接的文章继续做的拓展
赵延东的一亩三分地·2019-03-25 19:13

大数据工程师学习路线_大数据工程师初级到高级

大数据工程师大数据学习路径中会学习并实践Java、Scala、Hadoop、HBase、Mahout、Sqoop及Spark等大数据技术，本路径通过大量的动手实验，在实验数据集上实践各种大数据工具，帮助你成长为具备动手能力的大数据工程师
铁拳虎·2019-03-23 16:31

Sqoop增量同步mysql/oracle数据到hive(merge-key/append）测试文档

上一篇文章介绍了sqoop全量同步数据到hive，同时上一篇文章也给出了本人写的hadoop+hive+hbase+sqoop+kylin的伪分布式安装方法连接，上篇文章连接：Sqoop全量同步mysql
赵延东的一亩三分地·2019-03-22 10:51

使用sqoop从hive导入oracle报错

/bin/bashsqoopexport--connectjdbc:oracle:thin:@//10.10.10.10:1521/DB--usernameuser--password123456--tableDB.TT_REPAIR_PART-m4
lhxsir·2019-03-20 19:27

SQOOP 解决import时字段为NULL值的情况

阅读更多想必有些朋友刚开始接触sqoop时，在从mysql(或者别的RDBMS)导入数据到hdfs后会发现原来在mysql中字段值明明是NULL,为什么到hive查询后wherefieldisnull会没有结果呢
zhaomengsen·2019-03-19 10:00

Oracle通过sqoop同步数据到hive

一、介绍将关系型数据库ORACLE的数据导入到HDFS中，可以通过Sqoop、OGG来实现，相比较ORACLEGOLDENGATE，Sqoop不仅不需要复杂的安装配置，而且传输效率很高，同时也能实现增量数据同步
赵延东的一亩三分地·2019-03-19 10:14

Sqoop全量同步mysql/Oracle数据到hive

前面文章写了如何部署一套伪分布式的handoop+hive+hbase+kylin环境,也介绍了如何在这个搭建好的伪分布式环境安装配置sqoop工具以及安装完成功后简单的使用过程中出现的错误及解决办法，
赵延东的一亩三分地·2019-03-19 10:52

sqoop全增量导出到mysql

insertoverwritedirectory‘/user/root/export/test’rowformatdelimitedfieldsterminatedby‘,’STOREDAStextfileselectF1,F2,F3from;SQOOP
qq_15875901·2019-03-18 16:29

sqoop1.4.7的安装及使用(hadoop2.7环境)

一、sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle
赵延东的一亩三分地·2019-03-18 14:53

大数据项目怎么写

2.sqoop数据迁移工具，从RDBM迁移到Hadoop集群。3.前期的测试时直接从甲方拿的硬盘，系统开发完成后，专门派人过去做实施。4.ftp传输，慢。实时性强
Hdmtc123·2019-03-18 01:59

sqoop常用命令

测试数据库连接bin/sqooplist-databases--connectjdbc:mysql://hdp20-04:3306/app--usernameroot--passwordrootsqoopcreate-hive-table
呼和浩特-大数据-白胖子·2019-03-16 20:08

sqoop实战练习

安装，不必多说，上次服务器，解压即可操作数据库需导入支持jar包，eg：本次操作mysql，把mysql的jar包放到lib文件夹中测试sqoop与mysql是否互通测试数据库连接测试数据库连接bin/
呼和浩特-大数据-白胖子·2019-03-16 20:11

sqoop从hive导出到mysql数据缺失的解决方法

1，hive创建表的语句CREATETABLE`olympic_data`(`name`string,`age`int,`state`string,`year`string,`date`string,`project`string,`gold`int,`silver`int,`bronze`int,`total`int)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t
总分全班倒数第一·2019-03-16 20:44

sqoop数据迁移 mysql导入Hive hive导出到mysql

导入模板sqoopimport\--connectjdbc:mysql://ip:3306/test\--usernameroot\--password123456\--tableusers\--fields-terminated-by
jeffrey_ding·2019-03-15 15:10

Sqoop的安装配置

-----------------------------------------------------------------Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。
With__Sunshine·2019-03-14 16:05

BigData-18：Kafka

概述离线部分：Hadoop->离线计算(hdfs/mapreduce)yarnzookeeper->分布式协调（动物管理员）hive->数据仓库（离线计算/sql）easycodingflume->数据采集sqoop
feiyanaffection·2019-03-13 15:39

sqoop使用以及常见问题

1、hdfs文件的权限问题问题分析与解决：根据报错信息是hdfs文件的权限问题，命令进入集群执行的用户为null，而hdfs文件所有者为hdfs。要么以用户hdfs执行命令，要么调整hdfs文件的权限，因为我只是使用hdfs文件的其中之一，暂时考虑：以hdfs用户执行命令。在~/.bash_profile文件增加：exportHADOOP_USER_NAME=hdfs2、文件格式问题hiveseq
jeffrey_ding·2019-03-13 11:10

sqoop抽取数据到hive上

sqoop在抽取数据到hive上的时候首先要建立hive内部表hive启动命令：$HIVE_HOME/bin/hivehive退出命令：quit;hive新增字段：altertableoutpatient_drugaddcolumns
计划式·2019-03-13 08:26

Sqoop基础

一、Sqoop介绍场景：数据在RDBMS中，我们如何使用Hive或者Hadoop来进行数据分析1）RDBMS==>Hadoop2）Hadoop==>RDBMS传统解决办法：MapReduceInputFormatOutputFormat
HBinz·2019-03-07 20:43

004 Kudu | Cfile解读

介绍Cfile是磁盘上的列式存储文件格式，包含了数据部分以及对应的b-tree索引。在Kudu的一个DiskRowSet中，每一个列和其对应的多个Deltafile映射成一个单独的cfile。
__destory__·2019-03-07 17:49

sqoop将mysql数据导入hdfs和hive学习笔记

#安装好以后将mysql驱动mysql-connector-java-5.1.21-bin.jar放到sqoop安装目录的lib下面一、将mysql数据导入hdfs，命令如下：[root@masterbin
nuc2015·2019-03-07 10:42

数据传输工具-Sqoop

一、背景在实际开发场景中，数据需要在Hadoop和关系型数据库之间来回传输，可以使用Sqoop工具来实现。
cigg153·2019-03-07 00:40

Sqoop的介绍(导入导出原理)

1.sqoop的介绍（1）介绍：Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。  
qichangjian·2019-03-04 14:48
上一页 58 59 60 61 62 63 64 65 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他