Sqoop列式存储

【Ubuntu】Linux下Sqoop的安装配置

1、找到压缩包位置，解压2、创建软连接：ln-ssqoop-1.4.6.bin_hadoop-2.0.4-alphasqoop3、配置环境变量：vi/etc/profile4、用模板sqoop-env-template.sh
草莓味的风·2018-07-18 09:52

Sqoop全量数据导入、增量数据导入、并发导入 （Sqoop进阶）

Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。
bw_233·2018-07-17 20:37

mysql数据导入hive

利用sqoop将线上mysql表导入hive的模板代码如下：source/etc/profile;sudo-uflightdevsqoopimport\--connectjdbc:mysql://127.0.0.1
meihao5·2018-07-17 17:19

oozie中调度sqoop

创建目录sqoop，以下所有目录和文件都放在sqoop目录下。
乱纪元也不脱水·2018-07-17 16:42

大数据技术之sqoop（二）

四、Sqoop的简单使用案例4.1、导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。
Zoin·2018-07-17 13:09

大数据技术之sqoop（一）

一、Sqoop简介ApacheSqoop(TM)是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
Zoin·2018-07-17 13:49

Hadoop学习（十八）——sqoop原理及案例

我的公众号为：livandata1.1概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工
livan1234·2018-07-16 23:28

使用 Binlog 和 Canal 从 MySQL 抽取数据

市面上已有多种成熟的、基于SQL查询的抽取软件，如著名的开源项目ApacheSqoop，然而这些工具并不支持实时的数据抽取。MySQLBinl
rolin-刘瑞·2018-07-16 16:02

数据转换工具Sqoop学习笔记

（导入导出是相对于HDFS）1.大数据Hadoop2.x协作.框架的功能2.Sqoop使用要点（核心）及企业版本讲解所以我们就使用CDH的发行版本，而不使用apache的。
无籽西瓜吃吗·2018-07-15 22:41

Sqoop Mysql导入到HDFS

导入test数据库sqoop表到指定目录参数：--target-dir/directory1例：sqoopimport--connectjdbc:mysql://node1:3306/test--usernameroot
一只土肥圆的猿·2018-07-13 11:24

时序数据库技术体系 – 初识InfluxDB

12-08在上篇文章《时序数据库体系技术–时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑，其中OpenTSDB基于HBase对维度值进行了全局字典编码优化，Druid采用列式存储并实现了
gongpulin·2018-07-12 22:56

Sqoop安装和导入导出

概述Lateststablereleaseis1.4.7(download,documentation).LatestcutofSqoop2is1.99.7(download,documentation
黑暗行动·2018-07-12 16:45

Sqoop 1.4.7 Java 开发

Java1.8+Sqoop1.4.7本文主要是备注，最近在做这方面的工作，发现网上的文档比较少，mark下。
小生丶无暇·2018-07-11 13:06

Sqoop导出模式——全量、增量insert、更新update的介绍以及脚本示例

背景信息SQOOP支持直接从Hive表到RDBMS表的导出操作，也支持HDFS到RDBMS表的操作，当前需求是从Hive中导出数据到RDBMS，有如下两种方案：Ø从Hive表到RDBMS表的直接导出：该种方式效率较高
汀桦坞·2018-07-10 20:08

Hadoop操作手册

第一章简介在hadoop之上的流行项目HivPigSqoopFlumeOozieWhirrHBaseZooKeeperHCatalog第二章HDFS大型存储区域网络(StorageAreaNetworkSAN
hixiaoxiaoniao·2018-07-10 11:11

如何避免sqoop执行job时让输入密码

执行如下命令时让输入db的密码：sqoopjob--execjobname在sqoop-site.xml文件中设置：sqoop.metastore.client.record.password=truesqoop-site.xml
乱纪元也不脱水·2018-07-09 15:38

Ambari2.6安装部署Hadoop2.7

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。
三杯水·2018-07-09 11:49

7.2 Sqoop2示例数据从PostgreSQL导入到HDFS

7.2Sqoop2示例数据从PostgreSQL导入到HDFS“卜算子·大数据”一个开源、成体系的大数据学习教程。
王小雷-多面手·2018-07-08 16:30

SQOOP 导出Hive数据到MySQL

基本知识：Sqoop导出的基本用法：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4的10.sqoop-export内容摘要
汀桦坞·2018-07-08 12:52

【Sqoop】数据转换工具Sqoop

1、Sqoop概述HiveQL对数据进行分析，并将结果集存储到hdfs文件或hive表中，当前端需要使用数据处理的结果时，需要将结果集导出到RDBMS中，而Sqoop就是将常用的MapReduce（数据导入导出
魏晓蕾·2018-07-07 23:44

Flume 基础知识

大数据常用数据处理框架graphLR实时流数据采集-->flume,kafka实时流数据处理-->spark,storm实时数据查询处理-->impala批数据导入导出-->Sqoop批数据查询处理--
袭明君008·2018-07-06 17:25

Sqoop工具的使用和详解

Sqoop是用来进行数据导入导出的工具，一般用在hadoop这个框架中，常用的应用场景有将mysql数据库中的数据导入HDFS或者Hive、Hbase，或者从后者中导出到关系型数据库中，下面将进行几段代码的演示导入和导出的过程
kangaroojie·2018-07-05 17:23

搭建Sqoop, Hive和Mysql之间数据导入

经过一下午的努力，终于实现了Sqoop，在Hive和Mysql之间互相导入数据（表）前期准备：Hapood平台、Zookeeper、Hbase、Hive都安装好。
Mafeng-allen·2018-07-05 14:49

sqoop导入数据中含有\t、\n等的解决方法

sqoop从mysql导入到hive的命令如下：sqoopimport--connectjdbc:mysql://serveraddress:3306/test --usernameroot--passwordpwd123456
乱纪元也不脱水·2018-07-05 10:08

Sqoop导入增量数据

使用sqoop导入增量数据.核心参数--check-column用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系行数据库中的自增字段及时间戳类似这些被指定的列的类型不能使用任意字符类型
菜鸟级的IT之路·2018-07-04 21:43

Sqoop面试题收集

如何理解sqoopsqoop导入导出hive，mysql出现的问题1.从mysql导入到Hive出现数据带入错误：当字段中存在输入tab键，会被hive识别多创建一条字段。
菜鸟级的IT之路·2018-07-04 20:44

Sqoop基本语法简介

1.查看命令帮助[hadoop@hadoop000~]$sqoophelpusage:sqoopCOMMAND[ARGS]Availablecommands:codegenGeneratecodetointeractwithdatabaserecordscreate-hive-tableImportatabledefinitionintoHiveevalEvaluateaSQLstatementa
盛开的鲜花·2018-07-04 16:32

Sqoop基本语法简介

简介：本篇文章主要介绍sqoop的基本语法及简单使用方法。
wangkunj·2018-07-04 16:32

sqoop知识点总结(全)

1、概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
且听_风吟·2018-07-03 23:16

Sqoop简介及安装部署

简介：ApacheSqoop是专为ApacheHadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。
wangkunj·2018-07-03 16:40

最新Hadoop大数据学习路线分析及Hadoop生态架构技术

最新Hadoop大数据学习路线分析及Hadoop生态架构技术简介关于Hadoop，本文主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper
csdnzoutao·2018-07-03 11:59

使用sqoop将数据从mysql导入hive遇到的问题

问题1：java.lang.ClassNotFoundException:org.json.JSONObject错误16/06/0708:49:01WARNmanager.MySQLManager:Itlookslikeyouareimportingfrommysql.16/06/0708:49:01WARNmanager.MySQLManager:Thistransfercanbefaster!
乱纪元也不脱水·2018-07-03 10:56

sqoop2的安装

sqoop1.解压tar-zxvfsqoop-1.99.7-bin-hadoop200.tar.gz2.修改hadoop中的core-site.xmlhadoop.proxyuser.sqoop2.hosts
Hugh__Hu·2018-07-02 19:18

Parquet与ORC：高性能列式存储格式

级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式
cjlion·2018-07-02 14:42

sqoop将hive中数据导入mysql（实例讲解）

假设这样一个场景：数据已经导入hive（hive实例讲解看这里），现在要把hive中数据库导入出到（mysql）关系型数据库中，这里使用的工具是sqoop(sqoop详细讲解看这里)。该怎么处理呢？
Saint-at-home·2018-07-02 13:08

Spark sql执行流程

列式存储的类RDD（DataSet/Dat
cjlion·2018-07-01 21:56

sqoop从hive、hdfs导入导出数据（mysql）

背景：sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到
hh_666·2018-06-30 17:07

Sqoop导入导出数据

Sqoop安装部署sqoop相关配置测试Sqoop从mariadb导入到HDFS从HDFS导出到mariadb从mariadb导入HBase从HBase导出到mariadb从mariadb导入Hive从
BigData_Hadoop·2018-06-29 17:58

sqoop通过创建job实现自动化定时增量导入

笔者目前用sqoop把mysql数据导入到Hive中，最后实现命令行导入，sqoop版本1.4.7，实现如下sqoopjob--import--connectjdbc:mysql://10.4.20.93
feixue2013·2018-06-29 15:47

Sqoop 一些常用命令及参数

1、常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。
JokerDa·2018-06-29 00:31

【Hive】HiveQL实战之分析函数&窗口函数

本篇主要介绍将存储到Mysql的示例数据库Sakila以Sqoop的方式导入到Hive，然后详细讲解Hive的分析函数和窗口函数。
Alen_Liu_SZ·2018-06-28 16:25

【Sqoop1】Sqoop1实战之Sqoop Job

前面两篇主要演示了Sqoop1进行数据的导入和导出，本篇主要演示如何使用Sqoop1对导入和导出任务创建Job。
Alen_Liu_SZ·2018-06-27 18:02

sqoop实例操作及详细参数解析

1、MySQL数据库中的数据导入到Hadoop的HDFS：使用命令：$sqoopimport$sqoop-import示例：$sqoopimport\--connectjdbc:mysql://localhost
Saint-at-home·2018-06-27 17:29

使用Sqoop从MySQL导入数据到HBase和hive(转载）

有时候需要将mysql的全量数据导入到hive或者hbase中,使用sqoop是一个比较好用的工具，速度相对来说比较快。mysql的增量数据在用其他方法实时同步。
Josonli123·2018-06-26 17:16

mySQL and sqoop for ubuntu

数据的导入导出——MySQL&sqoopinUbuntu1.完成搭建hadoop集群2.安装MySQLsudoapt-getinstallmysql-servermysql-clientsudoapt-getupdate
YuQiao0303·2018-06-26 15:00

Sqoop简介与安装

Sqoop简介ApacheSqoop(TM)是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
JokerDa·2018-06-26 00:56

【若泽大数据实战第二十天】Sqoop-1.4.6-cdh5.7.0.tar.gz安装 + Sqoop help

Sqoop安装1下载1.下载地址http://archive.cloudera.com/cdh5/cdh/5/2.环境sqoop-1.4.6-cdh5.7.0.tar.gz版本2上传到linux上，并解压
强悍de巨人·2018-06-25 12:40

2.3 基于IDEA开发第一个MapReduce大数据程序WordCount

Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oozie、f
王小雷-多面手·2018-06-24 15:22

spark 读取parquet

列式存储布局（比如Parquet）可以加速查询，因为它只检查所有需要的列并对它们的值执行计算，因此只读取一个数据文件或表的小部分数据。Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。
瓦力冫·2018-06-22 19:05

Sqoop错误retries get failed due to exceeded maximum allowed retries number

现象执行sqoop命令时报以下warning，但sqoop抽数功能不受影响。
post_yuan·2018-06-22 13:23
上一页 64 65 66 67 68 69 70 71 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他