Sqoop列式存储

Azkaban三种模式部署

如ETL的过程，Sqoop在凌晨1点从RDBMS中抽取数据(E)，在凌晨2点用Hadoop或Spark转换数据(T)，在凌晨3点用Sqoop再把结果数据加载(L)进RDBMS或NOSQL,假设没有Azkaban
wangpei1949·2018-03-11 23:53

Linux系统下安装sqoop

Linux系统版本：CentOSsqoop版本：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz1.安装准备下载sqoopjar包https://pan.baidu.com/s/
研途路·2018-03-08 17:35

Parquet介绍及简单使用

==>什么是parquetParquet是列式存储的一种文件类型==>官网描述：ApacheParquetisacolumnarstorageformatavailabletoanyprojectintheHadoopecosystem
菜鸟的征程·2018-03-08 00:13

mac环境 安装和使用sqoop

1.安装和配置brewinstallsqoopsqoopversioncd/usr/local/Cellar/sqoop/1.4.6/libexec/confcpsqoop-env-template.shsqoop-env.shvimsqoop-env.shexportHADOOP_HOME
maxmao1024·2018-03-08 00:11

Sqoop增量导入实战

在实际的生产环境下,我们常常是要继续数据增量的导入核心参数–check-column用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系型数据库中的自增字段及时间戳类似.注意:这些被指定的列的类型不能使任意字符类型，如char、varchar等类型都是不可以的，同时–check-column可以去指定多个列–incremental用来指定增量导入的模式，两种模式分别为
a280966503·2018-03-07 13:45

真实测试：基于Hive存储格式对存储性能及查询性能的影响引发的hive调优思考

理论基础一、大数据领域的行式存储与列式存储1、行式存储：hdfs上一个block存储一或多行数据。按行压缩，压缩性能受字段类型影响。
Mr_249·2018-03-06 20:55

hadoop（十九）—Sqoop数据清洗

上节课学习了Hadoop集群测试，这节课我们一起学习一下Sqoop，Sqoop是专门用来迁移数据的，它可以把数据库中的数据迁移到HDFS文件系统，当然也可以从HDFS文件系统导回到数据库。
文子轩·2018-03-03 23:19

Azkaban 3.X 概述&编译&部署&简单使用

大数据场景中调度的作用：以ETL为例大数据场景中，较为常见的一个ETL流程：RDBMS===Sqoop===>Hadoop==Sqoop==>RDBMS/NoSQL/…完成上述场景需要经历3个过程：数据抽取
疯狂呼呼呼·2018-03-01 11:29

Sqoop安装和简单使用

下载sqoop因为官方并不建议在生产环境中使用sqoop2，即1.99.7，所以这里我用的是sqoop1,即1.4.7点击下载：http://mirror.bit.edu.cn/apache/sqoop
百里香香·2018-02-27 16:56

sqoop 基础

Sqoop产生背景1)RDBMS==>Hadoopfile==>loadhiveshell==>file==>HDFSMapReduce:DBInputFormatTextOutputFormat2)Hadoop
wjl7813·2018-02-26 23:50

Sqoop的使用

1，什么是Sqoopsqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
super_wing·2018-02-23 19:41

sqoop job 作业

sqoopjob\--createfirstJob\--import\--connectjdbc:mysql://mini1:3306/emp_db\--usernameroot\--passwordroot
guohan_solft·2018-02-17 15:45

不使用Sqoop流程，利用CacheManager直接完成SparkSQL数据流直接回写Oracle

以前都是使用Sqoop来完成数据从生成的hdfs数据存储上来抽取至oracle的数据库：sqoop抽取语句：sqoopexport--connect"jdbc:oracle:thin:@ip:port:
Rawirm·2018-02-11 14:53

sqoop2(1.99.4)的使用和简单运维

sqoop安装见文：sqoop2（1.99.4）的安装sqoop-shell熟悉启动sqoopserver服务bin/sqoop.shserverstart进入sqoop-shellbin/sqoop2
chanson_22·2018-02-08 13:42

sqoop报错：java.io.IOException: SQLException in nextKeyValu

sqoop从mysql导数据到hive的时候，报错：java.io.IOException:SQLExceptioninnextKeyValueatorg.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue
WTFibo·2018-02-07 19:35

开源大数据周刊-第14期

数据指标的量化、大数据平台建设的选型；性能优化相关：hive、hbase、jvmgc的优化；阿里云E-Mapreduce动态E-Mapreduce团队1.4版本（正在发布）:作业运行失败报警作业并行提交添加sqoop
aliyun32183·2018-02-05 10:41

开源大数据周刊-第15期

阿里云E-Mapreduce动态E-Mapreduce团队1.4版本（已经发布）作业运行失败报警作业并行提交添加sqoop、shell类型的作业1.4.1版本（正在研发）完善失败报警完善定时任务，增加小时
aliyun32183·2018-02-05 10:03

开源大数据周刊-第16期

阿里云E-Mapreduce动态E-Mapreduce团队1.4版本（已经发布）作业运行失败报警作业并行提交添加sqoop、shell类型的作业1.4.1版本（正在研发）完善失败报警完善定时任务，增加小时
aliyun32183·2018-02-05 10:24

开源大数据周刊-第17期

大数据数据官，数据科学，StructuredStreaming、提高25倍性能的hive阿里云E-Mapreduce动态E-Mapreduce团队1.4版本（已经发布）作业运行失败报警作业并行提交添加sqoop
aliyun32183·2018-02-05 10:06

开源大数据周刊-第22期

摘要：本周关注：大数据部门、数据科学家、机器学习发展与机遇、spark2.0StructuredStreaming、Hbase运维、Sqoop、Flink的第一本书籍。
aliyun32183·2018-02-05 10:11

hive的orc格式详解

orc是列式存储结构，（关系型数据库大多用的是行式存储），由于列式数据数据库在扫
敲码的汉子·2018-02-03 11:03

hive的orc格式详解

orc是列式存储结构，（关系型数据库大多用的是行式存储），由于列式数据数据库在扫
敲码的汉子·2018-02-03 11:03

sqoop操作之Oracle导入到HDFS

导入表的所有字段sqoopimport--connectjdbc:oracle:thin:@192.168.1.100:1521:ORCL\--usernameSCOTT--passwordtiger\
JHON07·2018-01-31 00:17

阶段总结

这两个月的时间，学习了MySQL和Hadoop还有Hadoop的一些组建包括hive和sqoop，遗憾的是没有接触到flume。收获很多，大体上在hive方面更加深入了一些。
逗点儿·2018-01-30 13:37

sqoop增量导入

sqoop的增量导入分为多种模式，有append和lastmodified两种模式。
逗点儿·2018-01-28 14:55

利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中

测试：利用oozie，执行sqoopaction将DB2中的数据导入到hive分区表中。需要注意的地方：1，要添加hive.metastore.uris这个参数。否则无法将数据加载到hive表中。
白话·2018-01-26 16:19

Hue + Oozie + Sqoop 使用

有个刚接触的人不知道的是，Oozie自带sqoop、hive等常用组件，比如执行sqoop脚本命令时，并不是你主机里或者CDH里的的sqoop，而是HDFS下Oozie里的sqoop在起作用，这也是为什么总是报
afunyusong·2018-01-26 10:36

Sqoop的Append和Lastmodified

Lastmodified和Append模式的区别：Append模式处理不了更新数据，而Lastmodified模式可以Append支持动态增加不支持修改sqoopimport\--connectjdbc
帅气的程序员·2018-01-25 16:40

Centos7制作Ambari本地源并安装

就Ambari的作用来说，就是创建、管理、监视Hadoop的集群，但是这里的Hadoop是广义，指的是Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不仅是特指
跟着大数据和AI去旅行·2018-01-24 22:25

基于ambari搭建hadoop生态圈大数据组件

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。
Mr_Luffy·2018-01-22 14:42

大数据学习路线（完整详细版）

java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,
符智生·2018-01-20 12:00

Sqoop常用操作命令

sqoop的所有操作脚本在$SQOOP_HOME/bin目录下sqoop脚本1、[hadoop@hadoop001bin]$sqoopWarning:/home/hadoop/apps/sqoop-1.4.6
Mr_249·2018-01-19 00:00

Sqoop概念及安装配置

1、sqoop在hadoop中应用较多，由于spark有外部数据源的概念，故spark中不太使用sqoop。   
Mr_249·2018-01-18 15:09

利用Sqoop把Oracle数据迁移到HDFS、Hive

一、利用Sqoop，从Oracle到HDFS第一步：把Ora
twscust·2018-01-17 15:07

Sqoop导入数据到HDFS中（大数据存储系统）

环境准备:h15机器，mysql使用h15的，不用h17的mysql配置hive的环境变量和hadoop的环境变量注意：(1)一定要配置HADOOP_HOME和HIVE_HOME(2)和flume相似，要将sqoop
三万_chenbing·2018-01-16 11:31

sqoop的基本语法详解及可能遇到的错误

0sqoop介绍ApacheSqoop是专为ApacheHadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。
爆发的~小宇宙·2018-01-15 21:54

Sqoop1 详细使用和避坑指南

经过这么几天的折腾，发现Sqoop1真的比Sqoop2方便好用的多，Sqoop2坑真是太多了，搞不定。Sqoop1坑少也稳定，但是零基础使用过程中也是有几点需要注意的。
afunyusong·2018-01-15 15:53

Sqoop2 使用

Sqoop2的安装与使用使用Sqoop从MySQL导入数据到Hive和HBase及近期感悟SqoopUserGuide问题1：java.lang.NoClassDefFoundError:org/codehaus
afunyusong·2018-01-12 11:59

sqoop export推送案例

#!/bin/bash#ora数据库参数url=jdbc:oracle:thin:@17.16.1.1:1521:orcluid=odspwd=xxxxxxtable_name=S02_ASSET_PACKAGE_T1#Hive_hdfshdfs_url=/apps/hive/warehouse/ods.db/s02_asset_package_t1_fcolumns="ID,CODE,TARGE
sky_2021·2018-01-10 10:15

sqoop数据抽取 分区表的示例

--分区表#!/bin/bash#mysql表名tableName=t_sys_file#字段名columns=id,biz_field_name,biz_id,biz_table_name,bucket_name,content_type,created_date,disp_order_no,download_times,file_key,file_size,filename#hive-data
sky_2021·2018-01-10 10:31

sqoop数据抽取数据库密码加密

#创建hadoopcredentialcreatemysql.cock.passwd-providerjceks://hdfs/user/password/mysql.cock.passwd#删除hadoopcredentialdeletemysql.cock.passwd-providerjceks://hdfs/user/password/mysql.cock.passwd#示例数据库连接ha
sky_2021·2018-01-10 10:02

【大数据】自己动手做大数据系统（第一章 为什么要自己动手做大数据系统 第二章 项目背景及准备）

目录第一章为什么要自己动手做大数据系统第二章项目背景及准备目录第一章为什么要自己动手做大数据系统本书主要内容：第一章我们为什么我们要自己动手做大数据系统第二章介绍动手做大数据系统的项目背景、项目架构及相关基础知识第三章介绍大数据系统环境的搭建和配置，主要包括如何搭建和配置Hadoop集群、Sqoop
vmClaire·2018-01-06 14:39

【大数据】最新大数据学习路线（完整详细版，含整套教程）

大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
符智生·2018-01-05 20:06

【大数据】最新大数据学习路线（完整详细版，含整套教程）

大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
符智生·2018-01-05 20:06

Sqoop 数据导入多分区Hive解决方法

Sqoop数据导入多分区hive解决方法本节内容针对sqoop1，版本1.4.6sqoop自身支持直接抽取数据进入hive，同时支持单分区格式的hive表数据导入，命令如下：sqoopimport\--
taisenki·2018-01-04 18:20

sqoop import 从Oracle往Hadoop导数据报 Io exception: The Network Adapter could not establish the connection

一.问题描述在Hadoop集群的一个节点上用sqoopimport从Oracle取数据总报如下错误：17/12/2819:16:48INFOmapreduce.Job:TaskId:attempt_1512535288105
EVISWANG·2018-01-03 17:33

Mysql的分区表

因hive数据在20180101用sqoop同步到mysql的时候出错，最终查找原因发现是因为mysql中对应的表的分区没有建导致的，顺带研究下mysql的分区表mysql的分区表的概述mysql中分区表的定义
Samaritan_H·2018-01-02 17:52

利用sqoop实现oralce与hdfs之间相互导数据

oracle与hdfs数据交互（相互导数据）1、列出oracle数据库中的所有数据库sqooplist-databases--connectjdbc:oracle:thin:@10.0.0.1:1521
玄梦尚羲·2017-12-28 21:08

Using Sqoop 1.4.6 With Hadoop 2.7.4

本文主要描述Sqoop1.4.6的安装配置以及使用。
candon123·2017-12-28 16:54

Sqoop是做什么的

Sqoop是什么ApacheSqoop(TM)是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
GCH6969·2017-12-28 15:02
上一页 68 69 70 71 72 73 74 75 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他