Sqoop列式存储

利用pyhive将hive查询数据导入到mysql

在大数据工作中经常碰到需要将hive查询数据导入到mysql的需求，常见的方法主要有两种，一是sqoop，另一种则是pyhive。本文主要讲的就是python的pyhive库的安装与使用。
yaolong336·2018-05-25 16:49

Sqoop从Oracle导入一个大表（3亿）到Hive失败

大约3亿条记录SQL>SELECTcount(*)FROMINFO;COUNT(*)----------294239674SQL>导入Hive[root@node1sqoop-1.4.7]#bin/sqoopimport
程裕强·2018-05-25 15:54

Sqoop导入Oracle所有表，没有报错，但失败

1、导入到HDFS[root@node1sqoop-1.4.7]#bin/sqoop-import-all-tables--connectjdbc:oracle:thin:@node1:1521:ORA
程裕强·2018-05-24 16:14

Sqoop导入mysql所有表到HDFS

1、sqoop-import-all-tables导入多表[root@node1sqoop-1.4.7]#bin/sqoop-import-all-tables--connectjdbc:mysql:/
程裕强·2018-05-24 15:29

Sqoop导入Oracle数据表到Hive

1、问题1[root@node1sqoop-1.4.7]#bin/sqoopimport--connectjdbc:oracle:thin:@192.168.1.31:1521:users--tableFUND_INFO
程裕强·2018-05-23 22:10

apache-kylin 权威指南—读书笔记

需求：虽然像spark，hive等使用MPP大规模并行处理和列式存储的方式，可以将Hadoop的SQL查询提高到了分钟级别，但是仍然不能满足数据分析师的要求。在面对超大规模的数据集时，分析师不
dianqiulai2465·2018-05-23 11:00

sqoop 使用

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS
GameOverTryAgain·2018-05-23 11:15

Sqoop导入Oracle数据表到HDFS

1、问题[root@node1sqoop-1.4.7]#bin/sqoopimport--connectjdbc:oracle:thin:@192.168.1.100:1521:TPADC--usernametest
程裕强·2018-05-22 17:42

sqoop各类命令示范笔记

/**将mysql的表导入hdfs**/bin/sqoopimport\--connectjdbc:mysql://hdp-04:3306/userdb\--usernameroot\--passwordroot
RobertDowneyLm·2018-05-21 21:35

sqoop数据迁移工具

sqoop数据迁移工具1.1概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
RobertDowneyLm·2018-05-21 20:14

学习大数据

是啥，由哪些模块构成HBASE优缺点及应用changj与常用关系数据库对比如何操作hbase（shell,javaapi）高级特性：过滤器，协处理器，优化策略hbase相关工具的使用（phoenix和sqoop
云梦泽之曦·2018-05-21 17:53

往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解

当然也可以通过第三方工具如sqoop等将数据导入到hive当初。
牛大财有大才·2018-05-20 13:46

面试中必须要会的知识点

渠道分析媒体分析统一用户识别数据标签化用户上下文标签合并图计算再次合并标签把标签存入HBase，再次合并标签-->数据到了HBase以后，就到了精准营销部门2、项目中的知识点1）parquet文件存储（列式存储
匿名啊啊啊·2018-05-19 00:00

sqoop常用命令

命令：1、export：将hadoop数据文件导入到数据库中2、import：将数据导出到hadoop文件系统中参数解释：--connect数据库连接命令--username数据库用户名--password数据库用户密码--export-dir导入的hadoop文件（由hadoop导入到数据库）--target-dir导出的hadoop文件（由数据库导出hadoop）--table导入的数据库表名
Jay7925417·2018-05-17 15:09

sqoop将hadoop数据导入mysql数据库异常

在hadoop上生成数据文件后，想将数据通过sqoop导入到mysql数据库中，执行命令：.
Jay7925417·2018-05-17 15:21

使用sqoop api完成mysql到hadoop的导入

程序目的：从已有的mysql数据导入到hdfs中，使用java编程的方式减少安装sqoop本地环境的麻烦。
hackcoder·2018-05-16 10:39

记一次MR报错：Container is running beyond physical memory limits,Current usage...

背景：使用sqoop将业务系统的mysql表导出为Hive表，遇到如下错误（之前也遇到过，但没有记录，本次着重记录下）（集群为CDH5.13.0）1、详细错误记录注：从上往下慢慢看下去会有收获的！
深寒丶·2018-05-16 00:53

使用spark与MySQL进行数据交互的方法

例如，sqoop，MR，HSQL。我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。
卡搜偶·2018-05-14 16:04

hive to mysql

packageorg.admln.sqoop;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.SQLException
卡搜偶·2018-05-14 14:49

Sqoop常用命令及参数

常用命令列举序号命令类说明1importImportTool将数据导入到集群2exportExportTool将集群数据导出3codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jar4create-hive-tableCreateHiveTableTool创建Hive表5evalEvalSqlTool查看SQL执行结果6import-all-tablesImportAll
liangzelei·2018-05-14 10:07

数据采集引擎Sqoop和Flume

涉及到的知识点：Sqoop的安装和配置，及常用命令Flume的安装和配置，及使用Sqoop数据采集引擎Sqoop的特点：采集的是关系型数据库中的数据（批量）一般用于离线计算基于JDBC用于在OracleSqoopHDFS
cp_Mark·2018-05-13 15:48

Hadoop2.0集群、Hive工具、Zookeeper集群、Kafka集群、Spark集群、Hbase集群、Sqoop工具、Flume工具搭建总结（三）

七、Hbase集群-----------安装准备--------------------------------------首先，要有一个HDFS集群，并正常运行；regionserver应该跟hdfs中的datanode在一起其次，还需要一个zookeeper集群，并正常运行然后，安装HBASE角色分配如下：spark1:namenodedatanoderegionserverhmasterzo
脚丫先生·2018-05-11 23:07

Hadoop2.0集群、Hive工具、Zookeeper集群、Kafka集群、Spark集群、Hbase集群、Sqoop工具、Flume工具搭建总结（二）

四、Zookeeper集群搭建-------------安装ZooKeeper包-----------------------------1、将zookeeper-3.4.5.tar.gz使用WinSCP拷贝到spark1的/usr/local目录下。2、对zookeeper-3.4.5.tar.gz进行解压缩：tar-zxvfzookeeper-3.4.5.tar.gz。3、对zookeeper
脚丫先生·2018-05-11 23:09

Hadoop2.0集群、Hive工具、Zookeeper集群、Spark集群、Kafka集群、Hbase集群、Sqoop工具、Flume工具搭建总结（一）

1、使用的VirtualBox安装包，一步一步安装即可。2、之所以选用VirtualBox是因为它比VMWare更加稳定。使用VMWare运行hadoop集群或者spark集群时，有时会出现休眠后重启时，某些进程莫名挂掉的问题。而VirtualBox没有这种情况。3、之所以选择VirtualBox4.1版本，是因为更高的版本就不兼容win7了。一、Centos6.5集群搭建------------
脚丫先生·2018-05-11 22:30

Sqoop是什么

Sqoop是什么更多干货分布式实战（干货）springcloud实战（干货）mybatis实战（干货）springboot实战（干货）React入门实战（干货）构建中小型互联网企业架构（干货）python
chenshiying007·2018-05-11 11:39

大数据-11-案例演习-淘宝双11数据分析与预测

本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、
weixin_33804990·2018-05-10 21:00

AWS oozie sqoop action 调度mysql to hive

本文基于AWSS3，oozie4.5.0，sqoop1.4.7，sqoop自己安装，其余AWS安装。
Lyle-liang·2018-05-10 18:33

大数据平台运维之Sqoop

在master和slaver节点安装SqoopClients，完成后，在master节点查看Sqoop的版本信息，将操作命令和输出结果以文本形式提交到答题框中。
bug发现与制造·2018-05-10 16:13

sqoop操作之Oracle导入到HDFS

导入表的所有字段sqoopimport--connectjdbc:oracle:thin:@192.168.1.100:1521:ORCL\--usernameSCOTT--passwordtiger\
菜鸟级的IT之路·2018-05-10 07:17

sqoop 常见用法

1mysql->hdfsbin/sqoopimport--connectjdbc:mysql://172.16.235.128:3306/test--usernameroot--password'my'
Magiczl·2018-05-09 12:04

CDH中安装使用sqoop2

由于我们的Hadoop、Hive等集群都是通过CDH安装部署的，而且CDH本身支持sqoop安装，因此直接就在这里安装测试了。
乱纪元也不脱水·2018-05-09 10:15

sqoop简介及sqoop1与sqoop2区别

Sqoop（sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。
乱纪元也不脱水·2018-05-08 16:28

大数据：Hive - ORC 文件存储格式

转自ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
cnhome·2018-05-08 16:34

Kudu的架构以及优势

有人尝试修改HBase内核构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBase只能
百味神探·2018-05-08 00:00

Hive与Oracle之间利用Sqoop进行数据的导入导出

一、Oracle数据导入到Hive中/usr/bin/sqoopimport\--connectjdbc:oracle:thin:@72.*.*.185:1521:dbcxj2\--usernamename
象在舞·2018-05-07 20:29

第十二章 结合flume+mapreduce+hive+sqoop+mysql的综合实战练习

监控日志文件，定时把文件清洗后上传到hdfs上，上传清晰后的数据是格式化的，可被hive识别，然后hive创建表，写脚本，执行hql语句，把执行结果写到hdfs上，最后为了方便查看，把放在hdfs上的结果通过sqoop
小爷欣欣·2018-05-06 11:55

异构数据源离线同步工具 加任务组合调度

（摘自百科）2、Apache开源软件：SqoopSqoop(发音:skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql…)间
gnicky·2018-05-05 16:18

Linux安装Sqoop及基础使用

下载Sqoop官网地址http://sqoop.apache.org/wgethttp://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin_
gmHappy·2018-05-04 11:10

hive中创建关联hbase表的几种方案

但是我又不想使用sqoop或者DataX等工具倒来倒去。这时候可以在hive中创建关联表的方式来查询hbase中的数据。【创建关联表的几种方案】前提是：hbase中已经存在了一张表。
Tony_仔·2018-05-03 16:00

Sqoop问题：MySQL导入HBase，预留空值字段的处理

---------MySQL导入HBase---------------------------------------------------上图是有预留字段的数据表MySQL导入HBasebin/sqoopimport
卡其色的夏日·2018-05-02 23:48

CDH 和ambari之间的比较

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。
惹不起的程咬金·2018-05-01 07:48

Linux搭建Sqoop开发环境

阅读更多Linux搭建Sqoop开发环境1.SqoopSqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。
马智霖·2018-04-29 20:00

Linux搭建Sqoop开发环境

阅读更多Linux搭建Sqoop开发环境1.SqoopSqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。
马智霖·2018-04-29 20:00

sqoop job 操作及执行Job时如何省略输入密码

sqoopjob--createetl_sync_job--import--connectjdbc:mysql://10.
fengfengchen95·2018-04-25 18:46

SQOOP增量抽取

1.在hive中创建一个外部表进行数据测试：CREATEEXTERNALTABLEsmes_source.test_etl(idint,namevarchar(8),scoreint)rowformatdelimitedfieldsterminatedby'\001'linesterminatedby'\n'storedastextfilelocation"/data/cdh/hive/hiveE
fengfengchen95·2018-04-25 17:58

Apache Kudu集群安装

简介Kudu是Cloudera开源的分布式列式存储引擎，支持分区、随机读写、批量扫描、实时更新等。
wangpei1949·2018-04-21 20:19

Hadoop除了核心的HDFS和MapReduce以外，还包括哪些功能组件？

经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包括了多个子项目，除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括要ZoopKer、HBase、Hive、Pig、Mahout、Sqoop
duozhishidai·2018-04-21 07:20

Sqoop快速入门

1Sqoop概述传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。
Ancony_·2018-04-20 00:53

sqoop完成hive和mysql之间互导数据遇到的坑

sqoop完成hiveexport到mysql或者mysqlimport到hive时，其实是翻译成MapReducejob来执行的，所以看日志的地方有两个，一个是http://node1:8088(resoucemanager
pao___pao·2018-04-18 21:39

Hive知识整理（2）

Loaddata[local]inpath‘filepath’[overwrite]Intotabletablename[partition(partcol1=val1,partcol2=val2…)]（2）Sqoop
花生花二三说·2018-04-16 11:20
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他