Sqoop列式存储

轻量级可嵌入多维分析后台

专业数据仓库有不少是列式存储的，性能问题不大，但是价格都比较昂贵，建设、扩展和维护成本也都非常高。BI系统自带的数据源都比较封闭，只能为自家的BI前端提供支持，无法为多个不同厂
小黄鸭呀·2018-11-15 17:09

sqoop 从oracle导数据到hive遇到的问题

sqoop从oracle导数据到hive遇到的问题应用sqoop导数据到hive.
_橘子甜不甜_·2018-11-15 15:39

Sqoop之环境部署及shell命令学习

1.下载tar包，并解压到指定目录tar-zxvfsqoop-1.99.7-bin-hadoop200.tar.gz-C/opt/2.配置环境变量exportSQOOP_HOME=/opt/sqoop-
大象爱老鼠·2018-11-15 09:56

sqoop增量更新使用问题

使用sqoop增量更新数据到hive中，使用参数–increment，–check-column指定增量更新的基准列，–last-value为更新比较值。
ych.wei·2018-11-14 15:39

创建ORC结果表

/yq.aliyun.com/articles/669130本页目录创建ORC结果表DDL定义WITH参数创建ORC结果表ORC(OptimizedRowColumnar)是Hadoop生态圈中的一种列式存储格式
weixin_34064653·2018-11-14 13:40

Sqoop -------- Sqoop job

Sqoopjob可以理解为创建一个模板，在下次运行导入或者导出任务的时候，直接运行的模板就可以执行任务.可以理解为把需要操作的任务封装为一个方法。
Z_Data·2018-11-14 09:22

sqoop ----------增量导入

每天都会产生新的数据，在进行数据导入的时候，由于之前已经导入过数据，所以在产生新的数据的时候，就可以直接在之前导过的数据的基础上继续导入数据，没有必要之前的所有数据都重新导入一遍增量导入数据的使用：bin/sqoopimport
Z_Data·2018-11-14 09:24

轻量级可嵌入多维分析后台

专业数据仓库有不少是列式存储的，性能问题不大，但是价格都比较昂贵，建设、扩展和维护成本也都非常高。BI系统自带的数据源都比较封闭，只能为自家的BI前端提供支持，无法为多个不同厂
raqsoft·2018-11-13 22:44

Hadoop2.7.4集群搭建

HBASE：基于HADOOP的分布式海量数据库ZOOKEEPER：分布式协调服务基础组件Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库Oozie：工作流调度框架Sqoop
Demon_gu·2018-11-13 20:16

（十三）Spark Core求每个域名下访问次数最多的文件资源

helloworldsparkhadoophive223.104.18.110v1.go2yd.com17168http://v1.go2yd.com/video/38ddjsic89s8je8sjxjcdie89.mp4_sd.mp4worldsparkhellomysqlsqoop113.101.75.194v2
白面葫芦娃92·2018-11-12 16:09

Sqoop的安装及简单使用

SQOOP是用于对数据进行导入导出的。
chenyuanshengboke·2018-11-11 13:34

sqoop的全量导入，增量导入2种，减量导入

全量导入：将mysql表中全部数据都导入HDFS，如果HDFS中存在这个目录的话就会报错，默认存储的HDFS目录是/user/root/XXX,括号中的内容都为解释，要运行的话就一行一行粘贴一起运行bin/sqoopimport
weixin_42333583·2018-11-09 20:22

sqoop使用metastore进行增量数据抽取

我们在sqoop抽取数据，肯定会遇到这么个场景，我们肯定会用到一个调度工具来执行sqoop脚本，这时我们如果想在别的客户端也能调用该sqoop脚本，那么我们就需要使用sqoop提供的metastore，
沉默的迷茫·2018-11-09 19:34

sqoop:mysql import to hdfs

sqoopimport–connectjdbc:mysql://localhost:3306/chen–usernameroot–password123–tabletest报错：Exceptioninthread
风继续吹-小海·2018-11-09 10:54

Spark项目之环境搭建（单机）一 hadoop 2.8.5安装

我用的hadoop2.8.5+apache-hive-2.3.3+sqoop-1.4.7+jdk1.8+mysql5.7+scala-2.12.7+spark-2.3.2-bin-hadoop2.7第一步上传所需的包
尔笑惹千愁·2018-11-09 08:20

淘宝双11数据分析与预测课程案例:实验环境搭配

1软件安装清单安装Hadoop安装MySQL安装Hive安装Sqoop安装Eclipse安装ECharts2hadoop安装hadoop在centos的伪分布式安装3MySql安装下载并安装MySQL官方的
W.J.Z·2018-11-08 19:08

使用Sqoop将数据从RDBMS(关系型数据库) 到hdfs和Hive的导入导出

一、RDBMS到HDFS/HIVE1.首先启动Mysqlservicemysqlstart2.在mysql中新建一张表并插入数据#mysql-uroot-prootmysql>createtabledept(idintprimarykey,dnamevarchar(20),sexvarchar(5));mysql>insertintodeptvalues(1,'tom','male');mysql
Superman404·2018-11-08 19:03

sqoop import 报错Communications link failure

1.问题描述sqooplist-tables工具正常，但是import工具有问题。奇怪！！！！
jjshouji·2018-11-08 12:49

【Hadoop】HDFS开发手册（JavaAPI）

hdfshbasehivesqoopzookperflume原理的东西，说简单很简单，说复杂很复杂。小编不跟大神比
java劝退师·2018-11-07 23:10

Sqoop介绍、安装配置

写在前面一：本文总结“Hadoop生态系统”中的其中一员——ApacheSqoop，本着“最简洁、最有力”的博文原则，话不多说，直入正文写在前面二：环境说明：一、什么是ApacheSqoop官网最有力：
我是丰儿你是沙·2018-11-07 09:51

sqoop导出avro格式文件报错

环境hadoop版本：2.7.6sqoop版本：1.4.7问题项目中需要导出mysql中的二进制数据，因此采用avro格式输出。[root@dscn2sqoop-1.4.7]#.
苍老流年·2018-11-06 15:58

Sqoop优化

阅读更多1.加参数-m和切分字段--split-by增加map数2.分库分表数据接入拉取使用unionall优化e.g.1:sqoopimport"-Dorg.apache.sqoop.splitter.allow_text_splitter
gaozzsoft·2018-11-06 15:00

Spark SQL（三）：Parquet数据源

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目。列式存储和行氏存储相比，有哪些优势？
张凯_9908·2018-11-05 13:06

Sqoop的安装和一些语句

1.sqoop是一个用于在hadoop和关系型数据库之间传输数据的工具，用于从关系数据库(mysql、oracle)导入数据到HDFS。
哪有天生的学霸，一切都是厚积薄发·2018-11-04 23:44

SQOOP2 安装

一、安装sqoop2安装包包含client和server两部分，server部分需要安装在hadoop集群中的某一个节点上，作为client的服务器。
quitegws·2018-11-03 13:38

Sqoop 导入数据到hive过程解析

1.mysql数据库(sqoop)emp表导入到hive中数据库(ruozedata_teset)的emp_sqoop_test表执行下面代码sqoopimport\--connectjdbc:mysql
huo_火力全开·2018-11-02 16:34

Mysql 数据导入 Hbase

目录一、前言二、使用sqoop遇到的问题三、项目搭建（maven项目）四、项目重点五、项目代码六、数据实时同步一、前言在大数据项目中需要做数据迁移时，我们第一时间总会想到sqoop。
beyond_qjm·2018-11-01 17:05

大数据开发之Sqoop篇----将数据导入到hive里面时遇到的一个坑

我们之前都是使用sqoop把RBDMS的数据导入到HDFS里面，但并没有在hive里面同时构建表，现在我们需要将数据导入HDFS里面的同时为这批数据在hive里面构建表结构一般我们使用的命令：sqoopimport
豆豆总·2018-10-31 17:15

sqoop2将Oracle数据导入HDFS

Sqoop是一个设计用于在ApacheHadoop和结构化数据存储（如关系数据库）之间高效地传输大批量数据的工具。ClouderaManager支持的版本为Sqoop2。
风之沙城·2018-10-30 16:37

大数据从0学习路线（自己制定的，基础开始）

学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)
juan188·2018-10-30 12:51

离线计算七 辅助系统（flume、sqoop、oozie）

课程大纲（辅助系统）离线辅助系统数据接入Flume介绍Flume组件Flume实战案例任务调度调度器基础市面上调度工具Oozie的使用Oozie的流程定义详解数据导出sqoop基础知识sqoop实战及原理
志明与春娇·2018-10-28 22:06

Hive与HBase

什么是HBase：HBase是一种键值系统的数据库，nosql数据库之一，基于列式存储。它也是基于HDFS。
RwinR·2018-10-27 15:39

大数据学习路线（完整详细版）

大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
haohsq·2018-10-27 14:21

用MapReduce实现矩阵乘法

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括
郭首志·2018-10-27 10:04

Hive使用与Sqoop安装与使用

Hive框架基础（三）理性认知：Hive创建表的方式1.使用create命令创建一个新表createtableifnotexistsdb_web_data.track_log(字段)partitionedby(datestring,hourstring)rowformatdelimitedfieldsterminatedby'\t';2.把一张表的某些字段抽取出来，创建成一张新表例如：create
烈格黑街·2018-10-25 16:35

转Parquet文件

(ApacheParquet是一种基于列式存储的文件格式，可用于Hadoop生态
Round_Yuan·2018-10-25 09:36

sqoop的安装

概览1.sqoop简介2.sqoop的安装和配置3.测试4.异常处理1.sqoop简介Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql
leanaoo·2018-10-23 21:28

Sqoop数据迁移工具

一、概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
邢小成·2018-10-23 14:08

使用sqoop导入导出到MySQL、hdfs以及hive时出现的问题

问题1：java.lang.ClassNotFoundException:Classwidgetsnotfound执行的命令：sqoopimport--connectjdbc:mysql://localhost
Jimmy_Ju·2018-10-22 16:23

hive查询结果保存到本地

使用hive查询，结果我们通常会保存到hdfs，然后通过sqoop导出工具，将其导出到外部mysql或者其他地方，但是有时候查询结果就是一个数据，比如count(*)的结果，我们希望直接保存到一个中间变量
luffy5459·2018-10-22 15:58

Sqoop使用

1.mysql导入hivesqoopimport\--connectjdbc:mysql://master:3306/employees?
JoJoSIR·2018-10-22 09:22

Spark SQL介绍和DataFrame概念以及其API的应用示范（详细全面）

可用于从各种结构化数据源，例如JISON(半结构化)文件、CSV文件、ORC文件(ORC文件格式是一种Hive的文件存储格式，可以提高Hive表的读、写以及处理数据的性能)、Hive表、Parquest文件(新型列式存储格式
大鱼-瓶邪·2018-10-19 17:38

数据计算中间件技术综述

对于数据存储，目前Apache社区提供了多种存储引擎的选择，除了传统的HDFS文件和HBase，还提供了Kudu、ORC、Parquet等列式存储，大家可以根据自身的需求特点进行
chaochao52001·2018-10-18 23:11

Hive文件格式

8.2查询语句运行时间大小比较9总结：1.概述hive文件存储格式包括以下几类：名称出现的版本特点TEXTFILE文本，默认值SEQUENCEFILE二进制序列文件RCFILEHive0.6以后开始支持列式存储格式文件
九师兄-梁川川·2018-10-18 19:34

Sqoop抽取Phoenix数据中遇到的问题

1、runningsqoop:java.lang.NullpointerException解决方法：缺少java-json.jar的jar包，下载jar包，并将其放在hbase/lib和sqoop/lib
cherish_dwj·2018-10-18 14:47

Sqoop抽取Phoenix数据

使用场景：主要想实现抽取hbase数据到hive中，Sqoop不支持对hbase的直接抽取，但是我们可以通过Phoenix映射hbase表实现。
cherish_dwj·2018-10-18 10:41

sqoop 安装

下载地址http://mirror.bit.edu.cn/apache/sqoop/因为官方并不建议在生产环境中使用sqoop2，即1.99.7，所以这里我用的是sqoop1,即1.4.7找个编译好的，
李逢涛·2018-10-17 23:29

parquet

参考大数据开源列式存储引擎Parquet和ORC新型列式存储格式Parquet详解读写parquet格式文件的几种方式Parquetfileoptionalfielddoesnotexistparquet
羽溪夜·2018-10-11 17:19

sqoop job省略输入mysql密码

sqoop在创建job时，使用--password-file参数，可以避免输入mysql密码，如果使用--password将出现警告，并且每次都要手动输入密码才能执行job，sqoop规定密码文件必须存放在
Sx_Ren·2018-10-11 10:54

ES学习笔记-elasticsearch-hadoop导入hive数据到es的实现探究

这其中，sqoop(离线)和kafka(实时)几乎是数据总线的标配了。
sbp810050504·2018-10-10 23:31
上一页 61 62 63 64 65 66 67 68 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他