Sqoop列式存储

大数据技术生态体系

图中涉及的技术名词解释如下：1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle
Lu_kuan@·2020-06-22 16:34

大数据技术之_08_Hive学习_04_压缩和存储（Hive高级）+ 企业级调优（Hive优化）

8.1.2jar包安装8.1.3编译源码8.2Hadoop压缩配置8.2.1MR支持的压缩编码8.2.2压缩参数配置8.3开启Map输出阶段压缩8.4开启Reduce输出阶段压缩8.5文件存储格式8.5.1列式存储和行式存储
aodawu2891·2020-06-22 14:33

Hive错误解决：Failed with exception Operation category READ is not supported in state standby

问题描述：通过Azkaban调Sqoop，将Oracle数据导入Hive，报FailedwithexceptionOperationcategoryREADisnotsupportedinstatestandby
andyguan01_2·2020-06-22 14:31

2019年最新大数据Hbase详细解析

正文一、hbase与列式存储hbase最早起源于谷歌的一篇BigTable的论文，它是由java编写的、开源的一个nosql数据库，同时它也是一个列式存储的、支持分布式(基于hdfs)的数据库。
想学习大数据·2020-06-22 11:19

时序数据库 Apache-IoTDB源码解析之文件格式简介（三）

欢迎关注头条号：列炮缓开局，欢迎关注OSCHINA博客这一章主要想聊一聊：行式存储、列式存储的区别TsFile的格式行式与列式存储的区别假如我们的逻辑上的数据表格式及数据为：时间戳人名体温158095080
刘涛华·2020-06-22 10:58

关于Sqoop同步数据的问题【已解决】

1.问题描述最近某个表没有增量的数据，出现了问题，于是调出日志，定位问题，结果是临时表中增量条件多了个and(大意多填了)，后来在拼接sql的时候，多一个and，导致增量sql没有执行成功，报了如下异常：java.sql.SQLSyntaxErrorException:ORA-00936:missingexpression最致命的是这里没有邮件通知到，之前考虑到这部分是手动配置，插入临时表的，配完
福贵儿·2020-06-22 09:55

DataX Vs Sqoop

DataXhttps://github.com/alibaba/DataX/wiki/DataX-all-data-channels支持的数据源：更侧重于业务数据库之间的数迁移目前还只看到是standalone模式使用方便，迁移任务的定义也比较灵活，但是目前只有一种数据源到另一种数据源的迁移。对于大数据hdfs的支持不是很好。明显没有利用到hdfs的locality特性读写数据。但是reader和
踏雪寻梅4149·2020-06-22 08:29

python ETL工具 pyetl

pyetl是一个纯python开发的ETL框架，相比sqoop,datax之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python
·2020-06-22 08:35

canal介绍及HA集群模式搭建

对于离线任务可以通过sqoop将mysql业务库的数据导入hive数仓中计算，但是想要处理实时任务就要借助canal解析binlog日志来实现了。
XDSXHDYY·2020-06-22 08:37

Sqoop增量导入导出总结

Sqoop做为关系型数据库RDBMS和大数据平台（HDFS，Hive,Hbase等）导入导出工具，如果不熟悉其参数作用，使用起来各种问题，本文作为博主对Sqoop的实践作出一定的总结，如有错误，仅供参考
banana`·2020-06-22 04:43

日志信息收集框架--FLUME基本使用

FLUME的产生背景对于关系型数据库和HDFS,Hive，等的数据，我们可以使用sqoop将数据进行导入导出操作，但对于一些日志信息（源端）的定时收集，这种方式显然不能给予满足，这时有人会想到使用shell
banana`·2020-06-22 04:43

Ranger-Sqoop2插件安装

Ranger-Sqoop2插件安装，基于Ranger版本1.0.0,支持Sqoop2版本1.99.7。
木木与呆呆·2020-06-22 03:24

sqoop2 shell 数据导入导出

title:sqoop2shell使用tags:新建,模板,小书匠grammar_cjkRuby:true从MySQL数据库中导入数据到HDFS中显示可用创建link的connectorsqoop:000
天堂宝宝_V·2020-06-22 03:10

hadoop使用Yarn进行资源队列划分管理

最近在做一个使用sqoop抽取数据最终存进hawq里面的一个项目，然后在做项目的过程，因为经验等一系列的问题，碰到了不少坑，现在将我最近碰到的一个坑写一下，现象大致是这样的，数据在通过sqoop跑量时，
沉默的迷茫·2020-06-22 03:53

hue 上oozie的调度问题

下面把步骤分享给大家1.首先将写好的hivesqoop各个脚本文件组成workflow2.将组成的workflow跑一遍直到成功。注：这一步主要是为了生成类似于.class的文件。
Mr_Peter_c·2020-06-22 02:35

大数据之路 -- 常用辅助框架

数据转换工具sqoop：Apache的顶级项目，官方网站http://sqoop.apache.org/ApacheSqoop（TM）是一种设计工具，用于在ApacheHadoop和结构化数据存储（如关系数据库
Mai_Noe·2020-06-22 01:47

大数据面试系列之——Hbase

Hbase是一个分布式的列式存储的数据库1.说说Hbase的特点1.分布式架构，Hbase通过集群存储数据，数据最终会落到HDFS上2.是一种NoSQL的非关系型数据库，不符合关系型数据库的范式3.面向列存储
潜心_守道·2020-06-21 22:52

Flume相关知识的总结

1.概述1.1什么是flume1、ApacheFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，和Sqoop同属于数据采集系统组件，但是Sqoop用来采集关系型数据库数据，而Flume
大数据容器·2020-06-21 18:19

十三（1）、sqoop遇到的问题

1、从mysql抽数到hive，hive表为parquet存储格式，导入语句为：sqoopimport–connectjdbc:mysql://${MYSQL_HOST}{MYSQL_PORT}/sx_channel
Angular_need·2020-06-21 16:05

大数据运维学习之路

hbase组成原理kafka组成原理Impala组成原理storm组成原理elasticsearch组成原理flume组成原理azkaban组成原理Oozie组成原理CDH组成原理ambari组成原理sqoop
火树银花之处·2020-06-21 15:51

大数据实战之Logstash采集->Kafka->ElasticSearch检索

常用的数据采集工具有Sqoop、Flume、Logstash，计划将单独写一篇博文论述它们之间的区别，所以这里就不赘述，感兴趣可关注后期
超新星X·2020-06-21 14:15

调度框架Azkaban快速入门

1.Azkaban概述Azkaban技术产生前景：在大数据分析场景中，以ETL（Extract抽取-Transform交互转换-Load加载）为例，数据的操作包含了如下流程：RDBMS==>Sqoop=
wolfcode_cn·2020-06-21 14:12

浅谈一个新人的大数据之路-ORC篇

CCCCCold丶大数据之禅ORCFile原理TEXTFile普通列式存储RCFileORCFileORCFile原理ORCFile是什么？
Cold丶kl·2020-06-21 12:59

大数据学习 - 平台环境部署（详细）

本文利用云服务器对大数据平台进行环境部署，包含：服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop
汪鹏程·2020-06-21 12:37

1、Hbase表、shell、Java API

2019独角兽企业重金招聘Python工程师标准>>>一：简介1、hbase是一个“列式存储”的nosql数据库，有如下特点支持单表上百亿行，数百万列的存储以及实时查询它支持表中某行数据的字段可以动态增加和减少
weixin_34370347·2020-06-21 11:10

统一数据平台——架构体系

主要技术的介绍1.集群概述Hadoop集群在于其生态组件的丰富性，目前，我们平台已经部署包含采集、存储、计算、资源管理相关的hadoop、hdfs、hive、hbase、yarn、zookeeper、sqoop
weixin_30925411·2020-06-21 10:32

lucene初探学习

所以本章也不会讲什么深入的东西,仅仅只是对入门的小萌新有帮助,它的特点概述起来就是：全Java实现、开源、高性能、功能完整、易拓展，功能完整体现在对分词的支持、各种查询方式（前缀、模糊、正则等）、打分高亮、列式存储
EcksYang-1128·2020-06-21 06:30

Apache AzKaban 环境搭建与入门使用

1.azkaban的环境搭建要求：由于这里azkaban要调度hive作业，可能存在调度sqoop等作业，因此需要安装在有这些节点的机器上1）上传jar包并解压缩(三个)mkdir/home/hadoop
猫君之上·2020-06-21 05:43

Hive快速入门系列(13) | Hive的数据存储格式

目录1.列式存储和行式存储2.TextFile格式3.Orc格式4.Parquet格式5.主流文件存储格式对比实验5.1存储文件的压缩比测试5.2存储文件的查询速度测试Hive支持的存储数据的格式主要有
不温卜火·2020-06-21 04:11

大数据—数据收集系统介绍（Flume，Sqoop）

概述大数据，数据收集是非常重要的一块知识体系。数据收集，一般会对不同的数据，拥有不同的手机方式，那么常见的数据来源有什么呢？非结构化数据。一般有用户访问日志、图片、视屏、网页等信息。半结构化数据。一般类似xml、json之类的数据。结构化数据。一般是传统关系型数据库（MySQL、Oracle）等存储的数据。针对结构化数据，导入到大数据系统Hadoop中，有两种导入方式，一种是全量导入，一种是增量导
mapbar_front·2020-06-21 03:45

zeppelin+kylin+hive+hbase+hadoop+sqoop解决方案之sql问题

大致说下架构，hadoop的mapreduce实现基础计算，kylin实现数据统计分析，sqoop把mysql数据同步到hive中hive和hbase服务于kylin，hive是数据仓库为kylin提供数据
习惯纯洁的45度仰望·2020-06-21 02:43

大数据入门学习之Hadoop初识篇

适合处理非结构化数据，包括HDFS，MapReduce基本组件与扩展组件Pig、Hive、Hbase、Sqoop、Flume、ZooKeeper和Spark等。
程序猿旺财·2020-06-20 23:26

Flume的进阶介绍和使用（Interceptor，Selectors，Processors）

Flume是Apache下的一个开源的顶级项目，它是一个分布式，可扩展，高可用，高可靠的，轻量级数据收集框架，主要用来做数据的收集，聚合，和传输，相对与传统的数据导入导出框架Sqoop，它具备多方面优势
banana`·2020-06-20 23:18

面试题——数仓项目技术如何选型？

技术选型：要提供两套方案，红色的一套，黑色的一套，提供对比选择的依据：优先选择红色的那一套，因为比较通用，而且熟悉Flume解决日志的采集，Kafka解决消息的分发和消峰，Sqoop用于HDFS和关系型数据库进行数据的传递
G5Lorenzo·2020-06-16 18:39

第六章学习小结

这一章学习的图，由于图的结构比较复杂，因此图没有顺序存储结构，但可以借助二维数组来表示图中各元素之间的关系，即图的邻接矩阵表示法，看图最常用的还是列式存储，有邻接表，十字链表等。
TJun·2020-06-14 23:00

Sqoop的实战

Sqoop用法//最常用的sqooop命令:可以根据help查看各种参数sqoophelpsqoophelplist-databases//导入数据到hdfssqoopimport--connectjdbc
hq_allen·2020-06-13 16:11

Sqoop快速入门系列(2) | Sqoop数据导入与导出

 此篇为大家带来的是Sqoop数据导入与导出。
丰喊喉675·2020-06-11 13:52

ClickHouse内核分析-MergeTree的存储结构和查询加速

注：以下分析基于开源v19.15.2.2-stable版本进行引言ClickHouse是最近比较火的一款开源列式存储分析型数据库，它最核心的特点就是极致存储压缩率和查询性能，本人最近正在学习ClickHouse
阿里云云栖号·2020-06-06 07:24

python ETL工具 pyetl

pyetl是一个纯python开发的ETL框架，相比sqoop,datax之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python
taogeYT·2020-06-04 09:00

一、sqoop从mysql导入导出数据到hdfs、hive、hbase

一、sqoop介绍Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle
风zi·2020-06-02 20:35

Sqoop 防止数据导出不一致的参数配置

问题来源官网原话是这样的：SinceSqoopbreaksdownexportprocessintomultipletransactions,itispossiblethatafailedexportjobmayresultinpartialdatabeingcommittedtothedatabase.Thiscanfurtherleadtosubsequentjobsfailingduetoi
可以看看你胖次吗·2020-05-31 23:00

hue上workflow之shell-sqoop脚本配置实录

workflow之shell-sqoop脚本实录前面讲解了sqoop的密码明文问题解决与sqoop导入分库分表mysql数据问题解决，那么这里就详细介绍下在hue上配置shell-sqoop脚本时所遇到的问题
叁木-Neil·2020-05-31 14:21

mysql分库分表数据导入hive之sqoop-shell脚本

sqoop分库分表shell导入脚本之前的生产集群使用到了mysql的分库分表，所以抽取同一张表的数据就需要从不同的库与表中进行抽取了！话不多说先上图分库：分表：一、sqoop导入脚本#!
叁木-Neil·2020-05-31 14:32

深入浅出Sqoop之迁移过程源码分析

【摘要】Sqoop是一种用于在ApacheHadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具。
华为云开发者社区·2020-05-28 00:27

Apache Parquet 技术干货分享

Parquet是一种面向分析的、通用的列式存储格式，兼容各种数据处理框架比如Spark、Hive、Impala等，同时支持Avro、Thrift、ProtocolBuffers等数据模型。
大数据技术架构·2020-05-27 12:08

sqoop密码明文问题解决

sqoop密码明文问题解决今天优化数仓sqoop导入导出时的密码明文问题！
叁木-Neil·2020-05-26 21:08

四年工作经验境遇找工作难 ：2020-05-26

很奇怪的一件事，我的技术栈是springboot,springmvcmysql,redis,hive,hbase,hadoop,jqueryhtmlcsssqoop自学的技术栈stormes,mongodb
JHON_07·2020-05-26 00:47

OLAP查询引擎，ClickHouse集群化管理

一、列式库简介ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库（DBMS），主要用于OLAP在线分析处理查询，能够使用SQL查询实时生成分析数据报告。
艾弗森哇·2020-05-20 17:33

Apache Hudi典型应用场景知多少？

例如你可以读取MySQLbinlog日志或Sqoop增量导入，并将它们应用在DFS上的Hudi表，这比批量合并
leesf·2020-05-19 18:00

Apache Hudi典型应用场景知多少？

例如你可以读取MySQLbinlog日志或Sqoop增量导入，并将它们应用在DFS上的Hudi表，这比批量合并
leesf·2020-05-19 18:00
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他