Sqoop列式存储

大数据技术简介

数据采集技术数据存储技术离线数据分析技术实时数据分析技术数据可视化技术数据采集技术离线采集数据库数据sqoopdatax实时采集数据库数据canelOracleGoldenGate日志采集FlumeLogstashScribe
EricLihuifeng·2020-06-25 04:28

hadoop+kylin安装及官方cube/steam cube案例文档

对于hadoop+kylin的安装过程在上一篇文章已经详细的写了，这里只给出链接：Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机伪分布式安装及官方案例详细文档请读者先看完上一篇文章再看本本篇文章
赵延东的一亩三分地·2020-06-25 03:39

列式存储和行式存储的区别

1为什么要按列存储列式存储(Columnarorcolumn-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。
qq_26091271·2020-06-25 02:23

MySQL数据 实时同步到Kafka --Binlog canal、Maxwell、Kafka Connect 实现MySQL增量同步

一、需求分析早期业务借助Sqoop将Mysql中的数据同步到Hive、hdfs来进行数据分析，使用过程中也带来了一些问题：虽然Sqoop支持增量同步但还属于粗粒度的离线同步，无法满足下游数仓实时性的需求
曹雪朋·2020-06-25 01:05

继续排坑（一，数仓统一规则）

、空数据2、字符串中空数据3、脏数据4、字段名统一5、字段类型统一...这里要讲的是两个坑：one：第一个坑比较常见，就是第五个统一规则里面出来的，1)mysql的字段类型是tinyint(1)，在用sqoop
challengedream·2020-06-25 01:56

Parquet 学习笔记

背景2010年google发表了一篇论文《Dremel:InteractiveAnalysisofWeb-ScaleDatasets》，介绍了其Dermel系统是如何利用列式存储管理嵌套数据的，嵌套数据就是层次数据
铁头乔·2020-06-24 21:55

上海久耶基于 HBase 实时数仓探索实践

前期通过SQOOP进行数据抽取，后来由于SQOOP的一些问题采用了阿里开源的DataX，时间粒度使用脚本调度实现，T+1模式抽取到Hi
qianshanding0708·2020-06-24 21:10

centos7下hbase配置及解决错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty等三个问题

等三个问题文章背景最近在为公司搭建hadoop集群，安装hbase的时候出现了很多问题，下面写了我遇到的三个坑，如果你们按着我的步骤操作，应该是可以避开一些错误的（不能保证能行，但是可以参考），另外安装到sqoop
铲子挖数据·2020-06-24 20:12

HUE平台oozie 调度系统设置踩坑记录

/lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.
poson·2020-06-24 20:39

Parquet文件格式简介

parquet发展parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，Parquet的灵感来自于2010年Google发表的Dremel论文，文中介绍了一种支持嵌套结构的存储格式
newbieli·2020-06-24 17:42

ClickHouse性能测试

CH具有以下几个特点：列式存储，因此数据压缩比高。向量计算，且支持多核CPU并行计算，并且执行每个SQL时都力求榨干CPU性能。基于Sharednothing
老叶茶馆_·2020-06-24 16:50

Sqoop高频面试题知识点总结

1Sqoop参数/opt/模块/sqoop/bin/sqoop导入\-连接\-用户名\-密码\--target-dir\--delete-target-dir\--num-mappers\--fields
美食江湖·2020-06-24 16:06

大数据之ClickHouse：安装部署与性能测试

记录过程文章目录概述环境单机安装常用配置启动/检查服务命令行客户端分布式集群安装卸载性能测试概述个人总结式理解，详细的去官网看吧俄罗斯搜索引擎公司Yandex研发，2016年开源的列式存储数据库主要用于在线
maoyuanming0806·2020-06-24 13:21

Sqoop碎碎念

Sqoop是一个etl工具，是sqltohadoop的缩写。即将关系型数据库数据导入hadoop中。可以用sqoop来创建hive表和导数据，实际上也是在hdfs中创建目录和将数据存储在hdfs中。
星宫社·2020-06-24 12:13

kylin简介

Kylin最大卖点是快，传统大数据工具并行计算列式存储索引kylin采用了预计算source指的是数据仓库，Cube指的是预先计算的值，target一般是Hbase，rowkey是各种聚合的参数，比如groupbya
小宝宝的迷你宝·2020-06-24 11:04

Kylin 的架构和原理

从算法角度讲，现有的大数据框架可分为以下几类：1.并行计算：mapreduce、spark2.列式存储：parquet，节省IO3.
平生在翠微·2020-06-24 10:31

centOS安装azkaban以及基本操作

tar.gzMySQL目前azkaban只支持mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了root用户,密码luxing安装将安装文件上传到集群,最好上传到安装hive、sqoop
@进行中·2020-06-24 09:05

sqoop随笔

基本命令import-all-tables:导入所有表--connect:连接的url地址--username:mysql用户名--password:mysql密码--hive-database：导入到hive的数据库-m：导入数据的进程的并发数，默认是4。如果导入的数据不大的话，不妨设置成1，这样导入更快。指定几个map任务，如果没有主键，只能有一个map例如：-m1--create-hive-
水他·2020-06-24 09:25

sqoop将postgresql表导入hive表

使用sqoop导入数据至hive常用语句直接导入hive表sqoopimport--connectjdbc:postgresql://ip/db_name--usernameuser_name--tabletable_name
空中的鱼1987·2020-06-24 08:04

Sqoop安装、配置和操作详解

一、安装和配置Sqoop1、开启Zookeeper2、开启集群服务3、配置文件：sqoop-env.sh，如下：#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME
lmh450201598·2020-06-24 08:22

mysql和hive实现关联查询

起初我想到的是想实现mysql和hive实现关联查询，hive和hbase是可以整合的，如果实现了这个也就实现了mysql和hbase的关联查询，开始的时候有了一个思路，就是利用sqoop将mysql的数据表导入到
踩大侠·2020-06-24 06:12

如何查找hive表在hdfs中的存储位置

`(`company_id`int,`update_user`int,`merchant_id`string,`company_attribute`tinyint)COMMENT'Importedbysqoopon2018
乱纪元也不脱水·2020-06-24 05:07

python ETL工具 pyetl

pyetl是一个纯python开发的ETL框架，相比sqoop,datax之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python
li_yatao·2020-06-24 04:41

大数据学习之Hadoop初识篇

适合处理非结构化数据，包括HDFS，MapReduce基本组件与扩展组件Pig、Hive、Hbase、Sqoop、Flume、ZooKeeper和Spark等。
铁拳虎·2020-06-23 23:35

大数据技术之Sqoop

一、Sqoop简介ApacheSqoop™是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
青城雪·2020-06-23 22:28

Hadoop学习路线

大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
jiang_hadoop·2020-06-23 21:11

大数据应用技术课程实践--选题与实践方案

安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架Hadoop安装数据仓库Hive安装Sqoop安装Eclipse安装Spark对文本文件形式的原始数据集进行预处理把文本文
Drew,·2020-06-23 21:00

大数据应用----001

三、实践任务分解安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架Hadoop安装数据仓库Hive安装Sqoop安装Eclipse安装Spark对文本文件形式的原始数据集进行预处理
zzzkai·2020-06-23 19:00

黑猴子的家：Sqoop 命令&参数：eval

1、案列[victor@node1sqoop-1.4.7]$bin/sqoopeval\--connectjdbc:mysql://node1:3306/company\--usernameroot\-
黑猴子的家·2020-06-23 18:31

HBase Scan Filter 自定义 Comparator 比较器

最近项目需求需要完善Sqoop的更多功能点，其中一项是将Hbase的数据导出到hdfs或hive，重点是Hbase出来的数据需要支持条件过滤。
iteye_12886·2020-06-23 18:29

大数据应用技术课程实践--选题与实践方案

可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法；熟悉在不同类型数据库之间进行数据相互导入导出
162·2020-06-23 17:00

Sqoop数据迁移介绍

目录Sqoop版本：Sqoop原理：（注意只有Map任务，没有reduce）Sqoop导入导出原理Sqoop安装配置环境搭建Sqoop数据导入---全部导入Sqoop数据导入---增量导入Sqoop数据导入
加油姑娘dyja·2020-06-23 17:32

大数据应用技术课程实践--选题与实践方案

我选择Hadoop平台应用的淘宝双11数据分析与预测，选这个题目是因为起既可以学习到Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法
时光~·2020-06-23 17:00

大数据介绍

2）Hadoop构成:Flume（非结构化数据收集）：Cloudera开源的日志收集系统用于非结构化数据收集Flume特点分布式高可靠性高容错性易于定制与扩展日志收集工具：flumeHadoop构成:Sqoop
iamdll·2020-06-23 17:13

从零搭建企业大数据分析和机器学习平台-技术栈介绍（三）

目录数据传输和采集Sqoop数据传输工具Flume日志收集工具Kafka分布式消息队列数据存储Hbase分布式Nosql数据库Hdfs分布式文件系统大数据处理HadoopSpark数据查询分析工具ApacheHivePig
有理想的coder·2020-06-23 15:43

数据仓库工具之hive调优(4)

大数据分析利器之hive1.hive表的文件存储格式1.1列式存储和行式存储1.2TEXTFILE格式1.3ORC格式1.4PARQUET格式1.5主流文件存储格式对比1.5.1TextFile1.5.2ORC
Hansionz·2020-06-23 12:46

Sqoop1安装及使用

之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。
gakki_smile·2020-06-23 09:14

大数据串讲-从日志文件分析访问量最高的10个接口及响应访问量

http://www.powerxing.com/install-hadoop/Hive安装Hive2.1.1参考：https://my.oschina.net/jackieyeah/blog/735424Sqoop
fight4gold·2020-06-23 08:14

Mahout推荐算法API详解

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括
Fens·2020-06-23 07:29

mac安装sqoop

在hadoop3.2.1和hive3.1.2的基础上，配置sqoop。
这么多圆圈圈·2020-06-23 06:43

大数据Hbase 面试题

hbase的特点是什么(1)Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。
dgsdaga3026010·2020-06-23 04:27

Pinot架构介绍

1.HighLevelArchitecture1.目的：对给定数据集提供分析服务2.输入数据：Hadoop&Kafka3.索引技术：为了提供快速的查询，Pinot采用列式存储以及各种索引技术（bitmap
cjfeii·2020-06-22 23:35

亿级数据从 MySQL 到 Hbase 的三种同步方案与实践

.准备工作2.2.2伪分布式3.亿级MySQL数据插入3.1loaddatainfile3.2Python批量插入3.3Python多线程插入3.4MySQL数据导入方法对比4.同步利器4.1简单粗暴Sqoop4.2Kafka-thrift
会飞的火轮·2020-06-22 22:29

大数据学习 HBase

hbase列式分布式数据库：结构化数据和非结构化数据支持实时数据处理列存储水平扩展优秀HBASE接口：javaapi，shell，hiveHBASE数据模型：列式存储在数据分析中效率很高，同一列数据类型相同可以达到更高的压缩率
chenzhai7583·2020-06-22 22:43

大数据学习 azkaban，sqoop

azkaban工作流调度器1.解压azkaban,server,executor2.导入脚本，创建数据库表3.创建秘钥，将秘钥放入server根目录4，统一时区5.配置azkaban.properties,配置user.xml6.配置executor的azkaban.properties7.启动web服务器，启动执行服务器8.https://主机名:84439.上传zip文件，执行可以进行bash
chenzhai7583·2020-06-22 22:43

sqoop入门

Sqoop产生背景1）RDBMS==》Hadoopfile==》loadhiveshell==》file==》hdfsmapreduce：inputformatoutputformat2）Hadoop=
chenlan1927·2020-06-22 22:46

FISCO BCOS 2.0使用教程： 分布式存储体验

数据本身行列式存储，没有MPT树那般盘根错
chengjiequ6517·2020-06-22 21:15

Azkaban的安装步骤

Azkaban的安装(注意azkaban和hive和sqoop必须安装在同一台机器)1.Web服务器、Azkaban执行服务器，安装到装有hive的机器上1.1创建azkaban的目录mkdirazkaban1.2
carbon_vera·2020-06-22 20:27

深入理解redis

redis常见非关系型数据库分类NoSQL具有扩展简单、高并发、高稳定性、成本低廉等优势，也存在一些问题Column-Oriented（烈士存储）面向检索的列式存储，其存储结构为列式结构，同于关系型数据库的行式结构
彩虹剑客·2020-06-22 19:39

kylin大数据平台搭建文档

文章目录前期准备包下载按顺序安装一.Hadoop二.Zookeeper三.Hbase四.Hive五.Sqoop六.Kylin七.SparkKylin查询案例启动模式PS:将鼠标悬浮于对应图片上查看配置文件路径
Goofiness·2020-06-22 19:47
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他