Sqoop列式存储

2021-06-03 大数据技术之 Sqoop

第1章Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle
️小C·2022-07-07 15:52

尚硅谷大数据技术之Sqoop

一、Sqoop安装下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/测试Sqoop是否能够成功连接数据库bin/sqooplist-databases
风满楼i·2022-07-07 15:52

大数据技术之 Sqoop

文章目录1.Sqoop简介2.Sqoop原理3.Sqoop安装3.1下载并解压3.2修改配置文件3.3拷贝JDBC驱动3.4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4.Sqoop的简单实用案例
dwjf321·2022-07-07 15:21

【大数据】Sqoop简介

Sqoop简介Sqoop(发音：skup)是SQL-to-Hadoop的缩写，是一款开源的工具，主要用来在Hadoop和关系数据之间交换数据，可以改进数据的数据的互操作性。
debimeng·2022-07-07 15:50

大数据技术之Sqoop配置示例

大数据技术之Sqoop配置示例hdfstomysqlexport--connectjdbc:mysql://bigdatacloud:3306/test--usernameroot--password123
dgsdaga3026010·2022-07-07 15:50

大数据技术之Sqoop

大数据技术之Sqoop一.Sqoop简介二.Sqoop安装三.Sqoop应用1.全量导入1.1MySQL导入HDFS1.2MySQL导入到Hive1.3MySQL导入到HBase2.增量导入2.1append
卡农c·2022-07-07 15:19

【大数据系列零二】大数据时代下的数据同步利器Sqoop

一、sqoop概述环境要求：Hadoop，关系型数据库（如MySQL），SqoopScoop是什么？
Anlior·2022-07-07 15:19

个推大数据降本提效实战分享-Q&A精选

个推透明存储实践列式存储（Column-orientedStorage）是大数据场景中面向分析型数据的主流存储方式。与行式存储相比，列式存储只提取部分数据列、同列同质数据，具有更优的编码及压缩方式。
·2022-07-05 15:56

数仓建模—指标体系

万字长文来聊一聊中台数据仓库之拉链表sqoop用法之mysql与hive数据导入导出关注公众号：大数据技术派
·2022-07-04 18:32

数仓建模—宽表的设计

万字长文来聊一聊中台数据仓库之拉链表sqoop用
·2022-07-04 18:02

Ganglia Sqoop DataX Azkaban

Sqoop何为Sqoop？Sqoop(SQL-t
HikZ.919·2022-07-04 12:55

数仓理论- 02 数据仓库架构

3.1.2内容ETL,ODS,CDM(DWS,DWD),ADS3.1.3ETL:数据同步模块从业务数据库(即数据源)抽取数据extract交互转换：进行清洗一级标准化transform加载load使用的工具:Sqoop
:Concerto·2022-07-04 12:18

大数据技术概述_第一章笔记

1.1.2大数据关键技术1.2代表性大数据技术1.2.1Hadoop1.2.1.1HDFS1.2.1.2MapReduce1.2.1.3YARN（重点）1.2.1.3hbase、hive、flume、sqoop
27878678678·2022-07-03 21:00

大数据：Flume和Sqoop

文章目录Flume和Sqoop一、Flume的功能与应用1.功能2.应用二、Flume的基本组成三、Flume的开发规则：四、Flume开发测试五、常用Source1.Exec2.Taildir3.其他
Xiao Miao·2022-07-02 09:52

字节跳动数据平台技术揭秘：基于 ClickHouse 的复杂查询实现与优化

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度
·2022-07-01 16:04

字节跳动数据平台技术揭秘：基于 ClickHouse 的复杂查询实现与优化

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度
字节跳动数据平台·2022-07-01 16:00

Sqoop的简单使用

文章目录1.简介2.原理3.Sqoop简单使用1.导入数据1.RDBMS到HDFS2.RDBMS到Hive2.导出数据1.HIVE/HDFS到RDBMS3.脚本打包1.简介Sqoop是一款开源的工具，主要用于在
treesorshining·2022-07-01 08:39

Flink简介

第一章初识Flink大数据开发总体架构大数据开发总体架构数据传输层：常用的数据传输工具有Flume、Sqoop、Kafka。
日落_3d9f·2022-06-29 18:14

社区动态 | Apache Doris 社区喜迎 4 位新晋 Committer 成员

Doris全面兼容标准的SQL语法，支持MySQL协议，拥有完备的分布式管理框架和MPP查询框架，并且提供列式存储、向量化执行、预聚合引擎、分级存储等众多高级特性。不仅能够轻松
ApacheDoris·2022-06-17 10:32

Apache Doris 社区喜迎两位 PPMC 成员

Doris全面兼容标准的SQL语法，支持MySQL协议，拥有完备的分布式管理框架和MPP查询框架，并且提供列式存储、向量化执行、预聚合引擎、分级存储等众多高级特性。不仅能够轻松
ApacheDoris·2022-06-17 10:01

Ambari成为Apache顶级项目

ApacheAmbari能够对ApacheHadoop集群进行供应、管理和监控，已支持HDFS,MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig,Sqoop
刘江总编·2022-06-13 10:51

什么是HBase？终于有人讲明白了

一、初识HBaseHBase是一个面向列式存储的分布式数据库，其设计思想来源于Google的BigTable论文。HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
Data跳动·2022-05-30 16:00

Clickhouse实时数仓建设

1.概述Clickhouse是一个开源的列式存储数据库，其主要场景用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
哥不是小萝莉·2022-05-29 21:00

大数据项目学习（一）

采集：Flume/Kafka/Sqoop存储：Mysql/Hasoop/Hbase计算：Hive/Tez查询：Presto/Druid/Kylin可视化：Superset任务调度：Azkaban全流程调度集群监控
爱爱爱爱五月天·2022-05-28 02:50

大数据平台技术栈

1采集层和传输层采集层Sqoop在hadoop和关系型数据库之间转换数据。FlumeFlume是一个分布式的高可用的数据收集、聚集和移动的工具。
超哥的杂货铺·2022-05-25 07:03

为什么列式存储会被广泛用在 OLAP 中？

不知是否有小伙伴们疑问，为什么列式存储会广泛地应用在OLAP领域，和行式存储相比，它的优势在哪里？今天我们一起来对比下这两种存储方式的差别。
Data跳动·2022-05-17 17:00

spark sql加载parquet格式和json格式数据

Parquet是一种列式存储格式，可以被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。2.Parquet文件下载后是否可以直接读取和修改呢？
zhousishuo·2022-05-17 17:47

Spark SQL 操作 Parquet 类型文件

Parquet介绍ApacheParquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Hadoop、Spark等)，被多种查询引擎支持（Hive、Impala
路飞DD·2022-05-17 16:52

Spark SQL的Parquet那些事儿.docx

Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。
浪尖聊大数据-浪尖·2022-05-17 16:37

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

在上一篇已部署StarRocks集群环境基础上，本篇以列式存储、稀疏索引开始对StarRocks表设计进一步学习，进而理解排序键、物化视图、位图索引、布隆过滤器索引，全面理解加速数据处理，并通过动手实操示例巩固效果
itxiaoshen·2022-05-14 01:00

从 Git 到 Databend Fuse Engine 存储引擎

开源地址：https://github.com/datafusela...前言这篇来介绍下Databend底座：FuseEngine，一个动力澎湃的列式存储引擎，DatabendFuseEngine在设计之初社区给它的定位是
·2022-05-11 17:54

教你使用Sqoop一次性将mysql中的十张表导入到hive中

SSM专栏（更新中）本期文章：Sqoop一次性将mysql中的十张表同步到hive中如果对您有帮助还请三连支持，定会一一回访！
it春和·2022-05-06 16:21

Hadoop（四）C#操作Hbase

HbaseHbase是一种NoSql模式的数据库，采用了列式存储。
chester·chen·2022-05-02 19:00

【Hadoop】9、Sqoop组件

Sqoop组件安装与配置Sqoop是Apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
王智刚·2022-04-30 13:00

大数据-离线数据处理

Hive管理数据数据清洗数据处理PV：访问量UV：独立访客数SV：独立会话数BR：跳出率NewIP：新增IP数NewCust：新增访客数AvgTime：平均访问时长AvgDeep：平均访问深度分析结果表通过sqoop
DayDayUp-Panda·2022-04-24 14:33

2020大数据开发工程师知识点整理（更新）

&A的整理，会在这两个星期内发出来，感兴趣的同学可以关注我哦~如果这篇博文在你面试的时候有帮助的话，欢迎回来还愿哦~目录写在前面javaHadoophdfsYarnhivezookeeperflumesqoopHBasejava1
艾姆鸥·2022-04-17 12:35

数仓建模—指标体系

万字长文来聊一聊中台数据仓库之拉链表sqoop用法之mysql与hive数据导入导出知识星球其实知识星球我以
大数据技术派·2022-04-14 15:45

MyBatis动态SQL如何实现前端指定返回字段

xml文件中resultMap的type改为第二种很笨的方法动态SQL实现前端指定返回字段问题描述在使用ClickHouse时，遇到需要根据业务需求，动态返回指定字段，从而充分利用ClickHouse列式存储的优势
·2022-03-31 17:12

大数据之路 --- Hbase（分布式数据库）

---->HBase数据库的特点：列式存储：按列存储海量存储：无单机存储量限制，分布式存储极易扩展：自动分区、非常容易根据数据量自动扩展高并发：支持高并发、随机快速读写稀疏：支持超宽列、不必每列都包含内容
Mai_Noe·2022-03-31 10:06

ClickHouse基础

ClickHouse基础一、clickhouse-简介1、ClickHouse优点2、ClickHouse缺点3、应用场景4核心概念（1）数据分片（2）列式存储（3）向量化（4）表（5）分区（6）副本（
weixin_52189442·2022-03-28 08:01

hadoop之sqoop准备工作------>windows10安装mysql

一、软件安装1.下载地址：http://dev.mysql.com/downloads/file/?id=4672692.解压缩mysql-5.7.17-winx64.zip，我这里将文件解压到了E盘，放到了文件夹mysql5.7中。3.在安装目录下新建一个my.ini文件，然后用记事本打开输入mysql的基本配置：[mysql]#设置mysql客户端默认字符集[mysql]#设置mysql客户端
小虹尘·2022-03-28 07:16

华为云FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践

背景传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。
·2022-03-25 10:09

大数据之 Hadoop 基本概念

—Hadoop是什么是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的储存和海量数据的分析计算问题广义上说，Hadoop是一个更广泛的概念，Hadoop生态圈——大数据技术生态体系Sqoop
程序少年不秃头·2022-03-25 07:27

sqoop导出数据export目标mysql数据类型有tinyint异常

sqoop导出指南https://sqoop.apache.org/docs...原文链接防止盗用：https://segmentfault.com/a/11...简单总结：如果使用sqoop-export
·2022-03-22 11:07

华为云FusionInsight MRS ClickHouse 增强特性介绍

功能上支持DDL、DML、数据备份恢复、权限控制、分布式管理等完备的DBMS功能，SQL基本与标准SQL兼容，支持丰富的函数和数据类型，具有强大的MergeTree表引擎，列式存储支持LZ4压缩，支持数据分片
·2022-03-22 10:55

Jbd2：Hadoop

Jbd2：Hadoop1.发展历史2.主要特性3.部分组件3.1HDFS3.2HBase3.3Sqoop3.4Zookeeper4.实践操作4.1创建Hadoop用户4.2安装Java4.2.1安装jdk4.2.2
JxWang05·2022-03-18 07:45

mysql 数据区分大小写_Mysql的数据存储不区分大小写

，ALTER修改表字段区分大小写1Mysql存储不区分大小写带来的影响举例1)hive里存储的字段是区分大小写的2)mysql里存储，默认是不区分大小写的3)当将hive表里存储在hdfs上的数据通过sqoop
丛越·2022-03-18 05:21

hadoop概念和组成（hdfs、yarn、mapreduce）

HadoopDistributedFileSystem）2.资源管理系统YARN3.分布式计算框架MapReduceHadoop生态圈1.Hive2.pig3.Mahout4.Hbase5.Zookeeper6.Sqoop7
栖之·2022-03-18 05:19

Spark SQL1.2测试

支持从现有ApacheHive表以及流行的Parquet列式存储格式中读取数据，数据源API通过SparkSQL提供了访问结构化数据的可插拔机制（接口需要自己实现，后面附有）。数据源API
diaomu5377·2022-03-18 04:26

【无标题】

数据格式txtdoc文本文件xml/html标签的结构化数据存储配置信息jsoncsvparquet列式存储格式orc列式存储格式hdfs文件存储格式hdfs文件存储格式分为两大类行存储和列存储行存储,
jiayeliDoCn·2022-03-16 06:45
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他