Sqoop列式存储

sqoop连接mysql报错:ERROR tool.BaseSqoopTool: Got error creating database manager: java.io.IOException: N

用sqoop连接mysql时出现此错误，经检查，发现是命令拼写出错，大家也检查一下自己的拼写吧报错：ERRORtool.BaseSqoopTool:Goterrorcreatingdatabasemanager
超级中央电脑·2023-10-28 20:58

Hadoop之sqoop连接数据库报错

Hadoop之sqoop安装问题sqoop连接数据库输入以下命令时：sqooplist-databases--connectjdbc:mysql://node03:3306/?
疯狂的小强呀·2023-10-28 20:27

sqoop连接MYSQL报错处理

Sqoop远程连接MYSQL数据库报/apache/commons/lang/StringUtils错误，如下：[root@manager~]#sqooplist-databases--connectjdbc
泊涯·2023-10-28 20:56

FlinkCDC 2.0

CDC是ChangeDataCapture（变更数据获取）的简称CDC的种类CDC主要分为基于查询和基于Binlog两种方式基于查询的CDC基于Binlog的CDC开源产品Sqoop、KafkaJDBCSourceCanal
asd623444055·2023-10-28 17:13

一文总结HBase原理

一、存储模式1.1行式存储&列式存储定义以行为存储基准的存储方式称为行式存储，一行的数据聚合存储在一块；以列为存储基准的存储方式称为列式存储，保证每一列的数据存储在一块。
要记录的Ivan·2023-10-28 09:59

clickhouse、Doris、Kylin对比

clickhouseClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，是基于MPP架构的分布式ROLAP（RelationalOLAP）分析引擎主要用于在线分析处理查询
大地你王哥·2023-10-28 08:53

Apache Calcite 框架原理入门和生产应用

例如列式存储(HBase)、流处理引擎(Flink)、文档搜索引擎(Elasticsearch)等等。
王知无(import_bigdata)·2023-10-27 16:47

sqoop和flume简单安装配置使用

1.Sqoop1.1Sqoop介绍Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具结构化数据可以是MySQL、Oracle等关系型数据库把关系型数据库的数据导入到Hadoop与其相关的系统把数据从
_woami·2023-10-26 19:14

Clickhouse实时数仓建设

1.概述Clickhouse是一个开源的列式存储数据库，其主要场景用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
程序猿小乙·2023-10-26 12:09

clickhouse、Doris、Kylin对比

clickhouseClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，是基于MPP架构的分布式ROLAP（RelationalOLAP）分析引擎主要用于在线分析处理查询
大地你王哥·2023-10-26 12:07

Hadoop3.0大数据处理学习4（案例：数据清洗、数据指标统计、任务脚本封装、Sqoop导出Mysql）

案例需求分析直播公司每日都会产生海量的直播数据，为了更好地服务主播与用户，提高直播质量与用户粘性，往往会对大量的数据进行分析与统计，从中挖掘商业价值，我们将通过一个实战案例，来使用Hadoop技术来实现对直播数据的统计与分析。下面是简化的日志文件，详细的我会更新在Giteehadoop_study/hadoopDemo1·Huathy/study-all/{"id":"1580089010000"
Huathy-雨落江南，浮生若梦·2023-10-26 07:33

Hadoop+Zookeeper+Spark+Hbase集群式部署

前期准备hadoop-2.7.6.tar.gzhbase-1.2.6-bin.tar.gzjdk-8u161-linux-x64.tar.gzzookeeper-3.4.10.tar.gzsqoop-1.99.7
Go ku·2023-10-26 01:17

解决数据发散的问题

解决hive表数据发散的问题笔者在sqoop将hive表推送数据到pg库出现数据发散的情况，过程简述：建立临时表C，将表Aleftjoin表B的数据抽取到临表C，使用sqoop，推送到pg库（关系型数据库
江南正晓时·2023-10-25 06:07

大数据 - （六-2）- HBase

2）⽀持好多列HBase的特点海量存储：底层基于HDFS存储海量数据列式存储：HBase表的数据是基于列族进⾏存储的，⼀个列族包含若⼲列极易扩展：底层依赖HDFS，当磁盘空间不⾜的时候，只需要动态增加DataNode
啦啦啦喽啰·2023-10-25 04:38

<官网学大数据>Hive

Hive简介Hive是简历在HadoopHDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载(ETL),通过sqoop加载数据Hive定义了简单的sql查询语言HqlHive是SQL解析引擎
kangapp·2023-10-24 16:48

支持百亿数据场景，海量高性能列式数据库HiStore技术架构解析

支持百亿数据场景，海量高性能列式数据库HiStore技术架构解析HiStore介绍HiStore是阿里中间件团队研发的数据库产品，是一款基于独特的知识网格技术的列式数据库，定位于海量数据高压缩比列式存储
huangshulang1234·2023-10-24 12:50

Greenplum Hadoop视频教程_Hadoop应用案例剖析

基于GreenplumHadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：
xiarilove·2023-10-24 08:30

Sqoop的安装与配置

Sqoop安装准备安装Sqoop的前提是已经具备Java和Hadoop、Hive、ZooKeeper、HBase的环境安装步骤上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机中解压
菜鸟也学大数据·2023-10-23 00:56

sqoop命令简记

长时间没有使用sqoop命令忘记了很多，这里简单记一下，方便以后查找import上传大数据平台数据–username用户名称–password密码–table表名–hive-databasehive上的数据库名
select_where·2023-10-22 22:04

clickhouse入门学习笔记

clickhouse简介2016年，俄罗斯Yandex开源，列式存储数据库，底层是C++，用于在线分析处理查询（OLAP）。
我是坏人哦·2023-10-22 01:38

ClickHouse 与es比较

Clickhouse是俄罗斯搜索巨头Yandex开发的完全列式存储计算的分析型数据库。ClickHouse
奋斗的韭菜汪·2023-10-21 18:23

DataX抽取oracle数据到hive，数据量变多

textfile，textfile默认列分隔符为\001,默认行分隔符为\n在oracle源数据中本身带有textfile行分隔符\n，所以在遇到源数据中的\n时，就会提前换行，导致字段错位，数据量增加解决方案使用列式存储
微亮之海·2023-10-20 15:37

Flink-CDC|可以替代Canal的数据同步方案-尚硅谷Java培训

CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binlog的CDC开源产品Sqoop、KafkaJDB
尚硅谷铁粉·2023-10-20 12:03

Sqoop技术文档笔记

Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的开源工具。
小辉懂编程·2023-10-20 11:30

hdfs orc格式_大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
weixin_39854369·2023-10-20 03:35

Hive - ORC 文件存储格式详细解析

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
浪尖聊大数据-浪尖·2023-10-20 03:33

【Hive】（二十二）往 Hive 表中插入与导出数据方式load 、insert 、sqoop 等方式详解

当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive虽然不会验证用户装载的数
云 祁·2023-10-20 01:20

一款OLAP数据库ClickHouse

ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时
高阳很捷迅·2023-10-19 20:35

2.3 初探Hadoop世界

主要发展历程（二）Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS分布式文件系统2、MapReduce分布式计算框架3、Yarn资源管理框架4、Sqoop
howard2005·2023-10-17 14:15

大数据hive sqoop 部分笔记

在学习途中，欢迎指正和交流1.Sqoopjob工具，实现定时任务和任务保存：sqoopjob工具：sqoopjob工具可以用于创建保存经常使用的命令为一个任务，还可以用于实现定时调用任务，用于sqoop
HAVTL·2023-10-16 06:01

《走近大数据之Hive进阶》学习笔记（2）

http://blog.csdn.net/to_Baidu/article/details/52432217第一章课程简介1-1课程简介Hive不支持传统数据库中insert插入操作，可通过load语句和sqoop
allinallinallin·2023-10-16 06:59

carbondata优化小姐

一，carbondata高效原因carbondata文件是hdfs的列式存储格式查询速度是sparkSQL的10倍，通过多种索引技术和多次pushdown优化，对TB级别数据快速响应高效的压缩，使用轻量级和和重量级压缩组合的方式
不吃饭的猪·2023-10-15 08:54

由sqoop导入失败发现的hive的空值问题

先说基础知识hive中空值分两种（1）NULLhive中null实际在HDFS中默认存储为'\N'，通过查询显示的是'NULL'。这时如果查询为空值的字段可通过语句：aaaisnull或者aaa='\N'实现。此时可用hive中与null有关的函数,如nvl,coalesce,isnull等判断是否为null是为true。产生NULL值，一般都是由hive外链接引起的。（2）''''表示的是字段不
亨利三十六·2023-10-14 22:05

万字整理 最新主流大数据技术分类大全（持续更新）

数据采集主要代表是：Flume、Sqoop、Logstash、Databus、DataX、Canal、Kettle、Maxwell、NIFI、Debezium、SeaTunnel、Fl
炼数成器·2023-10-14 18:54

（十一）安装sqoop

下载并解压1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/2）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
JayWolf·2023-10-14 10:25

获取ftp服务器的系统编码,ftp服务器编码格式

ftp服务器编码格式内容精选换一换Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性：提供数据转化功能支持图形化配置转换步骤支持从
我自来去·2023-10-14 08:51

ftp服务器文件编码类型,ftp服务器编码格式

ftp服务器编码格式内容精选换一换Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性：提供数据转化功能支持图形化配置转换步骤支持从
达欣欣·2023-10-14 08:50

Apache Doris系列：大数据平台安装与部署详细步骤

ApacheDoris系列：大数据平台安装与部署详细步骤ApacheDoris（前身为Palo）是一个适用于大数据分析的开源列式存储数据库。
我的小星星·2023-10-14 04:15

NoSQL数据库Hbase之Phoenix与Sqoop

目录Phoenix简介和优势功能特性搭建与部署shell操作Phoenixjava使用jdbc调用phoenix使用springboot+mybatis方式来调用phoenix代码仓库Sqoop简介SqoopImportSqoopExport
江南云朵·2023-10-13 23:49

hadoop之Sqoop

Sqoop原理：将导入导数命令翻译成MR程序来实现，翻译出的MR主要是针对InputFormat和OutputFormat进行定制的；sqoop的作用：利用Mapreduce分布式批处理，加快了数据传输速度
USTC_IT·2023-10-13 19:11

Apache Atlas元数据 最全资料

支持对hive、storm、kafka、hbase、sqoop等进行元数据管理以及以图库的形式展示数据的血缘关系。优势（能复用哪些功能）1、搜
丨Apricity丨·2023-10-13 18:46

Hadoop生态系统的元数据管理和数据治理平台--Atlas 学习

支持对hive、storm、kafka、hbase、sqoop等进行元数据管
m0_67401660·2023-10-13 18:16

【技术分享】 数据治理工具Apache Atlas初体验

ApacheAtlas就是为解决这些问题而产生的数据治理工具，利用Atlas可以自动构建数据字典，自动生成数据血缘，快速检索数据资源，不仅支持Hadoop生态的Hive、HBase、Sqoop等组件，还可以支持传统关系型数据
yestolife123·2023-10-13 18:14

Mysql sql 拼接Sqoop和Phoenix语句

是否可以直接通过sql语句批量生成sqoop语句呢？？此外，除了数据接入过来之外，还需要做的就是查询，通过phoenix查询，需要创建视图，怎么通过mysqlsql语句自动生成创建视图的语句呢？
suolemen·2023-10-13 17:31

YashanDB向量化执行引擎如何给海量数据分析提速

为了解决这个问题，基于列式存储的向量
YashanDB·2023-10-12 10:15

sqoop安装教程

1、由于使用的是hadoop2.7，所以下载sqoop版本为：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2、将压缩包放入hadoop目录下，解压tar-zxvfsqoop
linjiajiam·2023-10-12 09:47

干货：数据中台的深度思考与总结

数据采集工具Canal、DataX、Sqoop数据
公众号:肉眼品世界·2023-10-12 09:30

sqoop 脚本密码管理

1：背景生产上很多sqoop脚本的密码都是铭文，很不安全，找了一些帖子，自己尝试了下，记录下细节，使用的方式是将密码存在hdfs上然后在脚本里用别名来替代。2：正文第一步：创建密码对应的别名。
hankl1990·2023-10-12 04:13

Hive导入mysql数据丢失_记录一次 Sqoop 从 MySQL 导入数据到 Hive 问题的排查经过

问题描述MySQL中原始数据有790W+的记录数，在Sqoop抽取作业成功的情况下在Hive中只有500W左右的记录数。
weixin_39597987·2023-10-11 21:45

[sqoop]hive导入mysql,其中mysql的列存在默认值列

一、思路直接在hive表中去掉有默认值的了列，在sqoop导入时,指定非默认值列即可，二、具体mysql的表hive的表createtabledwd.dwd_hk_rcp_literature(idstring
胖胖学编程·2023-10-11 21:38
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他