hadoop大数据sqoop

1&2 大数据发展趋势 & HDFS和ZooKeeper【HCIA-BigData】

文章目录1、大数据发展趋势与鲲鹏大数据**大数据应用的主要计算模式****Hadoop大数据生态圈****华为云大数据服务**2、HDFS分布式文件管理系统和ZooKeeper2.1导读2.2HDFS分布式文件管理系统
Mengo_x·2022-02-28 10:22

实时数仓与离线数仓架构对比、Flink消费流程

实时数仓架构图：离线数仓：与离线数仓区别：MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通过监控binlog方式（行级别），而Sqoop是通过MR
养不起心爱的猫该如何是好·2022-02-28 09:39

离线数仓项目之数据采集

一、采集数据1.准备工作：hadoop安装zookeeper安装kafka安装flume安装sqoop安装2.思想架构：3.架构解析1.使用flume->kafka->flume的原因？
qq_45688530·2022-02-28 09:08

大数据学习笔记：Hadoop生态系统

文章目录一、Hadoop是什么二、Hadoop生态系统图三、Hadoop生态圈常用组件（一）Hadoop（二）HDFS（三）MapReduce（四）Hive（五）Hbase（六）ZooKeeper（七）Sqoop
howard2005·2022-02-27 09:39

Hbase

行键（唯一标识）列族（有族和标签定义不同列，如性别有男女雌雄）时间戳（相当于主键不唯一）根（书），数据元（目录），子表（内容）日志记操作sqoop连接关系型数据库和云注意几种云数据格式
水面清圆一一风荷举苏幕遮·2022-02-21 13:13

Hadoop数据分析平台实战——160Sqoop介绍

离线数据分析平台实战——160Sqoop介绍Sqoop介绍ApacheSqoop（SQL-to-Hadoop）是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle
Albert陈凯·2022-02-21 03:26

sqoop从mysql导入数据到hive及hive导入数据到mysql的指令

sqoop命令举例1)列出mysql数据库中的所有数据库sqooplist-databases-connectjdbc:mysql://172.31.100.115:3306/-usernameroot-password123456image.png2
龟龟51·2022-02-20 08:37

sqoop2 配置

title:sqoop2配置tags:sqoop2,环境配置,1.99.7,官网grammar_cjkRuby:true1Serverinstallationsqoop2官网下载2解压到/usr/tools
天堂宝宝_V·2022-02-20 05:08

hadoop数据传输工具sqoop

【概述】[sqoop]是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。
先生_吕·2022-02-19 12:10

大数据工具使用sqoop 1.99.7入门安装配置

科多大数据带你来看，大数据工具使用sqoop1.99.7入门安装配置1、Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
大数据在说话·2022-02-18 08:52

HBase简介

hadoop生态系统Mahout：机器学习的基本库Zookeeper:分布式协作服务Flume:日志收集工具Sqoop:关系数据ETL工具•非关系型数据库知识面扩展•Cassandrahbasemongodb
南宫萧言·2022-02-17 19:03

impala + kudu一些优化心得

用了几次impala+kudu做大数据实时计算场景，一路踏坑过来，这里分享踏坑经验一开始需要全量导入kudu，这时候我们先用sqoop把关系数据库数据导入临时表，再用impala从临时表导入kudu目标表由于
阿甘骑士·2022-02-17 14:49

Sqoop定时导入HDFS脚本

bashdb_date=$2echo$db_datedb_name=gmall#定义了一个方法，方法体里边的$1,$2指的是调用这个方法时候传入的参数import_data(){/opt/module/sqoop
香山上的麻雀·2022-02-15 15:59

Sqoop数据导入/导出

1.从HDFS导出到RDBMS数据库1.1准备工作写一个文件sqoop_export.txt1201,laojiao,manager,50000,TP1202,fantj,preader,50000,TP1203
FantJ·2022-02-13 16:32

三.Hadoop介绍

Hadoop大数据平台入门——HDFS和MapReducehttps://blog.csdn.net/a60782885/article/details/71304913背景随着硬件水平的不断提高，需要处理数据的大小也越来越大
愿风去了·2022-02-12 12:37

sqoop用于数据迁移

用法示例查看hive库中所有的表sqooplist-tables--usernamehive--password'XX'--connectjdbc:mysql://XX:3306/hive?
佛系小懒·2022-02-11 19:22

大数据初学者福利：一片文章教你搭建Hadoop大数据处理环境

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT模式上网，而且要保证与物理主机的IP互相能
丨程序之道丨·2022-02-09 20:25

Sqoop之环境搭建

本文介绍了使用Sqoop导入MYSQL数据到Hive&Hbase之中。
阿坤的博客·2022-02-09 16:36

CentOS7.x 安装Sqoop

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
FantJ·2022-02-09 01:08

Sqoop往hive中导入导出数据的常用命令

一、导入hive的相关参数sqoophelpimport可以拿到这些参数二、导入数据常用命令sqoopimport\--connect'jdbc:mysql://192.168.228.128:3306
guaren2009·2022-02-06 20:21

hadoop学习笔记

技术变革技术驱动存储：文件存储==>分布式存储计算：单机==>分布式计算网络：万兆数据库：RDBMS==>NoSQL(HBase、Redis..)商业驱动从大量数据中获得价值技术概念数据采集：FlumeSqoop
异同·2022-02-06 08:13

Sqoop基础 （二）导入，导出，创建job

bin/sqoopimport\--connectjdbc:mysql://node03:3306/userdb\--usernameroot\--password密码\--delete-target-dir
做个合格的大厂程序员·2022-02-05 14:05

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
comer_liu·2022-02-05 12:57

1. Hadoop：环境搭建以及 MapReduce 程序运行

一、版本选择在最初学习和使用Hadoop的时候，我直接选用了最新的2.8.1版本，之后安装了Hive，此时整个系统还是可以正常运行的，但是当我安装Sqoop之后，问题出现了：在我使用Sqoop命令操作的时候
东方未曦·2022-02-05 08:25

sqoop如何指定pg库的模式(方法详解)

目录说明解决办法sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。
·2022-02-04 15:56

sqoop：导出MySQL数据至Hive时，Null值处理

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，直接导入Hive会把null识别为字符串，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。Hive建表的时候null值转为空字符串CREATE
zyi·2022-01-30 08:22

【教程】手把手教你如何搭建Hadoop单机伪集群

作者：幻好来源：恒生LIGHT云社区概述本文将通过虚拟机搭建单机伪集群的Hadoop服务，帮助更好的学习和理解Hadoop大数据平台的运行原理。具体到每个细节，方便新手学习和理解。
·2022-01-10 13:32

数据挖掘

搜索排序我们说过Hadoop大数据技术最早源于Google，而Google使用大数据技术最重要的应用场景就是网页排名。
do_young·2021-12-30 16:26

Sqoop 的基本使用

这个图也好看，可爱转载自：Sqoop的基本使用目录:一、Sqoop基本命令1、查看所有命令2、查看某条命令的具体使用方法二、Sqoop与MySQL1、查询MySQL所有数据库2、查询指定数据库中所有数据表三
夜希辰·2021-12-28 22:35

数据集成工具—Sqoop

数据集成/采集/同步工具@目录数据集成/采集/同步工具Sqoop简介Sqoop安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录
真好吃啊·2021-12-06 21:00

Ubuntu Docker安装并使用的方法

仓库进行安装安装DockerEngine-Community三、使用Shell脚本进行安装卸载docker二、创建容器五、Docker中搭建大数据环境安装MySQL安装JDK安装Hadoop安装Hive安装SqoopDockerEngine-Community
·2021-12-01 11:20

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
jiangliu·2021-11-27 18:46

大数据面试题

大数据面试题一、Linux常用高级命令二、shell三、hadoop四、zookeeper五、flume（三件事）六、Kafka（23件事）七、hive八、Sqoop九、AzkabanoozieairflowDolphinScheduler
cpuCode·2021-11-24 19:15

各大技术基础教学、实战开发教学（最新更新时间2021-11-23）

一、Hadoop大数据Hadoop集群搭建（一）——Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆Hadoop集群搭建（二）——Linux系统SSH远程双向免密登陆Hadoop集群搭建（三）
Yuan-Programmer·2021-11-16 23:41

各技术实战开发文章整合（持续更新~~）

一、Spring框架开发SpringBoot——第一个项目Spring项目——抵御跨站脚本（XSS）攻击Spring项目——Shiro和JWT技术二、Hadoop大数据开发Hadoop——集群搭建(步骤图文超详细版
HuiSoul·2021-11-12 00:50

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)

一、前情提要前面两篇文章我们已经成功搭建了Hadoop以及安装了Hive，Sqoop和Mysql数据库，现在我们就来利用Hadoop尝试做一个小实战，实现单词统计！
HuiSoul·2021-11-10 00:34

sqoop 创建job报空指针异常解决方法

在/sqoop/lib目录下有一个叫hive-exec-3.1.2.jar的包把它删除替换为java-json.jar下载链接：链接:https://pan.baidu.com/s/1r6jSXKX1wCh6
@微笑男孩·2021-11-04 19:05

sqoop job 定时实现增量、全量导入Hive

本人使用工具：Windows和虚拟机链接的工具为：MobaXtermWindows链接数据库工具：Navicat本人的数据库字段为：sqoop实现全量导入执行的语句为：sqoopimport--connectjdbc
@微笑男孩·2021-11-04 19:50

Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版)

还没有搭建Hadoop，欢迎看看我前面的一篇文章：Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1
HuiSoul·2021-10-27 15:39

sqoop的简单使用

目录import传统关系型数据到导入到HDFS注意事项传统关系型数据到导入到HIVE提升关系型数据库导入到HIVE的执行效率传统关系型数据到导入到HBASEexportsqoop是一种数据集成工具，主要负责异构数据源的互相导入
啊帅和和。·2021-10-19 22:03

2021-10-17

Hadoop并不只是单单一个技术，而是一个生态圈，里面包括Spark、Flume、HBase、Kafka、Sqoop、Hive、Oozie、Azkaban、Zookeeper。
bingo fighting·2021-10-17 17:50

hadoop中hive与mapreduce小文件合并优化实操（超强详解！！！）

1.2-小文件的危害：2-解决方案实操2.1-解决方案12.2-解决方案22.3-解决方案33-总结扩展3.1-总结3.2-扩展（map任务数量的准确控制）1-背景公司数据治理过程中，发现apachehadoop
KG大数据·2021-09-09 15:04

DataX、sqoop抽取TDSQL数据库中数据报Timeout的问题

由于此类问题虽然不常见，但是每次遇到排查都会花费大量的时间，整理整个case，供参考背景：客户报障他们只要一连接到TDSQL抽取数据，差不多10分钟左右就会出现超时中断，反复几次都不成功。连到MySQL却没有任何问题。排查过程：一、看到这个问题，确实比较懵，除了能看到客户用了我们的DCDB产品之外，不清楚发生了什么事。首先和客户确认，他们用的什么工具做的数据抽取，反馈是DataX。先了解一下Dat
·2021-09-06 20:47

Lenovo x DorisDB：简化数据处理链路，极大提升 BI 分析效率

原始架构图：数据采集通过Sqoop读取RDBMS导入Hive。用Flume来同步日志文件到Hive。通过爬虫技术将网上数据爬取下来，存储到RDBMS，再由Sqoop读取RDBMS，导入到Hive。
·2021-08-19 00:00

教你如何使用FusionInsight SqoopShell

摘要：Sqoop-shell是一个Loader的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。
·2021-08-10 18:04

Flume【基础知识 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式（一篇即可入门Flume）

Flume跟Sqoop、Kettle有类似的地方但是又有不同，随后会详细分析。2基本架构及核心概念基本架构图【官网】：来自尚硅谷的资料，侵删，【
シ風·2021-08-08 20:45

Hudi自带工具DeltaStreamer的实时入湖最佳实践

背景传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越
·2021-08-02 15:09

硬核 | Sqoop入门指南

本篇文章，菌哥将介绍的一个操作最简单，同时也是在工作中使用频率极高的开源组件——Sqoop，希望您能在耐心看完之后，有所收获！首发链接：https://www.ebaina.com/
·2021-07-27 19:26

hadoop集群部署之基础概念介绍（一）

Hadoop生态其实我们在做工业级的大数据框架部署的时候，所说的hadoop大数据部署通常指的是一整个生态，其中包括hadoop，spark，hive，hdfs，flink等，而不是单独指hadoop。
远方的旅行者·2021-07-25 16:10

数据规范

上游数据库：判断sqoop等同步工具返回状态，非“成功完成”状态，后续依赖任务不能启动。第三方同步：上游为非集团商业部，建议参考第上游上报规范，可与上游数据方
wgwtransfer·2021-06-24 20:57
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他