Sqoop列式存储

sqoop连接本地windows的mysql出错：java.sql.SQLException: Access denied for user 'root'@'master' (using passwo

问题：linux的sqoop命令连接windows的mysql出错：java.sql.SQLException:Accessdeniedforuser'root'@'master'(usingpassword
_maybewecan_·2018-12-22 16:06

Python操作hive与mysql

我的博客原文地址：http://www.ikeguang.com/2018/12/21/pyhive-mysql/由于hive查询结果是不能直接保存到mysql的，有人会用sqoop，相对还是不方便。
ikeguang·2018-12-21 23:33

Sqoop各种执行命令总结（详细！可直接用！）

/sqoopimport--connectjdbc:mysql://**Mysql安装的主机IP（或映射）**:3306/数据库名--username用户名--password密码--table表名--
Forever_ck·2018-12-21 20:07

大数据平台和MySQL之间的数据导出和导入

来定义的数据从MySQL到大数据平台----------数据导入数据从大数据平台到MySQL-----------数据导出一、数据导出（大数据平台---->Mysql）1.导出HDFS数据到MySQLsqoopexport
逆水行舟如何·2018-12-19 14:15

sqoop使用，从hive向oracle导入数据

author:lfsqoopexport使用说明--export-dir和(--table和--call中的一个)是必须的。
翌人行动·2018-12-19 10:25

sqoop学习之路

前言sqoop是一款用于结合关系型数据库和hdfs(hive/hbase)的数据库之间数据相互传递的工具，可以将mysql/oracle等数据库中存在的表通过sqoop来传递给hive或着是hbase，
夜古诚·2018-12-18 18:38

大数据相关面试题整理（简单）

构成了整个流程2）采集可以用flume，3）存储用hbase，hdfs，mangodb就相当于hbase，4）分析用Mapreduce自己写算法，5）还有hive做数据仓库，6）pig做数据流处理，7）转储方面有sqoop
Running-小猛·2018-12-18 14:18

sqoop部署

sqoop部署1.解压sqoop-1.4.7tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.重命名sqoop，将名称改简短一点mvsqoop-1.4.7.bin
Mr Cao·2018-12-17 21:09

大数据文件格式揭秘：Parquet、Avro、ORC

Hadoop文件系统优化出的存储结构提供高效的压缩二进制存储格式文件可分割，具有很强的伸缩性和并行处理能力使用schema进行自我描述属于线上格式，可以在Hadoop节点之间传递数据不同点行式存储or列式存储
AlferWei·2018-12-17 20:28

离线计算

离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：sqoop批量导入数据，HDFS批量存储数据，MapReduce的批量计算数据，蜂巢批量计算数据，**任务调度。
小飞猪小肥猪·2018-12-17 19:37

离线计算与实时计算

离线计算：批量（batch）获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、hive批量计算数据hivesql
小东升职记·2018-12-17 19:09

azkabin的安装与调试

//github.com/azkaban/azkaban解压源码到/home：unzip/home/azkaban-master.zip-d/home/编译源码：安装：在安装咯hadoop、hive、sqoop
qq_37001101·2018-12-17 16:35

Hbase存储模式

行式存储与列式存储列式存储(Columnarorcolumn-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。
Real_man·2018-12-17 14:19

HBase学习笔记 （伍）- Phoenix & Sqoop **

优势为什么phoenix快Phoenix功能特性Phoenix安装Phoenix实战：shell命令操作PhoenixPhoenix实战：javajdbc操作Phoenix通过mybatis操作PhoenixSqoop1
-无妄-·2018-12-14 15:19

sqoop导数据实例

mysql-->hivesqoopimport--connectjdbc:mysql://192.168.8.91:3306/mysql--usernameroot--passwordroot--tablehelp_topic
Chuck_basic·2018-12-13 16:53

sqoop导数据实例

mysql-->hivesqoopimport--connectjdbc:mysql://192.168.8.91:3306/mysql--usernameroot--passwordroot--tablehelp_topic
Chuck_basic·2018-12-13 16:53

Centons7下安装配置Sqoop、Linux下安装配置Sqoop

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Sqoop。
zjh_746140129·2018-12-11 21:47

sqoop导入数据到hive中，数据不一致

阅读更多sqoopimport"-Dorg.apache.sqoop.splitter.allow_text_splitter=true"-Dmapreduce.job.queuename=hqgf--
kingding·2018-12-11 10:00

数据同步工具简单介绍

非常适合离线数据，增量数据可以使用一些编码的方式实现，但是也仅仅针对insert数据比较有效，update数据就不适合github地址：https://github.com/alibaba/DataXSqoopSqoop
朝闻道-夕死可矣·2018-12-08 17:56

oracle两个表数据同步备份

这段时间做sqoop2数据导出，需要先将数据导入到中间表，然后将中间表的数据同步到目的表，中间表和目的表字段完全一样，只是表的名称不一致。
风之沙城·2018-12-06 14:16

大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低
guicaizhou·2018-12-06 11:15

Hive文件存储格式（TEXTFILE 、ORC、PARQUET三者的存储格式的压缩对比和查询速度对比）

综述：HIve的文件存储格式有四种：TEXTFILE、SEQUENCEFILE、ORC、PARQUET，前面两种是行式存储，后面两种是列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式
isea_you·2018-12-06 11:06

大数据流程图

from:https://www.cnblogs.com/shaosks/p/9431040.html大数据开发实战：数据流图及相关数据技术1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop
caiexu·2018-12-06 10:24

Sqoop导入数据到Hive报错，java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

执行命令，如：sqoopimport--connectjdbc:mysql://master:3306/sqoopDB--tableemployees--usernamebear--password123456
GYT0313·2018-12-05 20:42

使用sqoop将数据从hive导出至MySQL数据库

导出语句：sqoopexport--connect'jdbc:mysql://ip:port/db?
--只想躺着--·2018-12-04 11:48

sqoop导出hive数据到mysql避免空值

sqoopexport--connectjdbc:mysql://ip:3306/eqpt_base_db?
邢小成·2018-12-03 17:47

Spark学习（陆）- Spark操作外部数据源

MySQL的数据方法二:操作MySQL的数据方法三:Hive和MySQL综合使用产生背景每个Spark应用程序从读取数据开始，到保存数据结束加载和保存数据是不容易的比如大数据场景解析关系型数据库需要用工具如sqoop
-无妄-·2018-12-03 15:55

redis安装&&redis集群

NoSql数据库之Redis1、什么是nosql，nosql的应用场景2、Nonsql数据库的类型a)Key-valueb)文档型（类似于json）c)列式存储d)图式3、redis的相关概念kv型的。
kruppwang1·2018-12-02 01:00

sqoop1环境搭建

Sqoop是Apache软件基金会的一款定级开源数据传输工具，用于在Hadoop与关系型数据库之间进行数据传递，他可以将关系型数据中的数据导入到Hadoop的分布式文件系统（HDFS）中，也可以将分布式文件系统中的数据导出到关系型数据库中
翻滚啊牛宝宝·2018-12-01 20:56

1.大数据指CDH集群搭建详细步骤（一）

sDistributionIncludingApacheHadoop，简称“CDH”）基于web的用户界面，支持大多数的hadoop组件，包括了HDFS，MapReduce以及HIve和PigHbase以及Zookeeper以及Sqoop
qq_35561207·2018-11-30 19:50

CentOS7.5,CDH6安装部署

sDistribution,includingApacheHadoop基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop
bug搬运攻城狮·2018-11-30 13:03

sqoop将hive数据导入mysql

一、首先安装sqoop，在官网上http://sqoop.apache.org/下载sqoop并上传到Linux中1.解压tar-xvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2
那只猫哭了·2018-11-30 11:35

clickhouse简单了解及使用

一、clickhouse:日处理记录数：十亿级1.开源的列式存储的数据管理系统2.支持线性扩展3.简单方便4.高可靠性5.容错(支持多主机异步复制，可以跨多个数据中心部署，单个节点或整个数据中心的停机时间不会影响系统的读写性能
内蒙刘德华·2018-11-30 10:21

大数据学习路线（完整详细版）

大数据学习路线java(Javase,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop
大数据01·2018-11-28 12:33

超详细的Sqoop介绍及安装使用文档

这应该是全网目前最全的Sqoop文档了吧，小厨为大家奉献整篇内容包括:Sqoop架构、原理、安装、使用等。
夏天小厨·2018-11-27 19:53

Hue中Sqoop Editor使用--query的坑

概述本文描述了在Hue中SqoopEditor使用--query的问题及解决办法。问题一个可以在终端运行的带—query的Sqoop脚本，在HUE4.
fantuanbaba·2018-11-27 16:31

关于本人hbase整合sqoop和hive框架的遇到的那些坑

关于本人hbase整合sqoop和hive框架的遇到的那些坑hbase:hbase-1.3.1-bin.tar.gzhive:apache-hive-1.2.2-bin.tar.gz要实现的功能：实现创建
qq_37001101·2018-11-26 20:18

40个大数据学习资源，个个是干货，最后7个太给力

今天给大家分享的这40个教程，送给对未来抱有远见的乐观主义者，涵盖了大数据入门的大多基础知识，从Java基础到Scala，Hadoop，Hbase，Mhout，Sqoop以及Spark等等。
实验楼v·2018-11-26 18:34

优化你的Sqoop import程序

概述本文对Sqoop原理进行分析，结合实战经验，给出一些优化策略。对如下问题给出建议。怎样让sqoop快起来？该用那个字段做分片？m应该设置成多少？可以用时间字段做分片么？
fantuanbaba·2018-11-26 15:05

sqoop jdbc连接mysql时接多个参数报错 --username: 未找到命令解决

由于我需要设置tinyInt1isBit=false来解决tinyint(1)变成Boolean类型的问题，使用了如下代码：sqoopimport-all-tables--connectjdbc:mysql
Fenggms·2018-11-26 11:29

sqoop从mysql导入数据到hive时tinyint(1)格式自动变成Boolean解决方案

首先，来一段官网原文：27.2.5.MySQL:ImportofTINYINT(1)fromMySQLbehavesstrangelyProblem:SqoopistreatingTINYINT(1)columnsasbooleans
Fenggms·2018-11-26 10:29

网站日志流量系统----【结果输出模块】

模块开发----结果导出1.ApacheSqoopSqoop是Hadoop和关系数据库服务器之间传送数据的一种工具.Sqoop：“SQL到Hadoop和Hadoop到SQL导入导出是站在Apache的角度来说的
CoderBoom·2018-11-25 17:06

网站日志流量系统----【结果输出模块】

模块开发----结果导出1.ApacheSqoopSqoop是Hadoop和关系数据库服务器之间传送数据的一种工具.Sqoop：“SQL到Hadoop和Hadoop到SQL导入导出是站在Apache的角度来说的
CoderBoom·2018-11-25 17:06

Sqoop1一般用于线上、测试脚本环境开发

注意：sqoop部署运算节点一般有hive、hbase、azkaban、oozie的节点上还有数据库的节点上Sqoop开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql
OnTheRoad_Kang·2018-11-24 21:14

sqoop在关系型数据库与分布式文件系统之间传输数据

sqoop用于hadoop与关系型数据库之间的数据传递，可以将数据库中的数据导入到hdfs等文件系统，也可以将hdfs上的数据导入到数据库中。
秋月丹青·2018-11-23 15:12

hadoop

HBASE：分布式海量数据库ZOOKEEPER：分布式协调服务基础组件MAHOUT：基于mapredue、spark、flink等分布式计算框架的机器学习算法库OOZIE/AZKABAN：工作流调度平台SQOOP
H.U.C.小黑·2018-11-23 09:52

flume、azkaban、sqoop小操作

flume日志采集工具agent任务sourcechannelsinknetcat想相当于开启了socket进行接收spooldir检测文件夹,但是内部不要再有文件夹,而且不要放重名文件,否则处理后发现有重名文件会报错execunix命令的执行结果作为要接受的数据例如tail-Fxxx.logavro常用于RPC,远程数据传输,在agent串联中作为上一个agent下沉地出现azkabanazka
孙喔喔的gorilla·2018-11-21 21:41

大数据收集层常用技术-Sqoop、Flume、Kafka

Sqoop：关系型数据收集使用场景：数据迁移、可视化分析结果、数据增量导入基本架构：存在两个版本，1.4.x和1.99.x，通常简称为sqoop1和sqoop2sqoop1:Connector定制麻烦、
凹谷·2018-11-20 10:36

企业级大数据技术框架（六层大数据技术体系）

Sqoop/Canal：关系型数据收集和导入工具，是连接关系型数据库和Hadoop的桥梁，Sqoop可将关系型数据库的数据全量导入Hadoop，反之亦然。
凹谷·2018-11-19 13:52

sqoop导入和导出数据脚本

sqoop导入和导出数据脚本一、将mysql数据导入到Hivesqoopimport\--connectjdbc:mysql://:3306/bd?
运动人生·2018-11-18 16:02
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他