E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive学习
HIVE学习
与实践(四):linux shell 脚本 for in 的用法,join 用法,正则表达式函数regexp_extract
linuxshell中forin#!/bin/shfordatein20161025201610272016102820161102201611032016110420161105doecho"${date}"doneHive的join用法假设有tableA和tableB两张表,TableA是左边的表,TableB是右边的表。其各有四条记录,其中有两条记录是相同的,如下所示:idnameidnam
O白马非马O
·
2016-12-06 18:57
数据库相关
数据挖掘
linux脚本
HIVE学习
与实践(三):结合linux shell脚本按日期提取表,count,distinct,group by用法
例子下面的例子create_everyday.sh是在bash脚本里面嵌入hive的代码,实现在bash下直接运行脚本create_everyday.sh2011010120110302就可以统计把每天的信息提出来。create_everyday.sh:#file:create_everday.sh#!/bin/sh#确定时间范围从startdate到enddatesource/home/hdus
O白马非马O
·
2016-11-16 21:36
数据库相关
数据挖掘
linux脚本
HIVE学习
与实践(二):根据partition建表,插表,where in 语法,concat用法
1.脚本例子1建表mytable,partition就是按rcd_date也就是recorddate时间来分区,用’\t’作为row的分隔符。createtableifnotexistsmydb.mytable(eventstringCOMMENT'####',info_idstringCOMMENT'####',session_idstringCOMMENT'###')partitionedby
O白马非马O
·
2016-11-14 21:55
数据库相关
数据挖掘
HIVE学习
与实践(一):基本命令
一些概念(自我理解)传统的基于传统关系型数据库都是建在单一服务器上的,用户可以访问的范围和能力受限制;当数据库越来越多,越来越大,可能一张表就要分存到几个物理隔离的服务器上。所以要把这么庞大的数据整合起来,就有了hadoop分布式文件系统(HDFS)。有了文件系统,怎么让用户便捷高效地访问呢?Hive就是其中的一套选择:Hive查询语言(HiveQL或者HQL),与原来应用在传统数据库上的SQL语
O白马非马O
·
2016-11-03 18:32
数据库相关
数据挖掘
hive jdbc使用
在
hive学习
中,通过java调用hive的jdbc驱动来查询数据。声明:当前基于hive1.2.1版本进行的学习和测试。首先环境中有部署hive,并且存在。
龙小白
·
2016-10-30 15:25
hive
hive学习
练习&Sqoop知识补充
解决SecureCRT进入hive模式后无法删除数据的问题,打开会话设置,终端模拟,选择Linux即可DatabasesinHive如果在hive中未定义数据库的话,这个“default”作为默认的数据库。创建数据库语法createdatabaseuserdb;如果userdb存在的话,就会抛出错误,可以这样:createdatabaseIFNOTEXISTSuserdb;在“database”相
岁月的拓荒者
·
2016-08-20 03:37
hive
sqoop
hive基本操作
Hive学习
之Hive的函数一、Hive的数据库1.显示当前所有数据库:showdatabases;2.创建数据库createdatabasecrm;如果不指定位置,那么database在活动方式文件系统中的位置为
罗森内里的红
·
2016-08-19 22:11
Hive
hive学习
—Hive几种导出数据方式
1.拷贝文件如果数据文件恰好是用户需要的格式,那么只需要拷贝文件或文件夹就可以。hadoopfs–cpsource_pathtarget_path2.导出到本地文件系统--不能使用insertintolocaldirectory来导出数据,会报错--只能使用insertoverwritelocaldirectory来导出数据--hive0.11版本之前,只能使用默认分隔符^A(ascii码是\00
mtj66
·
2016-08-07 16:20
Hadoop之
hive学习
_01
Hive是构建在hdfs上的一个数据仓库,本质上就是数据库,用来存储数据数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,用于支持企业或组织的决策分析处理。1.面向主题:数据仓库的主题是按照一定得主题进行组织的,即用户所关注的重点对象,比如商品推荐系统。2.集成的:将分散的数据(文本文件,oracle数据,mysql数据。。。)进行加工处理才能够成为数据仓库的存储对象。3.不可
csdn_flying97
·
2016-07-07 09:03
BigData
Hadoop之
hive学习
_01
Hive是构建在hdfs上的一个数据仓库,本质上就是数据库,用来存储数据数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,用于支持企业或组织的决策分析处理。1. 面向主题:数据仓库的主题是按照一定得主题进行组织的,即用户所关注的重点对象,比如商品推荐系统。2. 集成的:将分散的数据(文本文件,oracle数据,mysql数据。。。)进行加工处理才能够成为数据
csdn_flying97
·
2016-07-07 09:00
hadoop
hive
hive学习
(2)——安装
一、安装前准备。因为Hive是基于Hadoop平台的,所以安装Hive前确保Hadoop平台正常运行。Hadoop版本为hadoop2.6.0hive版本为hive-0.14.0二、安装1.将hive拷贝到linux服务器。2.tar-zvxfapache-hive-0.14.0-bin.tar.gz解压hive的tar包。3.执行vi/etc/profile加入hive的配置如图:4进入hive
罗森内里的红
·
2016-06-20 22:50
Hive
大数据的仓库
Hive学习
(一)
我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统,可是我们发现这跟我们平时常用的关系型数据库有很大区别,为了使用方便,产生了针对大数据存储的数据仓库Hive。一、是什么1、概念 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据。它把海量数据存储于hadoop文件系统,而不是数据库,但提供了
u010168160
·
2016-06-20 14:00
hadoop
hive
大数据
数据仓库
hive学习
(1)——hive简介
Hive的简介Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和redu
罗森内里的红
·
2016-06-19 23:17
Hive
hive学习
之三:项目中的hive优化实践
1.小表放入内存,在map端join,并不是所有聚合操作都在reducer端操作,慎重使用mapjoin,一般行数小于2000行,大小小于1M2.hive.groupby.skewindata变量从上面groupby语句可以看出,这个变量是用于控制负载均衡的。当数据出现倾斜时,如果该变量设置为true,那么Hive会自动进行负载均衡。当该变量设为true时候,不可以使用distinct关键字对多列
anickname
·
2016-05-17 21:49
【
hive学习
】
InstallingHiveonOSXLion(10.9)withBrewhive报Unabletoinstantiateorg.apache.hadoop.hivehive启动时报RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D解决办法:解决办法:创建iotmp目录,修改 hive.xml
ncutlh
·
2016-05-14 09:59
hive
Hive学习
笔记:四浅入
Hive中的数据库、表、数据与HDFS的对应关系Hive数据库我们通过在hive终端,查看数据库信息,可以看出来hive有一个默认的数据库default,而且我们也知道,hive数据库对应的是hdfs上面的一个目录,那么默认的default数据库到底是对应的哪一个目录呢?我们可以通过hive配置文件(hive-site.xml)中一个hive.metastore.warehouse.dir配置项看
tanzheng19890528
·
2016-05-12 17:00
hive
hive学习
之二:hive sql使用总结及遇到的问题
---------------------------hivesql使用总结-------------------------------------------------1.hive在连接中不支持不等值连接,不支持or,where条件后不支持子查询。分别举例如下及实现解决办法。1.1.不支持不等值连接错误:select*fromainnerjoinbona.id20替代方法:selecttot
anickname
·
2016-05-12 09:31
hive学习
笔记:三访问方式之WebUI
第一篇已经介绍hive访问的三种方式:CLI,JDBC/ODBC和WebUI,这篇重点描述如何通过WebUI的方式访问Hive?虽然这种做法几乎不用,但还是在此做个笔记。 1、解压hive源代码到某个目录,并进入到解压后的一个子文件夹hwi(Hivewebinterface) tar-zxvfapache-hive-0.14.0-src.tar.gz cdapache-hi
tanzheng19890528
·
2016-05-11 17:00
hive
hive学习
笔记:二安装
前提条件必须安装hadoop、jdk准备hive的下载地址http://hive.apache.org/downloads.html软件网盘地址https://yunpan.cn/OcryJjtkrFJRR4 访问密码61f9安装安装hive前首先安装mysql,因为hive的metastore默认使用内嵌的derby数据库作为存储引擎,Derby引擎的缺点是一次只能打开一个会话,因此使用MySQ
tanzheng19890528
·
2016-05-11 16:00
hive
Hive学习
笔记:一初识
Hive是什么?Hive是建立在Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制。Hive定义了简单的类SQL 查询语言,称为HQL,它允许熟悉SQL 的用户查询数据。同时,这个语言也允许熟悉MapReduce 开发者的开发自定义的mapper 和reducer 来处理内建的map
tanzheng19890528
·
2016-05-10 19:00
hadoop
hive
Hive学习
之修改表、分区、列
修改表的语句允许改变现有表的结构,通过该语句可以增加列/分区,修改SerDe,增加表和SerDe的属性或者重命名表。与之类似,修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下:ALTER TABLE table_name RENAME TO new_table_name修改表属性修改表属性的语句如下:ALTER TABLE table_name SET TBLPROPERTIES
强子哥哥
·
2016-04-20 19:00
hive
Hive学习
五--日志案例分析
Hive学习
五–日志案例分析标签(空格分隔):Hive
Hive学习
五日志案例分析一,统计分析每日各时段的PV和UV1:创建数据库dropdatabaseifexistsdb_track; createdatabasedb_track
youfashion
·
2016-04-19 10:00
hive
Hive学习
六:HIVE日志分析(用户画像)
Hive学习
六:HIVE日志分析(用户画像)标签(空格分隔):Hive
Hive学习
六HIVE日志分析用户画像案例分析思路一创建临时中间表二将中间结果存放到临时表中三创建结果表并存入最终jieguoji总结案例分析思路根据原始数据表里面的信息提取用户画像信息
youfashion
·
2016-04-19 10:00
hive
Hive学习
四
Hive学习
四标签(空格分隔):Hive
Hive学习
四一Hive中UDF编程案例1二Hive中UDF编程案例2去除字段的双引号一,Hive中UDF编程–案例11,eclipse增加pom.xml依赖 org.apache.hive
youfashion
·
2016-04-19 09:00
hive
Hive学习
三
Hive学习
三标签(空格分隔):Hive
Hive学习
三一load方式加载数据注意分区表加载数据的特殊性二将hive查询结果保存到表中和本地三常见查询练习如groupbyhavingjoinsortbyorderby
youfashion
·
2016-04-19 09:00
hive
Hive学习
二
Hive学习
二标签(空格分隔):Hive
Hive学习
二二内部表和外部表的区别三分区表的功能创建加载数据和查询一,hive表的三种创建,应用场景以及练习截图第一种:CREATETABLEIFNOTEXISTSstudb.studu_log
youfashion
·
2016-04-19 08:00
hive
Hive学习
一
Hive学习
一标签(空格分隔):Hive
Hive学习
一一概述二hive安装进行创建表加载数据测试三配置hive元数据存储在mysql中查看相关元数据表信息四熟悉基本的DML和DDL语句一,概述从某种意义上来说
youfashion
·
2016-04-19 08:00
hive
Hive学习
路线图
目录Hive介绍
Hive学习
路线图我的使用经历Hive的使用案例1.Hive
djd1234567
·
2016-04-12 16:00
hive命令学习
Hive学习
默认日志地址/tmp/root(用户名)/hive.loghive-hiveconfhive.root.logger=DEBUG,console //重启调试。
q383700092
·
2016-03-31 16:00
hive
命令
学习
Hive学习
之HiveServer2服务端配置与启动
在之前的学习和实践Hive中,使用的都是CLI或者hive–e的方式,该方式仅允许使用HiveQL执行查询、更新等操作,并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现,通过HiveServer或者HiveServer2,客户端可以在不启动CLI的情况下对Hive中的数据进行操作,两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求,取回结果。HiveServ
vfgbv
·
2016-03-30 11:00
hive学习
之一:认识hive
有些时候总感觉对某个概念,某项技术理解的不够深,理解的不到位,其实是自己站的高度不够高。抛开具体的技术细节不谈,多想想设计的初衷,多想想为什么,收获颇丰。以下是我对hive的一些思考,在此做个记录,不对的地方,还请指正。一.认识hivehive一个数据仓库工具,不同于数据库。数据仓库注重于数据分析(OLAP)和历史数据存储,面向主题,而数据库则是面向事务(OLTP),存储在线交易数据,数据库设计尽
anickname
·
2016-03-15 11:50
hive学习
笔记:FetchTask
hive学习
笔记:FetchTask我们在执行hive代码的时候,一条简单的命令大部分都会转换成为mr代码在后台执行,但是有时候我们仅仅只是想获取一部分数据而已,仅仅是获取数据,还需要转化成为mr去执行吗
liyaohhh
·
2016-02-16 16:46
hadoop
hive学习
笔记:FetchTask
hive学习
笔记:FetchTask 我们在执行hive代码的时候,一条简单的命令大部分都会转换成为mr代码在后台执行,但是有时候我们仅仅只是想获取一部分数据而已
liyaohhh
·
2016-02-16 16:00
Hive学习
笔记-函数-split 字符串分割函数
[split]函数中‘:’不作为特殊分割符号,所以不用加\\hive字符串分割函数split(str,regex)-SplitsstraroundoccurancesthatmatchregexTimetaken:0.769seconds,Fetched:1row(s)返回值为一个数组a.基本用法:例1:split('a,b,c,d',',')得到的结果:["a","b","c","d"]b.截取
木子二月鸟
·
2016-02-03 08:40
Hive
Hive学习
笔记(五)
转载请标明出处:http://blog.csdn.net/zwto1/article/details/48850583;本文出自:【明月的博客】前言本文主要涉及hive的相关操作DML。hive操作导入数据:loaddata:把文件复制或移到表的目录中,从而把数据导入hive的表或分区。insert:把数据从一个hive表填充到另一个。ctas:createtable…asselect的缩写。sq
程序员明月
·
2015-12-12 20:00
Hive学习
笔记(三)
转载请标明出处:http://blog.csdn.net/zwto1/article/details/48101979;本文出自:【明月的博客】分区和桶:hive把表组织成分区,这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。表或分区可以进一步划分为桶,它会为数据提供额外的数据结构从而获得更高效的查询处理。比如:根据用户ID来划分桶,我们可以在所有用户集合的随机样本上
程序员明月
·
2015-12-12 20:00
Hive学习
笔记(四)
转载请标明出处:http://blog.csdn.net/zwto1/article/details/48184019;本文出自:【明月的博客】存储格式:hive从两个维度对表的存储进行处理:行格式和文件格式。行格式指行和一行中的字段如何存储。文件格式指一行中字段容器的格式,最简单的是纯文本格式也有面向列和面向行的二进制格式。默认的存储格式:分隔的文本创建表没有用ROWFORMAT和STOREDA
程序员明月
·
2015-12-12 20:00
Hive学习
笔记(一)
转载请标明出处:http://blog.csdn.net/zwto1/article/details/48101803;本文出自:【明月的博客】metestore:metestore包括两部分:服务和后台数据存储,其服务与hive服务在同意jvm中。内嵌作为本地存储的derby数据库实例。metestore只支持单会话。否则会报该信息:为了是hive支持多会话,必须使用独立的数据库(在同一机器或远
程序员明月
·
2015-12-12 20:00
Hive学习
笔记(二)
转载请标明出处:http://blog.csdn.net/zwto1/article/details/48101911;本文出自:【明月的博客】类型转换hive原子数据类型可以进行隐式数据类型转换,如果某个表达式使用INT,那么TINYINT会转化为INT,hive不会进行反向转换,除非使用cast才操作。数据类型转化规则:任何整数类型都会转换为范围更广的类型。所有整数类型、FLOAT、STRIN
程序员明月
·
2015-12-12 20:00
大数据开发学习规划时间表记录及反思
15.12.03-16.01.01
hive学习
规划:两个月。15.12.03-16.02.01机器学习规划:三个月。15.12.03-16.03.01hadoop学习规
monkey2016
·
2015-12-03 20:00
hive建的表丢了?其实它一直在
根本没有小偷,是我们找错地方了》》》》在学习环境中,我们习惯使用derby作为hive元数据库,也就是这个嵌入式数据库很可能为很多
hive学习
者造成很多问题。
微笑丶
·
2015-12-03 18:00
Derby
hive表找不到了
hive建的表丢了?其实它一直在
根本没有小偷,是我们找错地方了》》》》在学习环境中,我们习惯使用derby作为hive元数据库,也就是这个嵌入式数据库很可能为很多
hive学习
者造成很多问题。
微笑丶
·
2015-12-03 18:00
derby
hive表找不到了
hive建的表丢了?其实它一直在
根本没有小偷,是我们找错地方了》》》》在学习环境中,我们习惯使用derby作为hive元数据库,也就是这个嵌入式数据库很可能为很多
hive学习
者造成很多问题。
微笑丶
·
2015-12-03 18:00
derby
hive表找不到了
Hive学习
之动态分区及HQL
Hive动态分区 1、首先创建一个分区表create table t10(name string) partitioned by(dt string,value string)row format delimited fields terminatedby '\t' lines terminated by '\n'stored as textfile;2、然后对hive进行设置,使之支持动态分区
·
2015-11-12 14:32
hive
Hive学习
之更改表的属性
1、修改表名 alter table table_name rename to new_table_name;2、修改列名 alter table tablename change column column_orign column_new int(修改后列的属性) comment 'column_name' &n
·
2015-11-12 14:30
hive
hive学习
笔记(1)
hive中有个严格模式,即sethive.mapred.mode=strict,如果select语句中不包含限制性字句时就会报错,可根据情况进行使用,如果不想使用可设为nonstrict(注:本人一开始不知道默认值是多少,随便尝试了下district,还真可以,应该是只要不是strict就可以了吧哈哈),严格模式有助于提高写sql语句的效率,防止乱写sql语句。hive的分区表:hive中提供了分
brandonroy347
·
2015-11-11 23:48
hive学习
笔记
[TOC] 表 1.1 管理表(内部表)和外部表 location 默认值由hive.metastore.warehouse.dir指定. 外部表在create table有关键字extenal指定, udf 2.1 语法 1.count(a) 和 count(*)的区别 count(a) 统计a字段非null的记录的个数,count(*)统计所有记录的个数.即count不统计nu
·
2015-11-11 15:19
hive
Hive学习
笔记
本文转载自:http://blog.csdn.net/haojun186/article/details/7977565 1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言
·
2015-11-11 09:25
hive
hadoop
hive学习
之旅
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为 MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库。 h
·
2015-11-11 08:49
hadoop
Hive学习
笔记
一、前言 Hive是Hadoop上的数据仓库框架,其设计目的是让精通SQL技能(但Java编程技能相对较弱)的分析师能够在存放到HDFS大规模数据集上运行查询。提出Hive的主要原因是SQL并不是所有的“大数据”的理想工具。 Hive在工作站上运行,它把SQL转换为一系列在Hadoop集群上运行的MapReduce
·
2015-10-31 19:06
hive
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他