- Hadoop入门学习笔记-第五天(hadoop-hive安装部署与配置笔记)
渣男程序员007
Hadoop入门学习笔记数据库hadoopmysqljavahive
1.准备安装包:MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundlemysql-connector-java-5.1.39.jar(驱动,需要放入/hive/lib)apache-hive-1.2.1-bin.tar.gz2.安装mysql数据用于储存元数据,hive自带Derby,但该数据库不稳定,使用mysql作为元数据管理1).只需要安装在集群里面的
- Hive编程指南pdf
weixin_30468137
大数据java人工智能
下载地址:网盘下载内容简介······市场中第一本Hive图书。Hive在Hadoop系统中的应用趋势比较可观。作者简介······EdwardCapriolo:Media6degrees公司系统管理员,他是Apache软件基金会成员,还是Hadoop-Hive项目成员。DeanWampler:ThinkBigAnalytics公司总顾问,对大数据问题以及Hadoop和机器学习有专门的研究。Jas
- Hadoop-Hive
不吃香菜lw
hivehadoop数据仓库
1.hive安装部署2.hive基础3.hive高级查询4.Hive函数及性能优化1.hive安装部署解压tar-xvf./apache-hive-3.1.2-bin.tar.gz-C/opt/soft/改名mvapache-hive-3.1.2-bin/hive312配置环境变量:vim/etc/profile#hiveexportHIVE_HOME=/opt/soft/hive312expor
- Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别
Wzideng
#sparkhadoopsparkhive
HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢(没有充分利用内存)接口比较简单,仅支持MapReduce功能比较单一只能做离线计算Spark优势运行速度快自身生态比较完整sparksqlsparkstreamingsparkmllibSparkMLap
- SQL ON Hadoop-Hive(二)-DDL数据定义语言
风风雨雨中寻觅
hiveHadoophive修改表join连接排序分桶
一.创建数据库Hive中的数据库本质上仅仅是个表的目录或命名空间,在生产环境,如果表非常多,一般会用数据库将生产表组织成逻辑组。Hive中默认使用的数据库是default数据库名+数据库所在的目录位置不能修改--创建数据库(包含数据库键值对属性信息)createdatabaseifnotexiststestcomment'thisislaotian'withdbproperties('creato
- Hadoop-Hive组件部署
王智刚
一、基础环境Hive组件需要基于之前已部署完毕的Hadoop全分布系统,在master节点上实现Hive组件安装。1、Hadoop-全分布式配置(全部配置)2、Hadoop-集群运行(部分配置)#查看之前部署的环境[root@master~]#su-hadoop[
- 【原创】docker配置 hadoop-hive环境
abboo
0.前言安装docker安装并运行phpMyAdmin和MySqlDocker创建网桥,并将容器加入该网络从github克隆代码到本地并修改配置文件生成镜像并运行hive配置项目放在github上https://github.com/Foabo/hadoop-hive1.安装docker参考官方文档,有详细说明,mac上下载了dockerdesktop之后就很方便,连docker-compose都
- Hadoop-Hive常用基础HQL语句
夏光辉
一.数据库1.查询数据库列表showdatabases;2.使用指定的数据库usedefault;3.查看数据库的描述信息descdatabaseextendeddb_hive_03;二.表1.查询表列表showtables;2.查询表的描述信息:descstudent;descextendedstudent;descformattedstudent;3.创建表createtablestudent
- 大数据-hadoop-Hive 启动报错01(2019-05-30 )datastore driver ("com.mysql.jdbc.Driver") was not found in the
Genebrother
hadoophivemysql
具体报错的信息是:Causedby:org.datanucleus.exceptions.NucleusException:Attempttoinvokethe"BONECP"plugintocreateaConnectionPoolgaveanerror:Thespecifieddatastoredriver("com.mysql.jdbc.Driver")wasnotfoundintheCLA
- hadoop-hive本地和伪分布式模式的安装
徐长亮
[2016年以后]基于hadoop的数据平台
前言:关于虚拟机安装hive,hadoop的资料林林总总,对于初学者很难甄别;如下是按照官方doc,一步步经过实践的一种方法,思路比我搜到网上的帖子更清晰;初学,难免有错误的地方,敬请指正。一、虚拟机hadoop的安装1.虚拟机安装linux-redhat操作系统,虚拟机网络类型设置为网桥模式,保证虚拟机可以访问Internet外网2.安装jdk:解压jdk文件(我的jdk是jdk1.8.0_05
- Hadoop-Hive基本使用
qichangjian
大数据学习
Hive基本使用1、创建库:createdatabaseifnotexistsmydb;2、查看库:showdatabases;3、切换数据库:usemydb;4、创建表:createtableifnotexistst_user(idstring,namestring)或createtablet_user(idstring,namestring)rowformatdelimitedfieldste
- 【4.分布式计算】hadoop-hive
梦想家
hive
hive对hdfs中数据进行抽象成表,可以通过sql组装m_p的过程。(更多大数据处理见:https://segmentfault.com/a/11...)。数据通过mysql和hdfs存储,存储格式用的现有文件格式,mysql存结构/hdfs存表数据(比如insertidname4ss,hdfs存4ss)。只是sql到m_p的映射,这过程又比较复杂。所以这里只介绍下hive的执行过程和框架,存储
- Hadoop-Hive 内部表/外部表 分区表/分桶表区别
qichangjian
大数据学习
1)hive中内部表和外部表的区别内部表:又叫管理表,表的创建,和删除都由hive自己决定。外部表:表结构上同内部表,但是存储的数据时自己定义的,外部表在删除的时候只删除元数据,原始数据时不能删除的。内部表和外部表的区别主要体现在两个方面:删除:删除内部表,删除元数据和数据;删除外部表,删除元数据,保留数据。使用:如果数据的所有处理都在Hive中进行,那么倾向于选择内部表,但是如果Hive和其他工
- Hadoop-Hive基础整理(架构以及存储)
qichangjian
大数据学习
1.hive的介绍什么是hive:Hive是基于hadoop的一个数据仓库工具,实质就是一款基于hdfs的MapReduce计算框架,对存储在HDFS中的数据进行分析和管理。hive的工作方式:把存放在hive中的数据都抽象成一张二维表格,提供了一个类似于sql语句的操作方式,这些sql语句最终被hive的底层翻译成为MapReduce程序,最终在hadoop集群上运行,结果也会输出在hdfs之中
- SQL ON Hadoop-Hive(六)-字符串函数+行列转换
扯20080808
Hadoophive
一.hive常用字符串函数1.字符串反转函数reverse(stringA)--返回值类型stringselectreverse('gian')fromiteblog;--'naig'2.带分隔符字符串连接函数concat_ws(stringsep,stringa,stringb,...)--返回值类型stringselectconcat_ws('.','www','iteblog','com')
- SparkSQL:Spark整合Hive
PJ-Javis
Spark
1.安装HiveHive的安装,可以参看Hadoop-Hive快速入门,这里不再重述2.拷贝Hive的配置文件拷贝$HIVE_HOME/conf/hive-site.xml文件到$SPARK_HOME/conf下3.测试Hive本地数据测试文件people.txt1user011234562user021234563user031234564user04123456测试过程:新建一个内部表,导入本
- Hadoop-Hive快速入门
PJ-Javis
HiveSparkhadoopHadoop
Hive是基于Hadoop构建的一套数据仓库分析系统,简单来说它可以把我们所熟悉的Sql语句翻译成MapReduce执行,但是Hive只能对表进行select操作,而不能进行insert、delete、update操作。Hive和Sqoop一样,只要你的Hadoop环境已经搭建好了,安装后就可立即使用。但是它有一个特点:就是你在哪个个目录下执行hive的命令进入到hive模式,它就会在该目录下生成
- hadoop-hive查询ncdc天气数据实例
MrCharles
hadoophive天气数据
使用hive查询ncdc天气数据在hive中将ncdc天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果。1.在hive中创建ncdc表,这个表用来存放ncdc的数据createtablencdc(yearstring,monthstring,datastring,timestring,airstring,astring,bstring,cstr
- hive安装工作记录
malihappy2009
hive职场休闲工作记录
最近安装hive,在安装的过程中,遇到了一些问题,由于我是yum安装的,网上的网友们一般发的都是手动安装的教程,所以在这里和大家分享一下我安装的经验,通过整理,我的安装步骤如下:
1、YUM安装hadoop-hive
sudo yum install hadoop-hive
2、下载mysql-connector-java-5.1.15
- hive安装工作记录
malihappy2009
职场休闲工作记录
最近安装hive,在安装的过程中,遇到了一些问题,由于我是yum安装的,网上的网友们一般发的都是手动安装的教程,所以在这里和大家分享一下我安装的经验,通过整理,我的安装步骤如下: 1、YUM安装hadoop-hive sudo yum install hadoop-hive 2、下载mysql-connector-java-5.1.15(用于hive连接mysql的一个插件) h
- Hive资料整理系列 二 Hive安装及mysql做元数据库 --clouder版本
wf1982
java数据库mysqlhadoopcentosDerby
Debian上安装: Java代码 $ sudo apt-get install hadoop-hive redhat/centos上安装: Java代码 $ sudo yum install hadoop-hive 启动hive控制台: Java代码 $ hive hive> okay,可以使用hive了 你可以参照hive的wiki里的介绍(很全面)玩一
- 微信开发者验证接口开发
362217990
微信 开发者 token 验证
微信开发者接口验证。
Token,自己随便定义,与微信填写一致就可以了。
根据微信接入指南描述 http://mp.weixin.qq.com/wiki/17/2d4265491f12608cd170a95559800f2d.html
第一步:填写服务器配置
第二步:验证服务器地址的有效性
第三步:依据接口文档实现业务逻辑
这里主要讲第二步验证服务器有效性。
建一个
- 一个小编程题-类似约瑟夫环问题
BrokenDreams
编程
今天群友出了一题:
一个数列,把第一个元素删除,然后把第二个元素放到数列的最后,依次操作下去,直到把数列中所有的数都删除,要求依次打印出这个过程中删除的数。
&
- linux复习笔记之bash shell (5) 关于减号-的作用
eksliang
linux关于减号“-”的含义linux关于减号“-”的用途linux关于“-”的含义linux关于减号的含义
转载请出自出处:
http://eksliang.iteye.com/blog/2105677
管道命令在bash的连续处理程序中是相当重要的,尤其在使用到前一个命令的studout(标准输出)作为这次的stdin(标准输入)时,就显得太重要了,某些命令需要用到文件名,例如上篇文档的的切割命令(split)、还有
- Unix(3)
18289753290
unix ksh
1)若该变量需要在其他子进程执行,则可用"$变量名称"或${变量}累加内容
什么是子进程?在我目前这个shell情况下,去打开一个新的shell,新的那个shell就是子进程。一般状态下,父进程的自定义变量是无法在子进程内使用的,但通过export将变量变成环境变量后就能够在子进程里面应用了。
2)条件判断: &&代表and ||代表or&nbs
- 关于ListView中性能优化中图片加载问题
酷的飞上天空
ListView
ListView的性能优化网上很多信息,但是涉及到异步加载图片问题就会出现问题。
具体参看上篇文章http://314858770.iteye.com/admin/blogs/1217594
如果每次都重新inflate一个新的View出来肯定会造成性能损失严重,可能会出现listview滚动是很卡的情况,还会出现内存溢出。
现在想出一个方法就是每次都添加一个标识,然后设置图
- 德国总理默多克:给国人的一堂“震撼教育”课
永夜-极光
教育
http://bbs.voc.com.cn/topic-2443617-1-1.html德国总理默多克:给国人的一堂“震撼教育”课
安吉拉—默克尔,一位经历过社会主义的东德人,她利用自己的博客,发表一番来华前的谈话,该说的话,都在上面说了,全世界想看想传播——去看看默克尔总理的博客吧!
德国总理默克尔以她的低调、朴素、谦和、平易近人等品格给国人留下了深刻印象。她以实际行动为中国人上了一堂
- 关于Java继承的一个小问题。。。
随便小屋
java
今天看Java 编程思想的时候遇见一个问题,运行的结果和自己想想的完全不一样。先把代码贴出来!
//CanFight接口
interface Canfight {
void fight();
}
//ActionCharacter类
class ActionCharacter {
public void fight() {
System.out.pr
- 23种基本的设计模式
aijuans
设计模式
Abstract Factory:提供一个创建一系列相关或相互依赖对象的接口,而无需指定它们具体的类。 Adapter:将一个类的接口转换成客户希望的另外一个接口。A d a p t e r模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。 Bridge:将抽象部分与它的实现部分分离,使它们都可以独立地变化。 Builder:将一个复杂对象的构建与它的表示分离,使得同
- 《周鸿祎自述:我的互联网方法论》读书笔记
aoyouzi
读书笔记
从用户的角度来看,能解决问题的产品才是好产品,能方便/快速地解决问题的产品,就是一流产品.
商业模式不是赚钱模式
一款产品免费获得海量用户后,它的边际成本趋于0,然后再通过广告或者增值服务的方式赚钱,实际上就是创造了新的价值链.
商业模式的基础是用户,木有用户,任何商业模式都是浮云.商业模式的核心是产品,本质是通过产品为用户创造价值.
商业模式还包括寻找需求
- JavaScript动态改变样式访问技术
百合不是茶
JavaScriptstyle属性ClassName属性
一:style属性
格式:
HTML元素.style.样式属性="值";
创建菜单:在html标签中创建 或者 在head标签中用数组创建
<html>
<head>
<title>style改变样式</title>
</head>
&l
- jQuery的deferred对象详解
bijian1013
jquerydeferred对象
jQuery的开发速度很快,几乎每半年一个大版本,每两个月一个小版本。
每个版本都会引入一些新功能,从jQuery 1.5.0版本开始引入的一个新功能----deferred对象。
&nb
- 淘宝开放平台TOP
Bill_chen
C++c物流C#
淘宝网开放平台首页:http://open.taobao.com/
淘宝开放平台是淘宝TOP团队的产品,TOP即TaoBao Open Platform,
是淘宝合作伙伴开发、发布、交易其服务的平台。
支撑TOP的三条主线为:
1.开放数据和业务流程
* 以API数据形式开放商品、交易、物流等业务;
&
- 【大型网站架构一】大型网站架构概述
bit1129
网站架构
大型互联网特点
面对海量用户、海量数据
大型互联网架构的关键指标
高并发
高性能
高可用
高可扩展性
线性伸缩性
安全性
大型互联网技术要点
前端优化
CDN缓存
反向代理
KV缓存
消息系统
分布式存储
NoSQL数据库
搜索
监控
安全
想到的问题:
1.对于订单系统这种事务型系统,如
- eclipse插件hibernate tools安装
白糖_
Hibernate
eclipse helios(3.6)版
1.启动eclipse 2.选择 Help > Install New Software...> 3.添加如下地址:
http://download.jboss.org/jbosstools/updates/stable/helios/ 4.选择性安装:hibernate tools在All Jboss tool
- Jquery easyui Form表单提交注意事项
bozch
jquery easyui
jquery easyui对表单的提交进行了封装,提交的方式采用的是ajax的方式,在开发的时候应该注意的事项如下:
1、在定义form标签的时候,要将method属性设置成post或者get,特别是进行大字段的文本信息提交的时候,要将method设置成post方式提交,否则页面会抛出跨域访问等异常。所以这个要
- Trie tree(字典树)的Java实现及其应用-统计以某字符串为前缀的单词的数量
bylijinnan
java实现
import java.util.LinkedList;
public class CaseInsensitiveTrie {
/**
字典树的Java实现。实现了插入、查询以及深度优先遍历。
Trie tree's java implementation.(Insert,Search,DFS)
Problem Description
Igna
- html css 鼠标形状样式汇总
chenbowen00
htmlcss
css鼠标手型cursor中hand与pointer
Example:CSS鼠标手型效果 <a href="#" style="cursor:hand">CSS鼠标手型效果</a><br/>
Example:CSS鼠标手型效果 <a href="#" style=&qu
- [IT与投资]IT投资的几个原则
comsci
it
无论是想在电商,软件,硬件还是互联网领域投资,都需要大量资金,虽然各个国家政府在媒体上都给予大家承诺,既要让市场的流动性宽松,又要保持经济的高速增长....但是,事实上,整个市场和社会对于真正的资金投入是非常渴望的,也就是说,表面上看起来,市场很活跃,但是投入的资金并不是很充足的......
 
- oracle with语句详解
daizj
oraclewithwith as
oracle with语句详解 转
在oracle中,select 查询语句,可以使用with,就是一个子查询,oracle 会把子查询的结果放到临时表中,可以反复使用
例子:注意,这是sql语句,不是pl/sql语句, 可以直接放到jdbc执行的
----------------------------------------------------------------
- hbase的简单操作
deng520159
数据库hbase
近期公司用hbase来存储日志,然后再来分析 ,把hbase开发经常要用的命令找了出来.
用ssh登陆安装hbase那台linux后
用hbase shell进行hbase命令控制台!
表的管理
1)查看有哪些表
hbase(main)> list
2)创建表
# 语法:create <table>, {NAME => <family&g
- C语言scanf继续学习、算术运算符学习和逻辑运算符
dcj3sjt126com
c
/*
2013年3月11日20:37:32
地点:北京潘家园
功能:完成用户格式化输入多个值
目的:学习scanf函数的使用
*/
# include <stdio.h>
int main(void)
{
int i, j, k;
printf("please input three number:\n"); //提示用
- 2015越来越好
dcj3sjt126com
歌曲
越来越好
房子大了电话小了 感觉越来越好
假期多了收入高了 工作越来越好
商品精了价格活了 心情越来越好
天更蓝了水更清了 环境越来越好
活得有奔头人会步步高
想做到你要努力去做到
幸福的笑容天天挂眉梢 越来越好
婆媳和了家庭暖了 生活越来越好
孩子高了懂事多了 学习越来越好
朋友多了心相通了 大家越来越好
道路宽了心气顺了 日子越来越好
活的有精神人就不显
- java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Tim
feiteyizu
mysql
数据表中有记录的time字段(属性为timestamp)其值为:“0000-00-00 00:00:00”
程序使用select 语句从中取数据时出现以下异常:
java.sql.SQLException:Value '0000-00-00' can not be represented as java.sql.Date
java.sql.SQLException: Valu
- Ehcache(07)——Ehcache对并发的支持
234390216
并发ehcache锁ReadLockWriteLock
Ehcache对并发的支持
在高并发的情况下,使用Ehcache缓存时,由于并发的读与写,我们读的数据有可能是错误的,我们写的数据也有可能意外的被覆盖。所幸的是Ehcache为我们提供了针对于缓存元素Key的Read(读)、Write(写)锁。当一个线程获取了某一Key的Read锁之后,其它线程获取针对于同
- mysql中blob,text字段的合成索引
jackyrong
mysql
在mysql中,原来有一个叫合成索引的,可以提高blob,text字段的效率性能,
但只能用在精确查询,核心是增加一个列,然后可以用md5进行散列,用散列值查找
则速度快
比如:
create table abc(id varchar(10),context blog,hash_value varchar(40));
insert into abc(1,rep
- 逻辑运算与移位运算
latty
位运算逻辑运算
源码:正数的补码与原码相同例+7 源码:00000111 补码 :00000111 (用8位二进制表示一个数)
负数的补码:
符号位为1,其余位为该数绝对值的原码按位取反;然后整个数加1。 -7 源码: 10000111 ,其绝对值为00000111 取反加一:11111001 为-7补码
已知一个数的补码,求原码的操作分两种情况:
- 利用XSD 验证XML文件
newerdragon
javaxmlxsd
XSD文件 (XML Schema 语言也称作 XML Schema 定义(XML Schema Definition,XSD)。 具体使用方法和定义请参看:
http://www.w3school.com.cn/schema/index.asp
java自jdk1.5以上新增了SchemaFactory类 可以实现对XSD验证的支持,使用起来也很方便。
以下代码可用在J
- 搭建 CentOS 6 服务器(12) - Samba
rensanning
centos
(1)安装
# yum -y install samba
Installed:
samba.i686 0:3.6.9-169.el6_5
# pdbedit -a rensn
new password:123456
retype new password:123456
……
(2)Home文件夹
# mkdir /etc
- Learn Nodejs 01
toknowme
nodejs
(1)下载nodejs
https://nodejs.org/download/ 选择相应的版本进行下载 (2)安装nodejs 安装的方式比较多,请baidu下
我这边下载的是“node-v0.12.7-linux-x64.tar.gz”这个版本 (1)上传服务器 (2)解压 tar -zxvf node-v0.12.
- jquery控制自动刷新的代码举例
xp9802
jquery
1、html内容部分 复制代码代码示例: <div id='log_reload'>
<select name="id_s" size="1">
<option value='2'>-2s-</option>
<option value='3'>-3s-</option