- Hadoop入门学习笔记-第五天(hadoop-hive安装部署与配置笔记)
渣男程序员007
Hadoop入门学习笔记数据库hadoopmysqljavahive
1.准备安装包:MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundlemysql-connector-java-5.1.39.jar(驱动,需要放入/hive/lib)apache-hive-1.2.1-bin.tar.gz2.安装mysql数据用于储存元数据,hive自带Derby,但该数据库不稳定,使用mysql作为元数据管理1).只需要安装在集群里面的
- Hive编程指南pdf
weixin_30468137
大数据java人工智能
下载地址:网盘下载内容简介······市场中第一本Hive图书。Hive在Hadoop系统中的应用趋势比较可观。作者简介······EdwardCapriolo:Media6degrees公司系统管理员,他是Apache软件基金会成员,还是Hadoop-Hive项目成员。DeanWampler:ThinkBigAnalytics公司总顾问,对大数据问题以及Hadoop和机器学习有专门的研究。Jas
- Hadoop-Hive
不吃香菜lw
hivehadoop数据仓库
1.hive安装部署2.hive基础3.hive高级查询4.Hive函数及性能优化1.hive安装部署解压tar-xvf./apache-hive-3.1.2-bin.tar.gz-C/opt/soft/改名mvapache-hive-3.1.2-bin/hive312配置环境变量:vim/etc/profile#hiveexportHIVE_HOME=/opt/soft/hive312expor
- Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别
Wzideng
#sparkhadoopsparkhive
HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢(没有充分利用内存)接口比较简单,仅支持MapReduce功能比较单一只能做离线计算Spark优势运行速度快自身生态比较完整sparksqlsparkstreamingsparkmllibSparkMLap
- SQL ON Hadoop-Hive(二)-DDL数据定义语言
风风雨雨中寻觅
hiveHadoophive修改表join连接排序分桶
一.创建数据库Hive中的数据库本质上仅仅是个表的目录或命名空间,在生产环境,如果表非常多,一般会用数据库将生产表组织成逻辑组。Hive中默认使用的数据库是default数据库名+数据库所在的目录位置不能修改--创建数据库(包含数据库键值对属性信息)createdatabaseifnotexiststestcomment'thisislaotian'withdbproperties('creato
- Hadoop-Hive组件部署
王智刚
一、基础环境Hive组件需要基于之前已部署完毕的Hadoop全分布系统,在master节点上实现Hive组件安装。1、Hadoop-全分布式配置(全部配置)2、Hadoop-集群运行(部分配置)#查看之前部署的环境[root@master~]#su-hadoop[
- 【原创】docker配置 hadoop-hive环境
abboo
0.前言安装docker安装并运行phpMyAdmin和MySqlDocker创建网桥,并将容器加入该网络从github克隆代码到本地并修改配置文件生成镜像并运行hive配置项目放在github上https://github.com/Foabo/hadoop-hive1.安装docker参考官方文档,有详细说明,mac上下载了dockerdesktop之后就很方便,连docker-compose都
- Hadoop-Hive常用基础HQL语句
夏光辉
一.数据库1.查询数据库列表showdatabases;2.使用指定的数据库usedefault;3.查看数据库的描述信息descdatabaseextendeddb_hive_03;二.表1.查询表列表showtables;2.查询表的描述信息:descstudent;descextendedstudent;descformattedstudent;3.创建表createtablestudent
- 大数据-hadoop-Hive 启动报错01(2019-05-30 )datastore driver ("com.mysql.jdbc.Driver") was not found in the
Genebrother
hadoophivemysql
具体报错的信息是:Causedby:org.datanucleus.exceptions.NucleusException:Attempttoinvokethe"BONECP"plugintocreateaConnectionPoolgaveanerror:Thespecifieddatastoredriver("com.mysql.jdbc.Driver")wasnotfoundintheCLA
- hadoop-hive本地和伪分布式模式的安装
徐长亮
[2016年以后]基于hadoop的数据平台
前言:关于虚拟机安装hive,hadoop的资料林林总总,对于初学者很难甄别;如下是按照官方doc,一步步经过实践的一种方法,思路比我搜到网上的帖子更清晰;初学,难免有错误的地方,敬请指正。一、虚拟机hadoop的安装1.虚拟机安装linux-redhat操作系统,虚拟机网络类型设置为网桥模式,保证虚拟机可以访问Internet外网2.安装jdk:解压jdk文件(我的jdk是jdk1.8.0_05
- Hadoop-Hive基本使用
qichangjian
大数据学习
Hive基本使用1、创建库:createdatabaseifnotexistsmydb;2、查看库:showdatabases;3、切换数据库:usemydb;4、创建表:createtableifnotexistst_user(idstring,namestring)或createtablet_user(idstring,namestring)rowformatdelimitedfieldste
- 【4.分布式计算】hadoop-hive
梦想家
hive
hive对hdfs中数据进行抽象成表,可以通过sql组装m_p的过程。(更多大数据处理见:https://segmentfault.com/a/11...)。数据通过mysql和hdfs存储,存储格式用的现有文件格式,mysql存结构/hdfs存表数据(比如insertidname4ss,hdfs存4ss)。只是sql到m_p的映射,这过程又比较复杂。所以这里只介绍下hive的执行过程和框架,存储
- Hadoop-Hive 内部表/外部表 分区表/分桶表区别
qichangjian
大数据学习
1)hive中内部表和外部表的区别内部表:又叫管理表,表的创建,和删除都由hive自己决定。外部表:表结构上同内部表,但是存储的数据时自己定义的,外部表在删除的时候只删除元数据,原始数据时不能删除的。内部表和外部表的区别主要体现在两个方面:删除:删除内部表,删除元数据和数据;删除外部表,删除元数据,保留数据。使用:如果数据的所有处理都在Hive中进行,那么倾向于选择内部表,但是如果Hive和其他工
- Hadoop-Hive基础整理(架构以及存储)
qichangjian
大数据学习
1.hive的介绍什么是hive:Hive是基于hadoop的一个数据仓库工具,实质就是一款基于hdfs的MapReduce计算框架,对存储在HDFS中的数据进行分析和管理。hive的工作方式:把存放在hive中的数据都抽象成一张二维表格,提供了一个类似于sql语句的操作方式,这些sql语句最终被hive的底层翻译成为MapReduce程序,最终在hadoop集群上运行,结果也会输出在hdfs之中
- SQL ON Hadoop-Hive(六)-字符串函数+行列转换
扯20080808
Hadoophive
一.hive常用字符串函数1.字符串反转函数reverse(stringA)--返回值类型stringselectreverse('gian')fromiteblog;--'naig'2.带分隔符字符串连接函数concat_ws(stringsep,stringa,stringb,...)--返回值类型stringselectconcat_ws('.','www','iteblog','com')
- SparkSQL:Spark整合Hive
PJ-Javis
Spark
1.安装HiveHive的安装,可以参看Hadoop-Hive快速入门,这里不再重述2.拷贝Hive的配置文件拷贝$HIVE_HOME/conf/hive-site.xml文件到$SPARK_HOME/conf下3.测试Hive本地数据测试文件people.txt1user011234562user021234563user031234564user04123456测试过程:新建一个内部表,导入本
- Hadoop-Hive快速入门
PJ-Javis
HiveSparkhadoopHadoop
Hive是基于Hadoop构建的一套数据仓库分析系统,简单来说它可以把我们所熟悉的Sql语句翻译成MapReduce执行,但是Hive只能对表进行select操作,而不能进行insert、delete、update操作。Hive和Sqoop一样,只要你的Hadoop环境已经搭建好了,安装后就可立即使用。但是它有一个特点:就是你在哪个个目录下执行hive的命令进入到hive模式,它就会在该目录下生成
- hadoop-hive查询ncdc天气数据实例
MrCharles
hadoophive天气数据
使用hive查询ncdc天气数据在hive中将ncdc天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果。1.在hive中创建ncdc表,这个表用来存放ncdc的数据createtablencdc(yearstring,monthstring,datastring,timestring,airstring,astring,bstring,cstr
- hive安装工作记录
malihappy2009
hive职场休闲工作记录
最近安装hive,在安装的过程中,遇到了一些问题,由于我是yum安装的,网上的网友们一般发的都是手动安装的教程,所以在这里和大家分享一下我安装的经验,通过整理,我的安装步骤如下:
1、YUM安装hadoop-hive
sudo yum install hadoop-hive
2、下载mysql-connector-java-5.1.15
- hive安装工作记录
malihappy2009
职场休闲工作记录
最近安装hive,在安装的过程中,遇到了一些问题,由于我是yum安装的,网上的网友们一般发的都是手动安装的教程,所以在这里和大家分享一下我安装的经验,通过整理,我的安装步骤如下: 1、YUM安装hadoop-hive sudo yum install hadoop-hive 2、下载mysql-connector-java-5.1.15(用于hive连接mysql的一个插件) h
- Hive资料整理系列 二 Hive安装及mysql做元数据库 --clouder版本
wf1982
java数据库mysqlhadoopcentosDerby
Debian上安装: Java代码 $ sudo apt-get install hadoop-hive redhat/centos上安装: Java代码 $ sudo yum install hadoop-hive 启动hive控制台: Java代码 $ hive hive> okay,可以使用hive了 你可以参照hive的wiki里的介绍(很全面)玩一
- PHP如何实现二维数组排序?
IT独行者
二维数组PHP排序
二维数组在PHP开发中经常遇到,但是他的排序就不如一维数组那样用内置函数来的方便了,(一维数组排序可以参考本站另一篇文章【PHP中数组排序函数详解汇总】)。二维数组的排序需要我们自己写函数处理了,这里UncleToo给大家分享一个PHP二维数组排序的函数:
代码:
functionarray_sort($arr,$keys,$type='asc'){
$keysvalue= $new_arr
- 【Hadoop十七】HDFS HA配置
bit1129
hadoop
基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。
测试环境有三台
hadoop.master
hadoop.slave1
hadoop.slave2
hadoop.master包含的组件NameNode, JournalNode, Zookeeper,DFSZKFailoverController
- 由wsdl生成的java vo类不适合做普通java vo
darrenzhu
VOwsdlwebservicerpc
开发java webservice项目时,如果我们通过SOAP协议来输入输出,我们会利用工具从wsdl文件生成webservice的client端类,但是这里面生成的java data model类却不适合做为项目中的普通java vo类来使用,当然有一中情况例外,如果这个自动生成的类里面的properties都是基本数据类型,就没问题,但是如果有集合类,就不行。原因如下:
1)使用了集合如Li
- JAVA海量数据处理之二(BitMap)
周凡杨
java算法bitmapbitset数据
路漫漫其修远兮,吾将上下而求索。想要更快,就要深入挖掘 JAVA 基础的数据结构,从来分析出所编写的 JAVA 代码为什么把内存耗尽,思考有什么办法可以节省内存呢? 啊哈!算法。这里采用了 BitMap 思想。
首先来看一个实验:
指定 VM 参数大小: -Xms256m -Xmx540m
- java类型与数据库类型
g21121
java
很多时候我们用hibernate的时候往往并不是十分关心数据库类型和java类型的对应关心,因为大多数hbm文件是自动生成的,但有些时候诸如:数据库设计、没有生成工具、使用原始JDBC、使用mybatis(ibatIS)等等情况,就会手动的去对应数据库与java的数据类型关心,当然比较简单的数据类型即使配置错了也会很快发现问题,但有些数据类型却并不是十分常见,这就给程序员带来了很多麻烦。
&nb
- Linux命令
510888780
linux命令
系统信息
arch 显示机器的处理器架构(1)
uname -m 显示机器的处理器架构(2)
uname -r 显示正在使用的内核版本
dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)
hdparm -i /dev/hda 罗列一个磁盘的架构特性
hdparm -tT /dev/sda 在磁盘上执行测试性读取操作
cat /proc/cpuinfo 显示C
- java常用JVM参数
墙头上一根草
javajvm参数
-Xms:初始堆大小,默认为物理内存的1/64(<1GB);默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时,JVM就会增大堆直到-Xmx的最大限制
-Xmx:最大堆大小,默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时,JVM会减少堆直到 -Xms的最小限制
-Xmn:新生代的内存空间大小,注意:此处的大小是(eden+ 2
- 我的spring学习笔记9-Spring使用工厂方法实例化Bean的注意点
aijuans
Spring 3
方法一:
<bean id="musicBox" class="onlyfun.caterpillar.factory.MusicBoxFactory"
factory-method="createMusicBoxStatic"></bean>
方法二:
- mysql查询性能优化之二
annan211
UNIONmysql查询优化索引优化
1 union的限制
有时mysql无法将限制条件从外层下推到内层,这使得原本能够限制部分返回结果的条件无法应用到内层
查询的优化上。
如果希望union的各个子句能够根据limit只取部分结果集,或者希望能够先排好序在
合并结果集的话,就需要在union的各个子句中分别使用这些子句。
例如 想将两个子查询结果联合起来,然后再取前20条记录,那么mys
- 数据的备份与恢复
百合不是茶
oraclesql数据恢复数据备份
数据的备份与恢复的方式有: 表,方案 ,数据库;
数据的备份:
导出到的常见命令;
参数 说明
USERID 确定执行导出实用程序的用户名和口令
BUFFER 确定导出数据时所使用的缓冲区大小,其大小用字节表示
FILE 指定导出的二进制文
- 线程组
bijian1013
java多线程threadjava多线程线程组
有些程序包含了相当数量的线程。这时,如果按照线程的功能将他们分成不同的类别将很有用。
线程组可以用来同时对一组线程进行操作。
创建线程组:ThreadGroup g = new ThreadGroup(groupName);
&nbs
- top命令找到占用CPU最高的java线程
bijian1013
javalinuxtop
上次分析系统中占用CPU高的问题,得到一些使用Java自身调试工具的经验,与大家分享。 (1)使用top命令找出占用cpu最高的JAVA进程PID:28174 (2)如下命令找出占用cpu最高的线程
top -Hp 28174 -d 1 -n 1
32694 root 20 0 3249m 2.0g 11m S 2 6.4 3:31.12 java
- 【持久化框架MyBatis3四】MyBatis3一对一关联查询
bit1129
Mybatis3
当两个实体具有1对1的对应关系时,可以使用One-To-One的进行映射关联查询
One-To-One示例数据
以学生表Student和地址信息表为例,每个学生都有都有1个唯一的地址(现实中,这种对应关系是不合适的,因为人和地址是多对一的关系),这里只是演示目的
学生表
CREATE TABLE STUDENTS
(
- C/C++图片或文件的读写
bitcarter
写图片
先看代码:
/*strTmpResult是文件或图片字符串
* filePath文件需要写入的地址或路径
*/
int writeFile(std::string &strTmpResult,std::string &filePath)
{
int i,len = strTmpResult.length();
unsigned cha
- nginx自定义指定加载配置
ronin47
进入 /usr/local/nginx/conf/include 目录,创建 nginx.node.conf 文件,在里面输入如下代码:
upstream nodejs {
server 127.0.0.1:3000;
#server 127.0.0.1:3001;
keepalive 64;
}
server {
liste
- java-71-数值的整数次方.实现函数double Power(double base, int exponent),求base的exponent次方
bylijinnan
double
public class Power {
/**
*Q71-数值的整数次方
*实现函数double Power(double base, int exponent),求base的exponent次方。不需要考虑溢出。
*/
private static boolean InvalidInput=false;
public static void main(
- Android四大组件的理解
Cb123456
android四大组件的理解
分享一下,今天在Android开发文档-开发者指南中看到的:
App components are the essential building blocks of an Android
- [宇宙与计算]涡旋场计算与拓扑分析
comsci
计算
怎么阐述我这个理论呢? 。。。。。。。。。
首先: 宇宙是一个非线性的拓扑结构与涡旋轨道时空的统一体。。。。
我们要在宇宙中寻找到一个适合人类居住的行星,时间非常重要,早一个刻度和晚一个刻度,这颗行星的
- 同一个Tomcat不同Web应用之间共享会话Session
cwqcwqmax9
session
实现两个WEB之间通过session 共享数据
查看tomcat 关于 HTTP Connector 中有个emptySessionPath 其解释如下:
If set to true, all paths for session cookies will be set to /. This can be useful for portlet specification impleme
- springmvc Spring3 MVC,ajax,乱码
dashuaifu
springjquerymvcAjax
springmvc Spring3 MVC @ResponseBody返回,jquery ajax调用中文乱码问题解决
Spring3.0 MVC @ResponseBody 的作用是把返回值直接写到HTTP response body里。具体实现AnnotationMethodHandlerAdapter类handleResponseBody方法,具体实
- 搭建WAMP环境
dcj3sjt126com
wamp
这里先解释一下WAMP是什么意思。W:windows,A:Apache,M:MYSQL,P:PHP。也就是说本文说明的是在windows系统下搭建以apache做服务器、MYSQL为数据库的PHP开发环境。
工欲善其事,必须先利其器。因为笔者的系统是WinXP,所以下文指的系统均为此系统。笔者所使用的Apache版本为apache_2.2.11-
- yii2 使用raw http request
dcj3sjt126com
http
Parses a raw HTTP request using yii\helpers\Json::decode()
To enable parsing for JSON requests you can configure yii\web\Request::$parsers using this class:
'request' =&g
- Quartz-1.8.6 理论部分
eksliang
quartz
转载请出自出处:http://eksliang.iteye.com/blog/2207691 一.概述
基于Quartz-1.8.6进行学习,因为Quartz2.0以后的API发生的非常大的变化,统一采用了build模式进行构建;
什么是quartz?
答:简单的说他是一个开源的java作业调度框架,为在 Java 应用程序中进行作业调度提供了简单却强大的机制。并且还能和Sp
- 什么是POJO?
gupeng_ie
javaPOJO框架Hibernate
POJO--Plain Old Java Objects(简单的java对象)
POJO是一个简单的、正规Java对象,它不包含业务逻辑处理或持久化逻辑等,也不是JavaBean、EntityBean等,不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。
POJO对象有时也被称为Data对象,大量应用于表现现实中的对象。如果项目中使用了Hiber
- jQuery网站顶部定时折叠广告
ini
JavaScripthtmljqueryWebcss
效果体验:http://hovertree.com/texiao/jquery/4.htmHTML文件代码:
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>网页顶部定时收起广告jQuery特效 - HoverTree<
- Spring boot内嵌的tomcat启动失败
kane_xie
spring boot
根据这篇guide创建了一个简单的spring boot应用,能运行且成功的访问。但移植到现有项目(基于hbase)中的时候,却报出以下错误:
SEVERE: A child container failed during start
java.util.concurrent.ExecutionException: org.apache.catalina.Lif
- leetcode: sort list
michelle_0916
Algorithmlinked listsort
Sort a linked list in O(n log n) time using constant space complexity.
====analysis=======
mergeSort for singly-linked list
====code======= /**
* Definition for sin
- nginx的安装与配置,中途遇到问题的解决
qifeifei
nginx
我使用的是ubuntu13.04系统,在安装nginx的时候遇到如下几个问题,然后找思路解决的,nginx 的下载与安装
wget http://nginx.org/download/nginx-1.0.11.tar.gz
tar zxvf nginx-1.0.11.tar.gz
./configure
make
make install
安装的时候出现
- 用枚举来处理java自定义异常
tcrct
javaenumexception
在系统开发过程中,总少不免要自己处理一些异常信息,然后将异常信息变成友好的提示返回到客户端的这样一个过程,之前都是new一个自定义的异常,当然这个所谓的自定义异常也是继承RuntimeException的,但这样往往会造成异常信息说明不一致的情况,所以就想到了用枚举来解决的办法。
1,先创建一个接口,里面有两个方法,一个是getCode, 一个是getMessage
public
- erlang supervisor分析
wudixiaotie
erlang
当我们给supervisor指定需要创建的子进程的时候,会指定M,F,A,如果是simple_one_for_one的策略的话,启动子进程的方式是supervisor:start_child(SupName, OtherArgs),这种方式可以根据调用者的需求传不同的参数给需要启动的子进程的方法。和最初的参数合并成一个数组,A ++ OtherArgs。那么这个时候就有个问题了,既然参数不一致,那