hbase查询性对比 mysql_查询MYSQL和查询HBASE速度比较
上一篇文章：我要上谷歌
Mysql，关系型数据库；
HBase，NoSql数据库。
查询Mysql和查询HBase，到底哪个速度快呢？
与一些真正的大牛讨论时，他们说HBase写入速度，可以达到每秒1W。而HBase的理想速度为每秒10W。
来个实验说明一下，此实验只能表明，当前环境下运行状态。我的实验效果，没有到1W，还在优化中…
环境：
有3台虚拟机，运行Hadoop集群；3台虚拟机也在跑HBase：master，node1，node2
master上，同时安装了Mysql数据库。
目前有这样一个需求：
有一堆文本文件，每个文本文件内，存储着日志；
每一行为一条记录；
现在需要，逐行读取记录，并根据记录中的mac地址和sn号，去从HBase或Mysql中，获取账号信息。
然后合并成一条记录，写入HBase的“SHUJU”表内。
Mysql表结构：
id,mac,sn,addtime,account
HBase表结构：
ROWKEY为mac+sn，mac，sn，account，addtime
测试效果如下：
每隔一分钟，执行一次count操作，统计当前数据条数。
select count(1) from SHUJU
结果如下
=====================================
Mysql上，第一次测试。
开始时间11:03:15
28135(条数)
39014
49659
264564
274379
285174(条数)
结束时间11.26.15
285174 – 28135 = 257039
257039 / 23 = 11 175.608695652
也是1W以上。。。
=====================================
查询的 HBase库
开始时间14:43:00
5622(条数)
16671
25062
34848
46652
58001
69690
79908(条数)
结束 14:50:00
79908 – 5622 = 74 286
74286 /7 = 10 612 每分钟个数。
=====================================
mysql
开始 14:58:30
19248(条数)
26526
36389
45837
51945
62497
72319
82695(条数)
结束时间：15:04:30
间隔 七分钟
82695 – 19248 = 63 447
93447 / 7 = 9 063.8571428571
======================================
可以看出在HBase中速度，比mysql中速度略快一点。
但是总的速度，还是有待提高。。。
文章来自： 大牛笔记
Mysql慢查询-Mysql慢查询详细教程
一.简介开启慢查询日志,可以让MySQL记录下查询超过指定时间的语句,通过定位分析性能的瓶颈,才能更好的优化数据库系统的性能.二.参数说明slow_query_log 慢查询开启状态slow_quer ...
php查询mysql数据库 查询条件替中文字符串变量时无法查询
$temp2 ='十年';mysql_query("SET NAMES GBK"); $res = mysql_query("select songer_name fro ...
MySQL加速查询速度的独门武器：查询缓存
[导读] 与朋友或同事谈到MySQL查询缓存功能的时候,个人喜欢把查询缓存功能Query Cache比作荔枝, 是非常营养的东西,但是一次性吃太多了,就容易上火而流鼻血,虽然不是特别恰当的比喻,但是有 ...
MySQL全文索引、联合索引、like查询、json查询速度大比拼
目录 查询背景 一.like查询 二.json函数查询 三.联合索引查询 四.全文索引查询 结论 查询背景 有一个表tmp_test_course大概有10万条记录,然后有个json字段叫outlin ...
插入和查询HBase速度都比较慢
表层问题:插入和查询HBase速度比较慢 排查一,查看HBase节点状态,发现正常运行: 排查二,查看访问HBase服务的状态,发现服务停止: 依次点击服务实例,查看服务状态 133和135节点上的服 ...
Mysql慢查询操作梳理
Mysql慢查询解释MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询 ...
mysql 处理查询请求过程
需要搞清楚查询为什么会慢,就要搞清楚mysql处理查询请求的过程: 1.客户端发送SQL请求给服务器 2.服务器检查是否可以在查询缓存中命中该SQL 查询缓存对SQL性能的影响. 1.需要对缓存加 ...
linux下开启mysql慢查询，分析查询语句
一,为什么要开启这个查询呢? 数据库是很容易产生瓶颈的地方,现在Nosql大家讨论这么热,估计都被数据库搞郁闷了.mysql中最影响速度的就是那些查询非常慢的语句,这些慢的语句,可能是写的不够合理或者 ...
如何查找MySQL中查询慢的SQL语句
如何查找MySQL中查询慢的SQL语句 更多 如何在mysql查找效率慢的SQL语句呢?这可能是困然很多人的一个问题,MySQL通过慢查询日志定位那些执行效率较低的SQL 语句,用--log-slow ...
随机推荐
学习CSS的瓶颈
何为学习瓶颈 学习到了一定的阶段,就很难继续提高水平的一种现象 这是很多人都正面对的,但同时自己并未意识到. 既然是瓶颈,那么一旦突破了,就是广阔天空! 你是否经常面对这样的情景: 遇到一个奇葩问题, ...
【转】java的socket编程
转自:http://www.cnblogs.com/linzheng/archive/2011/01/23/1942328.html 一,网络编程中两个主要的问题 一个是如何准确的定位网络上一台或多台 ...
细谈HTML5
回顾过了html接下来我们就来看看HTML5吧! HTML5手机应用的最大优势就是可以在网页上直接调试和修改.原先应用的开发人员可能需要花费非常大的力气才能达到HTML5的效果,不断地重复编码.调试和 ...
DC-DC升压(BOOST)电路原理
BOOST升压电路中: 电感的作用:是将电能和磁场能相互转换的能量转换器件,当MOS开关管闭合后,电感将电能转换为磁场能储存起来,当MOS断开后电感将储存的磁场能转换为电场能,且这个能量在和 ...
Sql server 查询
--Student(S#,Sname,Sage,Ssex) 学生表 --Course(C#,Cname,T#) 课程表 --SC(S#,C#,score) 成绩表 --Teacher(T#,Tname ...
Design Pattern Memo 备忘录设计模式
本设计模式就是简单地记录当前状态.然后利用记录的数据恢复. 比方首先我们有一个类.类须要记录当前状态进行相关的工作的: class Memo; class Human { public: string ...
Webpack 2 视频教程 008 - WDS 端口号等配置相关
原文发表于我的技术博客 这是我免费发布的高质量超清「Webpack 2 视频教程」. Webpack 作为目前前端开发必备的框架,Webpack 发布了 2.0 版本,此视频就是基于 2.0 的版本讲 ...
[.net 面向对象程序设计深入](26)实战设计模式——策略模式 Strategy (行为型)
[.net 面向对象程序设计深入](26)实战设计模式——策略模式 Strategy (行为型) 1,策略模式定义 策略模式定义了一系列的算法,并将每一个算法封装起来,而且使它们还可以相互替换.策略模 ...
Google搜索中的突变XSS-JavaScript Library Introduced XSS Flaw in Google Search
前言2018年9月26日,开源Closure库(最初由谷歌创建并用于谷歌搜索)的一名开发人员创建了一个提交,删除了部分输入过滤.据推测,这是因为开发人员在用户界面设计方面出现了问题.但此次提交的开发人 ...
面向对象【day07】：析构函数(六)
二.析构函数 一.概述 析构函数,第一次听说这个函数的名称,那这个函数到底是干嘛的呢?什么才是析构函数呐? 定义:在实例销毁的时候调用的函数 二.析构函数定义 2.1 定义 1 2 3 4 5 6 7 ...