zhengqiangtan
zhengqiangtan

HBase从入门到放弃（经典收藏）

前言

HBase是大数据架构中最常用的面向半结构、非结构化的存储系统，是Google三驾马车之一Bigtable的开源实现(Apache顶级项目)，具备高可靠、高性能、可伸缩能力。

伴随着互联网时代数据的澎湃增长，HBase在国内外知名公司(Facebook、LinkedIn、Pinterest、雅虎、阿里、小米、腾讯、滴滴等)中进行了大规模应用，并与Cloudera、AWS、微软等商业公司一起推动建设HBase生态与社区，使得HBase成为Apache基金会下最活跃的项目之一。

值得骄傲的是，HBase是国内同学参与贡献最有影响力之一的国际项目，截至目前，国内共有6位HBase PMC，10多位HBase Committer，中国力量已成为HBase生态积极壮大的核心源动力。

过去几年，围绕HBase的生态体系也正在蓬勃发展。Phoenix是基于HBase的SQL引擎，帮助解决HTAP和OLAP场景的问题；OpenTSDB是基于HBase的时序数据库，成为IoT场景的首选开源方案；JanusGraph是基于HBase的图数据库，在面向关系分析、安全风控的大数据场景成为必备品；GeoMesa是基于HBase的时空数据库，在共享出行、自动驾驶、城市大脑、智慧物流等新兴行业拥有广阔的前景空间。

学习HBase、使用HBase、开发HBase正在成为大数据领域从业者的必选项。作为HBase较早参与者之一，希望能将过去看到的很多优秀资料做一些梳理汇总，方便新手老鸟按需阅读，后续将会更新，也欢迎大家一起补充。

发展历史

  • 2006年11月：Google发布BigTable论文
  • 2007年2月：HBase宣布在Hadoop项目中成立
  • 2008年1月：Hadoop成为Apache的顶级项目，HBase成为Hadoop的子项目
  • 2010年5月：HBase成为Apache的顶级项目
  • 2010年6月：HBase-0.89发布，Facebook开始使用
  • 2011年1月：HBase-0.90发布，阿里巴巴开始使用
  • 2012年5月：HBase-0.94发布，开始广泛使用
  • 2015年2月：HBase-1.0发布
  • 2018年5月：HBase-2.0发布

产品能力

  • 产品对比

    • HBase与关系型数据库的异同：MySQL vs HBase 
    • 三大NoSQL数据库的区别与定位：HBase、Mongodb、Redis
    • 大数据之HBase和Hive的差别是什么

  • 功能特性

    • 核心功能

      • 基本数据模型
      • 过期自动删除：TTL
      • 多版本与多列簇
      • 数据压缩及编码：特性介绍、使用指南

    • 高级特性

      • 中小对象实时存储： HBase MOB特性
      • 全链路offheap
      • 冷热分离
      • 二级索引

应用实践

  • 关于Rowkey设计

    • 如何合理的设计HBase RowKey?：来自毕姥爷的分享，介绍RowKey设计的常见技巧、原则，分析时序、时空、图场景下的三个典型案例(OpenTSDB/JanusGraph/GeoMesa)

  • 社交Feed流场景

    • 基于HBase的Feed流存储架构设计：介绍Feed流的常见架构及背后考虑，并以HBase为例给出详细设计
    • Pinterest的基于HBase的Smart Feed架构与算法

  • 监控系统场景

    • 基于HBase的58监控平台设计与实践
    • HBase在新能源汽车监控系统中的应用
    • 百度智能监控场景下的HBase实践

  • 搜索与推荐场景

    • HBase在阿里搜索推荐中的应用，介绍HBase如何作为阿里搜索与推荐系统中的核心存储
    • HBase在搜狐内容推荐系统中的应用，介绍搜狐的推荐系统及HBase存储使用

  • 风控场景

    • HBase在挖财风控系统的应用和高可用实践
    • 爱奇艺业务安全风控体系的建设实践
    • 美团点评业务风控系统构建之道

  • 用户画像

    • 40 亿移动设备的用户画像和标签架构实践，分享TalkingData公司对于画像标签系统架构的设计实践，其中存储部分主要使用HBase
    • 阿里HBase在用户画像领域的实践,分享阿里在画像领域的HBase实践
    • 小米用户画像的演进及应用解读，分享了小米的用户画像，及其如何应用，驱动业务增长，产生价值，其中主要使用HBase作为画像数据的存储
    • 一号店用户画像系统实践，介绍一号店画像系统的技术架构，以及HBase的在离线分离存储设计
    • 关于用户画像产品构建和应用的几点经验，来自贝聊的用户画像产品构建的详细经验分享，存储部分主要使用HBase+ES的组合

  • 物联网/车联网

    • 车纷享：基于阿里云HBase构建车联网平台实践，介绍汽车终端数据如何上传、存储、计算分析等
    • HBase实践案例：车联网监控系统，介绍百万车辆的监控系统设计实践
  • 数据大屏

  • 订单类场景

    • 有赞亿级订单同步的探索与实践，介绍有赞亿级订单的存储架构设计和实践，使用HBase存储订单详情，使用ES检索订单

  • 地理与时空

    • HBase与时空索引：介绍时空场景下的索引技术，以及基于HBase如何实现
    • 基于HBase的海量GIS数据分布式处理实践, 介绍基于HBase的GIS数据处理设计

  • 数据迁移

    • HBase集群之间的迁移： BDS - HBase数据迁移同步方案的设计与实践

    • MySQL同步至HBase

      • 全量同步 ： 使用Sqoop从Mysql向HBase同步数据
      • 实时同步：  RDS实时数据同步至云HBase、Phoenix

大公司案例

HBase在大公司常使用于安全、风控、推荐、搜索、用户画像、订单存储、社交Feed流、物联网、车联网、监控、 数据大屏、日志处理、行为分析、大数据存储等各个场景

  • 阿里巴巴

    • 大数据时代的结构化存储-HBase在阿里的应用实践：讲述在阿里巴巴集团的实践，HBase在阿里集团已经超过10000台，主要在订单、监控、风控、消息、大数据计算等领域使用
    • HBase在阿里搜索推荐中的应用：讲述HBase在阿里搜索场景下的应用及相关的改进

  • 腾讯

    • HBase在腾讯大数据的应用实践：在游戏营销、广告处理、监控、日志等领域的HBase应用
    • 日均采集1200亿数据点，腾讯千亿级服务器监控数据存储实践：介绍使用HBase存储TMP服务器海量监控数据的实践历程
    • 互联网金融行业HBase实践与创新：介绍HBase在腾讯金融支付场景的实践与挑战

  • Facebook

    • HBase在消息系统的应用：介绍Facebook消息系统选择HBase存储的原因，包括电子邮件、即时通讯、短信、文本信息、Facebook站内信息

  • Pinterest

    • 基于HBase的Feed架构设计：介绍了Pinterest的智能Feed架构设计及如何基于HBase设计存储
    • HBase在Pinterest的应用及版本升级实战：主要场景包括主页Feed流、搜索、发现、用户元数据等

  • 滴滴

    • HBase在滴滴出行的应用场景和最佳实践：统计结果、报表类数据、原始事实类数据、中间结果数据、线上系统的备份数据的一些应用

  • 网易

    • 网易HBase实践: 在报表、监控、日志类业务、消息类业务、推荐类业务、风控类业务有所使用，另外讲述了一些优化的点。
    • Apache HBase at Netease:  HBase在网易的实践与改进

  • 京东

    • HBase在京东的实践 ：介绍HBase在罗盘（商家、供应商、品牌）、个性化推荐、商品评价、风控/白条/支付/资管（金融）、订单/青龙、MDC/UMP/CAP/JDH/监控大屏等场景的应用与挑战
    • 基于HBase的大数据存储在京东的应用场景

  • 小米

    • HBase在小米的实践：HBase在米聊、MiCloud、Push服务、离线分析等场景的应用及挑战改进

  • 百度

    • 百度智能监控场景下的HBase实践：基于HBase的监控系统设计

  • 快手

    • 快手HBase在千亿级用户特征数据分析中的应用与实践：使用HBase存储的用户特征数据

  • Hulu

    • HBase在Hulu的使用和实践:用户画像、订单存储系统、日志存储系统的使用

  • 中国人寿

    • 中国人寿基于HBase的企业级大数据平台：使用一个大跨表存储所有的保单，HBase宽表的实践

  • G7

    • hbase 在物联网领域的实践及解决方案 讲述了怎么使用spark及hbase来满足物联网的需求   

转自 https://developer.aliyun.com/article/739650?spm=a2c6h.12873581.0.0.616825fbzJnYVo&groupCode=hbasespark
侵删！

你可能感兴趣的:(HBase)

  • 华为MRS产品组件 QianJin_zixuan hadoophive大数据数据库架构gaussdb
    MRS：MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务（全栈大数据平台），轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。集群管理：使用MRS的首要操作就是购买集群，MRS的扩容不论在存储还是计算能力上，都可以简单地通过增加Core节点或者Task节点来完成。集群Core节
  • HBase：大数据时代的“超级数据库” 狮歌~资深攻城狮 hbase大数据
    HBase：大数据时代的“超级数据库”你是不是也被数据淹没过？大家有没有这样的经历，手机里存了成千上万张照片，每次想找某一张特定的照片时，都得翻半天？或者在工作中面对堆积如山的数据报表，感觉像是在大海捞针。今天我们要聊的HBase，就是为了解决这种“数据洪流”的问题。什么是HBase？HBase是一个分布式的、面向列的开源数据库，它基于Google的Bigtable论文设计而成。简单来说，HBas
  • HBase常用的Filter过滤器操作 梵高的夏天 python算法机器学习
    HBase常用的Filter过滤器操作_hbasefilter-CSDN博客HBase过滤器种类很多，我们选择8种常用的过滤器进行介绍。为了获得更好的示例效果，先利用HBaseShell新建students表格，并往表格中进行写入多行数据。一、数据准备工作（1）在默认命名空间中新建表格students，设置列族info、score。hbase:002:0>create'students','inf
  • Pinpoint应用性能管理工具Docker化安装 小苏少 DockerLinux软件测试dockerpinpointlinuxJVM监控
    目录Pinpoint应用性能管理工具Docker化安装Pinpoint是什么为什么用Pinpoint下载hbase-create.hbase编写Dockerfile编写run.sh构建Dockerfile启动Pinpoint其他Pinpoint应用性能管理工具Docker化安装本文主要介绍Pinpoint应用性能管理工具Docker化安装，以及在后期Pinpoint进行版本升级时，如何同步升级Do
  • hbase put 写入数据慢_HBase 马斯克·贾 hbaseput写入数据慢
    HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。逻辑结构物理存储结构数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。HBase的底层物理存储结构(K-V)。NameSpace命名空间，类似于关系型数据库的DatabBase概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是hbase和default，hbase中存放的是H
  • 如何用HBase轻松管理海量数据？ 狮歌~资深攻城狮 hbase大数据
    如何用HBase轻松管理海量数据？小白也能学会的入门指南数据太多，头都大了？你有没有过这样的经历：面对堆积如山的数据文件，感觉像是被淹没在信息的海洋里？别担心，今天我们要聊的HBase，就是来帮你解决这个问题的神器。不管你是技术小白还是有一定经验的开发者，这篇文章都能让你轻松上手HBase。什么是HBase？HBase是一个分布式的、面向列的开源数据库，专门用来处理大规模数据。它基于Google的
  • Zookeeper（67） Zookeeper在HBase中的应用是什么？ 辞暮尔尔-烟火年年 微服务zookeeperhbasepython
    Zookeeper在HBase中起到了至关重要的作用，主要用于协调和管理HBase集群中的多个组件。具体来说，Zookeeper在HBase中的应用包括以下几个方面：Master选举：HBase集群中可以有多个Master节点，但只有一个处于Active状态，其余为Standby状态。Zookeeper用于进行Master节点的选举。RegionServer协调：Zookeeper用于管理和协调R
  • 深入HBase——核心组件 黄雪超 大数据基础#深入HBasehbase数据库数据结构
    引入通过上一篇对HBase核心算法和数据结构的梳理，我们对于其底层设计有了更多理解。现在我们从引入篇里面提到的HBase架构出发，去看看其中不同组件是如何设计与实现。核心组件首先，需要提到的就是HBase架构中会依赖到的Zookeeper和HDFS。对于HDFS看过深入HDFS的小伙伴，应该都不陌生，它提供了高可靠的海量数据存储和读写能力；而对于Zookeeper，它是一个分布式协调存储服务，主要
  • 大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构 m0_74823705 面试学习路线阿里巴巴大数据架构
    点一下关注吧！！！非常感谢！！持续更新！！！Java篇开始了！目前开始更新MyBatis，一起深入浅出！目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka（已更完）Spark（已更完）Flink（已更完）ClickHouse（已
  • Trae 项目常见问题解决方案 强和毓Hadley
    Trae项目常见问题解决方案trae:postbox:MinimalisticFetchbasedHTTPclient项目地址:https://gitcode.com/gh_mirrors/tr/trae项目基础介绍Trae是一个基于FetchAPI的极简HTTP客户端，旨在提供一个简单、轻量级的HTTP请求工具。该项目的主要编程语言是TypeScript和JavaScript。Trae的设计理念
  • Hbase深入浅出 天才之上 数据存储Hbase大数据存储
    目录HBase在大数据生态圈中的位置HBase与传统关系数据库的区别HBase相关的模块以及HBase表格的特性HBase的使用建议Phoenix的使用总结HBase在大数据生态圈中的位置提到大数据的存储，大多数人首先联想到的是Hadoop和Hadoop中的HDFS模块。大家熟知的Spark、以及Hadoop的MapReduce，可以理解为一种计算框架。而HDFS，我们可以认为是为计算框架服务的存
  • 深入浅出了解HBase及RDD编程 山海王子 大数据hbase
    深入浅出了解HBaseHBase简介架构HBase是什么样的数据库？关键是数据模型关键要素：什么是单元格时间戳的功能是什么？HBase为什么能存储海量数据创建一个HBase表配置Spark编写程序读取HBase数据编写程序向HBase写入数据关于搭建HBase高可用集群的图文教程，可参考我的另一篇博文——安装并配置HBase集群（5个节点）。HBase简介HBase是GoogleBigTable的
  • HBase简介：高效分布式数据存储和处理 代码指四方 分布式hbase数据库大数据
    HBase简介：高效分布式数据存储和处理HBase是一个高效的、可扩展的分布式数据库，它是构建在ApacheHadoop之上的开源项目。HBase的设计目标是为大规模数据存储和处理提供高吞吐量和低延迟的解决方案。它可以在成百上千台服务器上运行，并能够处理海量的结构化和半结构化数据。HBase的核心特点包括：分布式存储：HBase使用Hadoop分布式文件系统（HDFS）作为底层存储，数据被分布在集
  • HBase简介 梦醒沉醉 Hadoophbase数据库大数据
    目录1.HBase概述2.HBase核心概念2.1行关键字2.2列关键字2.3时间戳2.4单元2.4.1HBase和RDBMS的差异2.4.2HBase组成3.HBase流程3.1Region的分配3.2RegionServer上线3.3RegionServer下线3.4Master上线3.5Master下线3.6写请求处理参考1.HBase概述  HBase是NoSQL(NotOnlySQL，泛
  • MongoDB面试题答案解析 HappyAcmen java面试题集mongodb数据库
    文章目录一、概念理解类1.什么是MongoDB？2.NoSQL数据库是什么意思？NoSQL与RDBMS有什么区别？为什么要使用和不使用NoSQL数据库？3.MySQL与MongoDB之间最基本的差别是什么？4.你怎么比较MongoDB、CouchDB及CouchBase？5.MongoDB成为最好的NoSQL数据库的原因是什么？6.journal回放在条目(entry)不完整时会遇到问题吗？7.分
  • HBase基本技巧：掌握高效数据管理的秘诀 狮歌~资深攻城狮 javaandroid数据库
    HBase基本技巧：掌握高效数据管理的秘诀嘿，小伙伴们！现在你已经对HBase有了初步的了解，接下来让我们深入探讨一些HBase的基本技巧。这些技巧不仅能帮助你更高效地管理和操作数据，还能让你在面对复杂场景时游刃有余。1.行键设计的艺术什么是行键？行键（RowKey）是HBase表中每一行的唯一标识符。它的设计直接影响到查询性能和数据分布。因此，合理设计行键是非常重要的。设计原则•避免热点问题：如
  • 【动态路由】系统Web URL资源整合系列（后端技术实现）【apisix实现】 飞火流星02027 URL整合apisix反向代理apisix网关apisix实现web资源整合系统URL资源整合apisix基于请求参数的路由apisix基于请求头的路由APISIXDashboard
    需求说明软件功能需求：反向代理功能（描述：apollo、eureka控、apisix、sentinel、普米、kibana、timetask、grafana、hbase、skywalking-ui、pinpoint、cmak界面、kafka-map、nacos、gateway、elasticsearch、oa-portal业务应用等多个web资源等只能通过有限个代理地址访问），不考虑SSO。软件质
  • 大数据之-hdfs+hive+hbase+kudu+presto集群(6节点) 管哥的运维私房菜 大数据hdfshivekuduprestohbase
    几个主要软件的下载地址：prestohttps://prestosql.io/docs/current/index.htmlkudurpm包地址https://github.com/MartinWeindel/kudu-rpm/releaseshivehttp://mirror.bit.edu.cn/apache/hive/hdfshttp://archive.apache.org/dist/ha
  • hbase快照同步到目标集群出现ERROR Multiple regions have the same startkey问题分析 spring208208 hbasehbasepython前端
    问题现象源集群表split/merge过程中创建快照，该快照同步到目标集群，目标集群恢复快照后，进行hbck检查，就会出现异常报错：ERRORMultipleregionshavethesamestartkey;问题分析首先，出现上述问题可能有如下两种原因：源集群中snapshot表本身就存在这种问题，没有修复就执行snapshot，导出快照到目标集群，然后恢复表也会存在这种问题。在执行split
  • hive spark读取hive hbase外表报错分析和解决 spring208208 hivehivesparkhbase
    问题现象使用Sparkshell操作hive关联Hbase的外表导致报错；hive使用tez引擎操作关联Hbase的外表时报错。问题1：使用tez或spark引擎，在hive查询时只要关联hbase的hive表就会有问题其他表正常。“org.apache.hadoop.hbase.client.RetriesExhaustedException:Can’tgetthelocations”问题2：s
  • HBase的合并操作 b1gx HBase
    compact的作用flush操作会将memstore的数据落地为一个个StoreFile（HFile），那么随着时间的增长在HDFS上面就会有很多的HFile文件，这样对读操作会产生比较大的影响（读操作会对HFile进行归并查询），并且对DataNode的压力也会比较大。为了降低对读操作的影响，可以对这些HFile进行compact操作，但是compact操作会产生大量的IO，所以可以看出com
  • hbase 刷新队列和文件描述符过高告警 battybaby hbase数据库database
    5节点的hbase配置为虚机，8c16g，时常出现刷新队列和文件描述符过高告警，如下图，文件描述符的告警不会自动恢复基本上每周重启一次RegionServer，重启后刷新队列会降下来。1：刷新队列高是因为小文件比较多2：文件描述符高是因为打开的文件比较多处理方法：拟合并hbase文件，后面合并了再更新看看HBASE手动触发major_compact_刘本龙的专栏-CSDN博客_hbasemajor
  • HBASE面试技巧 狮歌~资深攻城狮 hbase大数据
    准备HBase面试时，除了熟悉常见的面试题及其答案外，还需要掌握一些面试技巧，以更好地展示你的技能和知识。以下是一些有效的HBase面试技巧和策略：1.深入理解核心概念技术深度•倒排索引：虽然HBase本身不使用倒排索引（这是搜索引擎如Elasticsearch使用的），但理解这一概念有助于对比不同存储系统的特性。•列族设计：列族的设计对性能有很大影响，确保你能够解释如何选择合适的列族数量、块大小
  • 如何学习HBase：从入门到精通的完整指南 狮歌~资深攻城狮 hbase大数据
    如何学习HBase：从入门到精通的完整指南嘿，小伙伴们！如果你对大数据存储感兴趣，并且想要掌握HBase这一强大的分布式数据库，那么你来对地方了！本文将为你提供一个系统的学习路径，帮助你从零开始逐步深入理解HBase。1.基础知识准备1.1理解NoSQL数据库在开始学习HBase之前，建议先了解一下NoSQL数据库的基本概念和分类。NoSQL数据库与传统的关系型数据库（如MySQL）有很大的不同，
  • 深入HBase——引入 黄雪超 大数据基础#深入HBase大数据数据库hbase
    引入前面我们通过深入HDFS到深入MapReduce，从设计和落地，去深入了解了大数据最底层的基石——存储与计算是如何实现的。这个专栏则开始来看大数据的三驾马车中最后一个。通过前面我们对于GFS和MapReduce论文实现的了解，我们知道GFS在数据写入时，只对顺序写入有比较弱的一致性保障，而对于数据读取，虽然GFS支持随机读取，但在当时的硬件条件下，实际上也是支撑不了真正的高并发读取的；此外，M
  • 时序数据库技术体系 – 初识InfluxDB（原理） weixin_30622181 数据库大数据系统架构
    原贴地址：http://hbasefly.com/2017/12/08/influxdb-1/?qytefg=c4ft23在上篇文章《时序数据库体系技术–时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑，其中OpenTSDB基于HBase对维度值进行了全局字典编码优化，Druid采用列式存储并实现了Bitmap索引以及局部字典编码优化，InfluxDB和Beringe
  • 分布式存储--大规模订单架构设计 梦江河 大数据分布式订单系统大数据
    架构一：MySQL+HBase+ElasticsearchMySQL存储实时订单，HBase存储历史订单，Elasticsearch实现订单的多维度搜索。架构复杂，运维维护成本高架构二：MySQL+TablestoreTablestore其实是HBase+Elasticsearch，既能存储大量数据，也能全文搜索架构三：分布式数据库TiDB+全文搜索功能参考文章
  • 蓝易云 - HBase基础知识 蓝易云 hbase数据库大数据phppython人工智能
    HBase是一个分布式、可伸缩、列式存储的NoSQL数据库，它建立在Hadoop的HDFS之上，提供高可靠性、高性能的数据存储和访问。以下是HBase的基础知识：数据模型：HBase以表的形式存储数据，每个表由行和列组成，可以动态添加列族。每行由唯一的行键标识，列族和列限定符（Qualifier）用于唯一标识列。架构：HBase采用分布式架构，数据被分散存储在多个RegionServer上，每个R
  • 线上HBase client返回超时异常分析 HBase callTimeout=60000 spring208208 大数据组件线上问题分析hbase数据库大数据
    问题现象HBaseclient直接返回超时异常HBasecallTimeout=60000,callDuration=60301:row‘12649160863966c2790195059018040900010003320’ontable‘Z_UPA’atregion=Z_UPA,1213d1a56,1184027415643.ba7224f83dbb09591a74b7059f17.,host
  • unable to create new native thread异常分析 spring208208 hadoopjava开发语言
    问题现象HBase的RegionServer服务以及对应的节点均出现了OOM现象。在DataNode服务节点上信息如下：ERROR:DataNodeisoutofmemory.Willretryin30seconds.unabletocreatenewnativethread问题分析根据反馈的信息，程序报unabletocreatenewnativethread异常其中java.lang.OutO
  • tomcat基础与部署发布 暗黑小菠萝 Tomcat java web
    从51cto搬家了，以后会更新在这里方便自己查看。 做项目一直用tomcat，都是配置到eclipse中使用，这几天有时间整理一下使用心得，有一些自己配置遇到的细节问题。 Tomcat：一个Servlets和JSP页面的容器，以提供网站服务。 一、Tomcat安装     安装方式：①运行.exe安装包      &n
  • 网站架构发展的过程 ayaoxinchao 数据库应用服务器网站架构
    1.初始阶段网站架构：应用程序、数据库、文件等资源在同一个服务器上 2.应用服务和数据服务分离：应用服务器、数据库服务器、文件服务器 3.使用缓存改善网站性能：为应用服务器提供本地缓存，但受限于应用服务器的内存容量，可以使用专门的缓存服务器，提供分布式缓存服务器架构 4.使用应用服务器集群改善网站的并发处理能力：使用负载均衡调度服务器，将来自客户端浏览器的访问请求分发到应用服务器集群中的任何
  • [信息与安全]数据库的备份问题 comsci 数据库
          如果你们建设的信息系统是采用中心-分支的模式,那么这里有一个问题   如果你的数据来自中心数据库,那么中心数据库如果出现故障,你的分支机构的数据如何保证安全呢?    是否应该在这种信息系统结构的基础上进行改造,容许分支机构的信息系统也备份一个中心数据库的文件呢?  &n
  • 使用maven tomcat plugin插件debug关联源代码 商人shang mavendebug查看源码tomcat-plugin
    *首先需要配置好'''maven-tomcat7-plugin'''，参见[[Maven开发Web项目]]的'''Tomcat'''部分。 *配置好后，在[[Eclipse]]中打开'''Debug Configurations'''界面，在'''Maven Build'''项下新建当前工程的调试。在'''Main'''选项卡中点击'''Browse Workspace...'''选择需要开发的
  • 大访问量高并发 oloz 大访问量高并发
    大访问量高并发的网站主要压力还是在于数据库的操作上，尽量避免频繁的请求数据库。下面简 要列出几点解决方案： 01、优化你的代码和查询语句，合理使用索引 02、使用缓存技术例如memcache、ecache将不经常变化的数据放入缓存之中 03、采用服务器集群、负载均衡分担大访问量高并发压力 04、数据读写分离 05、合理选用框架，合理架构(推荐分布式架构)。
  • cache 服务器 小猪猪08 cache
    Cache   即高速缓存.那么cache是怎么样提高系统性能与运行速度呢？是不是在任何情况下用cache都能提高性能？是不是cache用的越多就越好呢？我在近期开发的项目中有所体会，写下来当作总结也希望能跟大家一起探讨探讨，有错误的地方希望大家批评指正。 　　1.Cache   是怎么样工作的? 　　Cache   是分配在服务器上
  • mysql存储过程 香水浓 mysql
    Description:插入大量测试数据 use xmpl; drop procedure if exists mockup_test_data_sp; create procedure mockup_test_data_sp( in number_of_records int ) begin declare cnt int; declare name varch
  • CSS的class、id、css文件名的常用命名规则 agevs JavaScriptUI框架Ajaxcss
      CSS的class、id、css文件名的常用命名规则     (一)常用的CSS命名规则 　　头：header 　　内容：content/container 　　尾：footer 　　导航：nav 　　侧栏：sidebar 　　栏目：column 　　页面外围控制整体布局宽度：wrapper 　　左右中：left right
  • 全局数据源 AILIKES javatomcatmysqljdbcJNDI
    实验目的：为了研究两个项目同时访问一个全局数据源的时候是创建了一个数据源对象，还是创建了两个数据源对象。 1：将diuid和mysql驱动包（druid-1.0.2.jar和mysql-connector-java-5.1.15.jar）copy至%TOMCAT_HOME%/lib下；2：配置数据源，将JNDI在%TOMCAT_HOME%/conf/context.xml中配置好,格式如下：&l
  • MYSQL的随机查询的实现方法 baalwolf mysql
    MYSQL的随机抽取实现方法。举个例子，要从tablename表中随机提取一条记录，大家一般的写法就是：SELECT * FROM tablename ORDER BY RAND() LIMIT 1。但是，后来我查了一下MYSQL的官方手册，里面针对RAND()的提示大概意思就是，在ORDER BY从句里面不能使用RAND()函数，因为这样会导致数据列被多次扫描。但是在MYSQL 3.23版本中，
  • JAVA的getBytes()方法 bijian1013 javaeclipseunixOS
        在Java中，String的getBytes()方法是得到一个操作系统默认的编码格式的字节数组。这个表示在不同OS下，返回的东西不一样！      String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示，如： byte[] b_gbk = "
  • AngularJS中操作Cookies bijian1013 JavaScriptAngularJSCookies
            如果你的应用足够大、足够复杂，那么你很快就会遇到这样一咱种情况：你需要在客户端存储一些状态信息，这些状态信息是跨session(会话)的。你可能还记得利用document.cookie接口直接操作纯文本cookie的痛苦经历。         幸运的是，这种方式已经一去不复返了，在所有现代浏览器中几乎
  • [Maven学习笔记五]Maven聚合和继承特性 bit1129 maven
    Maven聚合   在实际的项目中，一个项目通常会划分为多个模块，为了说明问题，以用户登陆这个小web应用为例。通常一个web应用分为三个模块： 1. 模型和数据持久化层user-core, 2. 业务逻辑层user-service以 3. web展现层user-web， user-service依赖于user-core user-web依赖于user-core和use
  • 【JVM七】JVM知识点总结 bit1129 jvm
      1. JVM运行模式 1.1 JVM运行时分为-server和-client两种模式，在32位机器上只有client模式的JVM。通常，64位的JVM默认都是使用server模式，因为server模式的JVM虽然启动慢点，但是，在运行过程，JVM会尽可能的进行优化 1.2 JVM分为三种字节码解释执行方式：mixed mode, interpret mode以及compiler
  • linux下查看nginx、apache、mysql、php的编译参数 ronin47
    在linux平台下的应用，最流行的莫过于nginx、apache、mysql、php几个。而这几个常用的应用，在手工编译完以后，在其他一些情况下（如：新增模块），往往想要查看当初都使用了那些参数进行的编译。这时候就可以利用以下方法查看。 1、nginx [root@361way ~]# /App/nginx/sbin/nginx -V nginx: nginx version: nginx/
  • unity中运用Resources.Load的方法？ brotherlamp unity视频unity资料unity自学unityunity教程
    问：unity中运用Resources.Load的方法？ 答：Resources.Load是unity本地动态加载资本所用的方法,也即是你想动态加载的时分才用到它,比方枪弹,特效,某些实时替换的图像什么的,主张此文件夹不要放太多东西,在打包的时分,它会独自把里边的一切东西都会集打包到一同,不论里边有没有你用的东西,所以大多数资本应该是自个建文件放置 1、unity实时替换的物体即是依据环境条件
  • 线段树-入门 bylijinnan java算法线段树
    /** * 线段树入门 * 问题：已知线段[2,5] [4,6] [0,7]；求点2,4,7分别出现了多少次 * 以下代码建立的线段树用链表来保存，且树的叶子结点类似[i,i] * * 参考链接：http://hi.baidu.com/semluhiigubbqvq/item/be736a33a8864789f4e4ad18 * @author lijinna
  • 全选与反选 chicony 全选
      <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <title>全选与反选</title>
  • vim一些简单记录 chenchao051 vim
    mac在/usr/share/vim/vimrc linux在/etc/vimrc   1、问：后退键不能删除数据，不能往后退怎么办？       答：在vimrc中加入set backspace=2   2、问：如何控制tab键的缩进？       答：在vimrc中加入set tabstop=4 (任何
  • Sublime Text 快捷键 daizj 快捷键sublime
    [size=large][/size]Sublime Text快捷键：Ctrl+Shift+P：打开命令面板Ctrl+P：搜索项目中的文件Ctrl+G：跳转到第几行Ctrl+W：关闭当前打开文件Ctrl+Shift+W：关闭所有打开文件Ctrl+Shift+V：粘贴并格式化Ctrl+D：选择单词，重复可增加选择下一个相同的单词Ctrl+L：选择行，重复可依次增加选择下一行Ctrl+Shift+L：
  • php 引用(&)详解 dcj3sjt126com PHP
    在PHP 中引用的意思是：不同的名字访问同一个变量内容. 与Ｃ语言中的指针是有差别的．Ｃ语言中的指针里面存储的是变量的内容在内存中存放的地址 变量的引用 PHP 的引用允许你用两个变量来指向同一个内容  复制代码代码如下: <?  $a="ABC";  $b =&$a;  echo
  • SVN中trunk,branches,tags用法详解 dcj3sjt126com SVN
    Subversion有一个很标准的目录结构，是这样的。比如项目是proj，svn地址为svn://proj/，那么标准的svn布局是svn://proj/|+-trunk+-branches+-tags这是一个标准的布局，trunk为主开发目录，branches为分支开发目录，tags为tag存档目录（不允许修改）。但是具体这几个目录应该如何使用，svn并没有明确的规范，更多的还是用户自己的习惯。
  • 对软件设计的思考 e200702084 设计模式数据结构算法ssh活动
    软件设计的宏观与微观    软件开发是一种高智商的开发活动。一个优秀的软件设计人员不仅要从宏观上把握软件之间的开发，也要从微观上把握软件之间的开发。宏观上，可以应用面向对象设计，采用流行的SSH架构，采用web层，业务逻辑层，持久层分层架构。采用设计模式提供系统的健壮性和可维护性。微观上，对于一个类，甚至方法的调用，从计算机的角度模拟程序的运行情况。了解内存分配，参数传
  • 同步、异步、阻塞、非阻塞 geeksun 非阻塞
    同步、异步、阻塞、非阻塞这几个概念有时有点混淆，在此文试图解释一下。   同步：发出方法调用后，当没有返回结果，当前线程会一直在等待（阻塞）状态。 场景：打电话，营业厅窗口办业务、B/S架构的http请求-响应模式。   异步：方法调用后不立即返回结果，调用结果通过状态、通知或回调通知方法调用者或接收者。异步方法调用后，当前线程不会阻塞，会继续执行其他任务。 实现：
  • Reverse SSH Tunnel 反向打洞實錄 hongtoushizi ssh
    實際的操作步驟： # 首先，在客戶那理的機器下指令連回我們自己的 Server，並設定自己 Server 上的 12345 port 會對應到幾器上的 SSH port ssh -NfR 12345:localhost:22 [email protected] # 然後在 myhost 的機器上連自己的 12345 port，就可以連回在客戶那的機器 ssh localhost -p 1
  • Hibernate中的缓存 Josh_Persistence 一级缓存Hiberante缓存查询缓存二级缓存
    Hibernate中的缓存   一、Hiberante中常见的三大缓存：一级缓存，二级缓存和查询缓存。 Hibernate中提供了两级Cache，第一级别的缓存是Session级别的缓存，它是属于事务范围的缓存。这一级别的缓存是由hibernate管理的，一般情况下无需进行干预；第二级别的缓存是SessionFactory级别的缓存，它是属于进程范围或群集范围的缓存。这一级别的缓存
  • 对象关系行为模式之延迟加载 home198979 PHP架构延迟加载
    形象化设计模式实战     HELLO!架构   一、概念 Lazy Load：一个对象，它虽然不包含所需要的所有数据，但是知道怎么获取这些数据。 延迟加载貌似很简单，就是在数据需要时再从数据库获取，减少数据库的消耗。但这其中还是有不少技巧的。     二、实现延迟加载 实现Lazy Load主要有四种方法：延迟初始化、虚
  • xml 验证 pengfeicao521 xmlxml解析
    有些字符，xml不能识别，用jdom或者dom4j解析的时候就报错 public static void testPattern() { // 含有非法字符的串 String str =       "Jamey&#52828;&#01;&#02;&#209;&#1282
  • div设置半透明效果 spjich css半透明
    为div设置如下样式：   div{filter:alpha(Opacity=80);-moz-opacity:0.5;opacity: 0.5;}        说明： 1、filter：对win IE设置半透明滤镜效果，filter:alpha(Opacity=80)代表该对象80%半透明，火狐浏览器不认2、-moz-opaci
  • 你真的了解单例模式么？ w574240966 java单例设计模式jvm
        单例模式，很多初学者认为单例模式很简单，并且认为自己已经掌握了这种设计模式。但事实上，你真的了解单例模式了么。   一，单例模式的5中写法。（回字的四种写法，哈哈。）     1，懒汉式           （1）线程不安全的懒汉式 public cla
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他