天天water
天天water

高质量解读《高性能mysql》——第3章服务器性能剖析

前言：

高效读书，一张逻辑图带你读懂、读薄书中重点。

深入学习MySQL系列，解读的目的是为了把书读薄，抽出重点进行梳理、理解、运用。因大量文字很容易让人觉得枯燥无味，为此博主花费一定精力和时间整理输出为逻辑思维图，以便大家学习和参考。

--------------------------------------------------------------------------------------
注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。 

目录

服务器性能剖析思维逻辑图 

性能优化简介

最常碰到的三个性能相关的服务端问题是

两个原则

通过性能剖析进行优化

理解性能剖析

对应用程序进行性能剖析

应用性能瓶颈可能的影响因素

一个不错的工具：New Relic

测量PHP应用程序

剖析MySQL查询

剖析服务器负载

剖析单条查询

使用性能剖析

诊断间歇性问题

一些间歇性数据库性能问题的实际案例

单条查询问题还是服务器问题

捕获诊断数据

一个诊断案例

其他剖析工具

总结

基本知识点

服务器性能剖析思维逻辑图 

高质量解读《高性能mysql》——第3章服务器性能剖析_第1张图片 服务器性能剖析思维逻辑图

 

性能优化简介

最常碰到的三个性能相关的服务端问题是

  • 如何确认服务器是否达到了性能最佳的状态
  • 找出某条语句为什么执行不够快
  • 诊断被用户描述成“停顿”、“堆积”或者“卡死”的某些间歇性疑难故障

两个原则

  • 性能定义为完成某件任务所需要的时间度量，换句话说，性能即响应时间。我们通过任务和时间，而不是资源来测量性能
  • 无法测量就无法有效地优化

通过性能剖析进行优化

性能剖析是测量和分析时间花费在哪里的主要方法

性能剖析一般两个步骤

  • 测量任务所花费的时间
  • 对结果进行统计和排序，将重要的任务排到前面

两种查询类型的性能剖析

  • 基于执行时间的分析。基于执行时间的分析研究的是什么任务执行时间最长
  • 基于等待分析。基于等待的分析是判断任务在什么地方被阻塞的时间最长

理解性能剖析

性能剖析输出可能缺失的点

值得优化的查询

性能剖析不会自动给出哪些查询值得花时间去优化

一些只占总响应时间比重很小的查询是不值得优化的

如果优化的成本大于收益，就应当停止优化

异常情况

某些任务即使没有出现在性能剖析输出的前面也需要优化

未知的未知

性能剖析工具可能会显示“丢失的时间”。丢失的时间指的是任务的总时间和实际测量到的时间之间的差

被掩藏的细节

性能剖析无法显示所有响应时间的分布。只相信平均值，可能会遗漏重要信息

思考如何在更高层次的堆栈中进行交互式的分析

对应用程序进行性能剖析

应用性能瓶颈可能的影响因素

外都资源，比如调用外部的Web服务或者搜索引擎

应用处理大量的数据

在循环中执行复杂的操作

使用了低效的算法

一个不错的工具：New Relic

测量PHP应用程序

工具1，xhprof

工具2，Ifp（instrumentation-for-php）

剖析MySQL查询

剖析服务器负载

服务器端的剖析价值

在服务器端可以有效地审计效率低下的查询

提升应用的性能，同时也能解决某些特定的难题

降低服务器的整体压力和负载，可以推迟或者避免系统升级更昂贵硬件的需求

发现和定位用户糟糕的用户体验，比如某些极端情况

捕获MySQL的查询到日志文件中

慢查询日志单位

MySQL5.0及之前，单位是秒

MySQL5.1及之后，可以捕获所有的查询，单位是微秒

慢查询意义

慢查询日志是开销最低、精度最高的测试查询时间的工具

慢查询日志是一种轻量而且功能全面的性能剖析工具，是优化服务器查询的利器

无法在服务器上记录查询的解决办法

第一种是通过--processlist选项不断查看SHOW FULL PROCESSLIST的输出，记录查询第一次出现的时间和消失的时间

第二种技术是通过抓取TCP网络包，然后根据MySQL的客户端/服务端通信协议进行解析。（可以先通过tcpdump将网络包数据保存到磁盘，然后使用pt-query-digest的--type=tcpdump选项来解析并分析查询）

分析查询日志

不要直接打开整个慢查询日志进行分析

应该先生成一个剖析报告

再查看日志中需要特别关注的部分

从慢查询日志中生成剖析报告的工具：pt-query-digest

pt-query-digest

所有语句汇总报告

单条查询记录报告详情

剖析单条查询

使用SHOW PROFILE

版本MySQL5.1以后引入，SET profiling=1；

使用SHOW STATUS

explain是通过估计得到的结果，而计数器则是实际的测量结果。explain无法确定临时表是否是磁盘表

使用慢查询日志

使用Performance Schema

在MySQL5.5中新增

使用性能剖析

诊断间歇性问题

尽量不要使用试错的方式来解决问题

一些间歇性数据库性能问题的实际案例

  • 应用通过curl从一个运行很慢的外部服务来获取相关数据
  • redis缓存中的一些重要条目过期，导致大量请求落到MySQL以重新生成缓存条目
  • DNS查询偶尔会有超时现象
  • 可能是由于互斥锁争用，或者内部删除查询缓存的算法效率太低的缘故，MySQL的查询缓存有时候会导致服务有短暂的停顿
  • 当并发度超过某个阈值时，InnoDB的扩展性限制导致查询计划的优化需要很长的时间

总结：问题的原因可能是数据库的原因，也可能是相关组件或者应用程序的原因

单条查询问题还是服务器问题

使用SHOW GLOBAL STATUS

线程连接没有变化、但是执行查询线程明显上升，同时每秒的查询数相比正常情况明显下降的可能原因

可能服务器内部碰到某种瓶颈，导致新查询在开始执行前因为需要获取老查询正在等待的锁而造成堆积

可能服务区突然遭遇了大量的查询请求，缓存redis失效

使用SHOW PROCESSLIST

使用查询日志

理解发现的问题（Making sense of the findings）

可视化的数据最具说服力

捕获诊断数据

搞清楚两件事

  • 一个可靠且实时的“触发器”，也就是能区分什么时候问题出现的方法
  • 一个收集诊断数据的工具

诊断触发器

两个可能导致无法达到预期的问题：误报或者漏检

尝试使用pt-stalk，可以配置重要的监控的变量、阈值、检查的频率等

需要收集什么样的数据

在需要的时间段内收集的数据尽可能全；系统的状态、CPU利用率、磁盘使用率和可用空间、ps的输出采样、内存利用率，以及可以从MySQL获得的信息，如SHOW STATUS、SHOW PROCESSLIST和SHOW INNODB STATUS等

执行时间包括用于工作的时间和等待的时间

对于等待分析，常用的方法是GDB的堆栈跟踪

解释结果数据

两个目的

  • 检查问题是否真的发生了
  • 是否有非常明显的跳跃性变化

堆栈需要自下而上来看

一个诊断案例

其他剖析工具

  • 使用USER_STATISTICS表
  • 使用strace

总结

基本知识点

  • 我们认为定义性能最有效的方法是响应时间
  • 如果无法测量就无法有效地优化，所以性能优化工作需要基于高流量、全方位及完整的响应时间测量
  • 测量的最佳开始点是应用程序，而不是数据库
  • 大多数系统无法完整地测量，测量有时候也会有错误的结果
  • 完整的测量会产生大量需要分析的数据，所以需要用到剖析器
  • 剖析报告是一种汇总信息，掩盖和丢弃了太多的细节
  • 有两种消耗时间的操作：工作或者等待
  • 优化和提升是两回事。当继续提升的成本超过收益的时候，应当停止优化
  • 注意你的直觉，但应该只根据直觉来指导解决问题的思路，而不是用于确定系统的问题。决策应当尽量基于数据而不是感觉

以上内容均为博主原创手码梳理。码字不易，但只要能提高，都是值得的。如果您觉得，这篇文章对您的基础知识学习、巩固、提高有帮助，欢迎点赞、分享、收藏，谢谢。 --天天water 

你可能感兴趣的:(高质量解读《高性能mysql》)

  • 读书||陶新华《教育中的积极心理学》1—28 流水淙淙2022
    读一本好书，尤如和一位高尚者对话，亦能对人的精神进行洗礼。但是若不能和实践结合起来，也只能落到空读书的状态。读书摘要与感想1、塞利格曼在《持续的幸福》一书中提出了幸福2.0理论，提出幸福由5个元素决定——积极情绪、投入的工作和生活、目标和意义、和谐的人际关系、成就感。2、人的大脑皮层在进行智力活动时，都伴有皮下中枢活动，对这些活动进行体验请假，并由此产生了情感解读。人的情绪情感体验总是优先于大脑的
  • 母亲节如何做小红书营销 美橙传媒
    小红书的一举一动引起了外界的高度关注。通过爆款笔记和流行话题，我们可以看到“干货”类型的内容在小红书中偏向实用的生活经验共享和生活指南非常受欢迎。根据运营社的分析，这种现象是由小红书用户心智和内容社区背后机制共同决定的。首先，小红书将使用“强搜索”逻辑为用户提供特定的“搜索场景”。在“我必须这样生活”中，大量使用了满足小红书站用户喜好和需求的内容。内容社区自制的高质量内容也吸引了寻找营销新途径的品
  • Java：爬虫框架 dingcho Javajava爬虫
    一、ApacheNutch2【参考地址】Nutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch致力于让每个人能很容易,同时花费很少就可以配置世界一流的Web搜索引擎.为了完成这一宏伟的目标,Nutch必须能够做到:每个月取几十亿网页为这些网页维护一个索引对索引文件进行每秒上千次的搜索提供高质量的搜索结果简单来说Nutch支持分
  • 樊登读书人是如何学习的？ 恒如止水
    2021年11月10号早晨听书。这本书听完樊登老师的解读后，我觉得有必要自己好好的复盘写下来，真正想写的时候才发现我记住的没多少，那就按照叶武斌老师的说法，烂开始好结果，能记下多少复述多少，写下自己的感悟。人是如何学习的呢？第一点蝌蚪和鱼的故事，当蝌蚪变成青蛙后，告诉于外边的人是什么样的？牛是长什么样的？而与认为就是鱼身子，然后下面长了两条角，这样的样子是人。鱼的身体形状，它的鳍变成了4条腿，这样
  • 推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！ 小猪包333 写论文人工智能AI写作深度学习计算机视觉
    在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
  • AI论文写作推荐哪个好？分享5款AI论文写作带数据图表网站 小猪包333 写论文人工智能深度学习计算机视觉
    在当今学术研究和写作领域，AI论文写作工具的出现极大地提高了写作效率和质量。这些工具不仅能够帮助研究人员快速生成论文草稿，还能进行内容优化、查重和排版等操作。以下是五款推荐的AI论文写作工具，包括千笔-AIPassPaper。千笔-AIPassPaper千笔-AIPassPaper是一款功能强大的AI论文写作助手，旨在帮助用户快速生成高质量的论文内容。AI论文，免费大纲，10分钟3万字https:
  • AI论文题目生成器怎么用？9款论文写作网站简单3步搞定 小猪包333 写论文人工智能深度学习计算机视觉
    在当今信息爆炸的时代，AI写作工具的出现极大地提高了写作效率和质量。本文将详细介绍9款优秀的论文写作网站，并重点推荐千笔-AIPassPaper。一、千笔-AIPassPaper千笔-AIPassPaper是一款功能强大的AI论文生成器，基于最新的自然语言处理技术，能够一键生成高质量的毕业论文、开题报告等文本内容。它不仅提供智能选题、文献推荐和论文润色等功能，还具有较高的用户评价。其文献综述生成功
  • 探索ASPICE V3.1：汽车行业软件开发的中文指南 阮懿同
    探索ASPICEV3.1：汽车行业软件开发的中文指南ASPICE_V3.1中文版.pdf.zip项目地址:https://gitcode.com/open-source-toolkit/422a2在汽车软件工程领域，高质量的标准对于确保行车安全和提升用户体验至关重要。今天，我们为您介绍一个珍贵的开源宝藏——ASPICEV3.1中文版资源。这是一篇专为国内汽车行业开发者、质量管理者准备的深度解读，旨
  • 以研发创新为驱动力，黄山谷捷助力新能源汽车产业高质量发展 L913197600 黄山谷捷制造科技
    在新能源汽车产业蓬勃发展的浪潮中，车规级功率半导体作为驱动电机控制系统的核心部件，其性能与稳定性直接关系到汽车的动力输出、能效转化及安全性能。在这一关键领域，黄山谷捷股份有限公司（以下简称“黄山谷捷”或“公司”）以卓越的研发实力、精湛的生产工艺和严格的质量控制体系，成为行业内的佼佼者，特别是在功率半导体散热基板领域，更是树立了新的标杆。自2012年成立以来，黄山谷捷便深谙“科技是第一生产力”的真谛
  • 《拖延心理学》（一）你为什么会拖延？|木盒笔记 纯se蓝调
    《拖延心理学》是帮助你向拖延症宣战的一本书，作者简·博克和莱诺拉·袁是全球知名的拖延症治疗专家。大概每个人或多或少总会有一点拖延症的行为。比如明天要叫论文了，今天你还没有写好，你一边在焦虑症怎么办，一边又拿着手机漫无目的的刷新闻；比如你想了很久准备减肥，但是迟迟又没有行动，想着今天晚上少吃一点吧、明天我就开始运动。今天分析的笔记来告诉你“你为什么会拖延？”，解读人杨坚。有人说拖延就像巨大的泥沼，让
  • JVM源码分析之堆外内存完全解读 HeapDump性能社区
    概述广义的堆外内存说到堆外内存，那大家肯定想到堆内内存，这也是我们大家接触最多的，我们在jvm参数里通常设置-Xmx来指定我们的堆的最大值，不过这还不是我们理解的Java堆，-Xmx的值是新生代和老生代的和的最大值，我们在jvm参数里通常还会加一个参数-XX:MaxPermSize来指定持久代的最大值，那么我们认识的Java堆的最大值其实是-Xmx和-XX:MaxPermSize的总和，在分代算法
  • 作业二十八：《佐贺的超级阿嬷》解读三：生活很难，但也要笑着活下去。 维伊的屋子
    晚上别提伤心事，难过的事情留到白天再说，也就不算什么了。——《佐贺的超级阿嬷》当今社会，竟争非常激烈，很多人难免会有这样的情绪：消极、悲观、失望、抱怨、挫败感……如果带这些情绪生活，日子就难熬今天我们学习超级阿嬷是如何把日子过的有滋有味，如何在平淡生活的鸡毛蒜皮里发现快乐？昭广用阿嬷的故事把答案告诉了我们，永远不要忘记发现生活的美好香乐趣。图片发自App一、不是每个人都能顺顺利利的度过一生，也不会
  • 一文让你彻底搞懂什么是VR、AR、AV、MR 码上飞扬 vrarmrav
    随着科技的飞速发展，现实世界与虚拟世界的界限变得越来越模糊。各种与现实增强相关的技术如雨后春笋般涌现，令人眼花缭乱。本文将为你详细解读四种常见的现实增强技术：虚拟现实（VR）、增强现实（AR）、混合现实（MR）和增强虚拟（AV），让你彻底搞懂它们之间的区别与联系。一、虚拟现实（VR）1.什么是VR？虚拟现实（VirtualReality，简称VR）是一种通过计算机模拟生成的三维环境，使用户能够沉浸
  • 轻量级模型解读——轻量transformer系列 lishanlu136 #图像分类轻量级模型transformer图像分类
    先占坑，持续更新。。。文章目录1、DeiT2、ConViT3、Mobile-Former4、MobileViTTransformer是2017谷歌提出的一篇论文，最早应用于NLP领域的机器翻译工作，Transformer解读，但随着2020年DETR和ViT的出现(DETR解读，ViT解读)，其在视觉领域的应用也如雨后春笋般渐渐出现，其特有的全局注意力机制给图像识别领域带来了重要参考。但是tran
  • Cut, Paste and Learn方法解读 wangxinwei2000 深度学习人工智能
    Abstract问题背景：标注数据的缺乏：在实例检测任务中，部署物体检测模型的一个主要障碍是缺乏大量标注数据。例如，在一个特定的厨房环境中找到包含实例的大型标注数据集是不太可能的。每当面对新的环境和新的物体实例时，都需要进行昂贵的数据收集和标注工作。研究贡献：解决方法：本文提出了一种简单的方法，可以以最小的努力生成大量标注的实例数据集。关键洞察：研究者的关键洞察是，仅仅确保“局部真实感”（patc
  • 婚姻的本质到底是什么？ 情新花生
    知乎上最高赞的答案是这么说的，婚姻这种东西，最大的本质，就是双赢。爱是一场博弈，必须保持永远与对方不分伯仲、势均力敌，才能长此以往地相依相惜。因为过强的对手让人疲惫，太弱的对手令人厌倦。男人与女人首先都是自己，然后才是彼此感情的依赖。婚姻生活中，互相包容，彼此成就。而这过程中，最重要的是要有共情力，高质量的、稳定的、和谐的关系才能让婚姻更长久，彼此更幸福。而独立是女人身上最好的美德，也是女人给自己
  • 心情不好时，去做这四件事 绿茵下
    01读书当一个人的智慧不够时，最容易胡思乱想，将自己困住思维的牢笼里。想要开悟，首先要与智者对话，与高人同行，那么与智者对话最经济实惠的方式，莫过于读书了。于时光的静美中，手捧一本高质量的书籍，在书中窥见先贤们的所思所想，仿佛进入了一个平静的世界，让人思绪越来越清晰明了。或许读书不能够马上帮你解决眼前的难题，可日复一日地坚持下去，总能让你内心更加笃定，心灵更加沉静，生出智慧之花。在书中人物不同的经
  • Spring @Async 深度解读：默认线程池执行器的配置与优化 小码快撩 springjava前端
    在Spring中，@Async注解用于异步执行方法。默认情况下，@Async注解的任务是由一个线程池执行的。然而，这个默认的线程池是如何初始化的呢？本文将深入探讨这一过程，帮助你理解Spring异步任务背后的线程池执行器的初始化原理。1.@Async的基本使用首先，让我们快速回顾一下@Async的基本用法。@Async通常用于标注在需要异步执行的方法上，比如：@Servicepublicclass
  • 【这里是新疆】（2）“有效光照理论”下的新疆美好生活…… 拈花老夏
    图片发自App【这里是新疆】（2）“有效光照理论”下的新疆人，及新疆人们的生活……（这一篇，最好在读完上一篇后进行！前面谈“有效光照”下的植物与作物，本篇谈人，其实本为一整体，但是太长，发不出来[撇嘴]）老夏每年游学南方各省，经常听人这么说：新疆人个子就是高大，结实……其实人也与一棵植物，一棵庄稼没有根本区别！作为生命个体的代表，决定人生命的，其实一是具有能量的、高质量的食物（国际医学及科学普遍认
  • 向优秀的人学习 沐微心语muv
    如果你想月入百万，那就向月入百万的人学习。如果你想要身材姣好，那就要向身材姣好的人学习。你渴望过的生活，需要你勇敢地追求和尝试，圈子的影响无比重要，减少不必要的社交浪费。结交高质量的人脉关系。学如逆水行舟，不进则退。
  • 如何从大型语言模型(LLM)流式响应 aehrutktrjk 语言模型microsoftajaxpython
    引言随着大型语言模型(LLM)的不断发展,我们不仅能够获得高质量的文本生成结果,还可以实时观察模型生成文本的过程。流式响应允许我们以一种更加交互和动态的方式与LLM进行交互,这在某些应用场景中非常有用。在本文中,我们将探讨如何从LLM流式获取响应。基础知识在开始之前,我们需要了解一些基础概念。所有的LLM都实现了Runnable接口,该接口提供了一些默认实现的标准方法,如invoke、batch、
  • 释放“AI+”新质生产力，深算院如何“把大数据变小”？ YashanDB YashanDB国产数据库数据库数据库大数据
    近期，南都·湾财社推出《新质·中国造》栏目，深入千行百业，遍访湾区企业，解锁湾区新质生产力，共探高质量发展之道。本期对话深圳计算科学研究院YashanDB首席技术官陈志标，探讨国产数据库如何实现创新突围，抢抓数字经济时代的新机遇。以下是专访内容：如何应对AI时代所面临的算力挑战？南都·湾财社：数据、算力和算法是发展人工智能的三要素，深算院做了怎样的前瞻性布局？陈志标：今年，政府工作报告中首次提及开
  • 解决前端导出excel文件，打开为乱码 荔枝，你让我拿什么荔枝！ vue前端elementuivue.js
    前端开发中，导入和导出文件是比较常见的业务场景，常见的情况是：后端返回一个二进制的流文件，前端将其转化为excel文件即可。但是往往会出现转化后的excel文件内容位乱码的情况，本文中提供了两个解决方案：方案一：用户自定义上传方法添加附件添加附件代码解读：上述代码采用了element-ui的el-upload文件上传的组件。改组件有两种文件上传的方式：1.组件自带的上传方法，只需要给其设置acti
  • Aiseesoft Mac Video Converter Ultimate for Mac(视频转换工具) 過客_fad6
    AiseesoftMacVideoConverterUltimateforMac版是一款出色的视频转换工具，允许用户轻松转换和编辑包括4KUHD视频以及在Mac上自制DVD。其惊人的快速转换速度，高质量的输出始终使其成为视频转换器软件的完美选择。本站为您推荐AiseesoftMacVideoConverterUltimateforMac破解版，下载安装即可使用！AiseesoftMacVideoC
  • 微信小程序常用开发框架有哪些？ +码农快讯+ 分享微信小程序小程序开发
    想要开发出一套高质量的小程序，运用框架，组件库是省时省力省心必不可少一部分，随着小程序日渐火爆，各种不同类型的小程序也渐渐更新，其中不乏一些优秀好用的框架/组件库。1：WeUI小程序–使用教程https://weui.io/官方介绍：WeUI是一套同微信原生视觉体验一致的基础样式库，由微信官方设计团队为微信内网页和微信小程序量身设计，令用户的使用感知更加统一。小程序开发中最常用到的一款框架，受广大
  • 为自己的人生演绎剧本 熊猫胖子哥
    为自己的人生演绎剧本“你要搞清楚自己的人生剧本——不是你父母的续集，不是你子女的前传，更不是你朋友的外篇。对待生命你不妨大胆冒险一些，因为好歹你要失去他。如果这个世界上真有奇迹，那只是努力进取的另一个名字。生命中最难的阶段，不是没人懂你，而是你不懂你自己。”哲学家尼采如是说。这则精彩的格言从后来心理学发展的范畴去解读，衍生出两个方向：原生态家庭的影响(追溯童年)、社会群体的影响。从原生态家庭来看，
  • 2019.1.6 root_restart
    1.新版研学行程公众号推送及页面改动，以后继续尝试无logo版行程单方便转发，附带一篇研学政策解读2.百家号，头条号，搜狐号注册认证及审核，后续每天会在上面更新以往研学活动，增加搜索引擎中山大研学和雨滴教育的关联3.与鹿老师探讨研究方便代理的新宣传模式
  • PON光模块的独特类型和特性 audrey-luo 网络光模块PON模块PON技术
    在当前互联网需求快速增长的背景下，PON光模块已成为实现光纤网络高速数据传输的重要组成部分。从住宅宽带到各种企业应用程序解决方案，PON光模块始终致力于实现高质量的数据传输与无缝通信。了解PON光模块的类型和特性对于深入理解现代网络基础设施至关重要，本文将探讨PON光模块的多种类型及其独特优势，展示其在现代网络连接中的重要作用。PON光模块又称无源光网络模块，是电信网络中的关键组件，有助于通过光纤
  • Day 2 体会 张露deer
    1.上午个案倾听的环节，如何处理“爱别人”和“爱自己”的话题让我联想到一个画面：两个人拥抱在一起，彼此能听到对方的心跳，这时不管我们说什么，对方都能从爱和美好的角度去解读，因为我们的心靠近了。2.今天最大的收获是同理心教练环节于盛泽老师和张爽老师对我的陪伴和倾听，让我找到了自己当下最活跃的生命需要：关爱。倾听结束后，很明显地感觉到自己的肩膀打开了，这正是我期待已久的状态，真的很感谢二位老师！
  • 9.单细胞 RNA-seq：聚类分析 denghb001
    学习目标：利用多种方法来评估聚类选择的PC基于重要的PC执行单细胞聚类单细胞RNA-seq聚类分析现在我们已经整合了高质量的细胞，我们想知道我们的细胞群中存在的不同细胞类型。image目标：为了生成特定细胞类型的簇，并使用已知的细胞类型的标志基因来确定的簇的身份。为了确定分群是否代表真实的细胞类型或由于生物或技术差异而形成的群集，如在细胞周期的S期的细胞群，特定批次的簇，或具有高线粒体含量的细胞。
  • 解读Servlet原理篇二---GenericServlet与HttpServlet 周凡杨 javaHttpServlet源理GenericService源码
    在上一篇《解读Servlet原理篇一》中提到，要实现javax.servlet.Servlet接口（即写自己的Servlet应用），你可以写一个继承自javax.servlet.GenericServletr的generic Servlet ，也可以写一个继承自java.servlet.http.HttpServlet的HTTP Servlet（这就是为什么我们自定义的Servlet通常是exte
  • MySQL性能优化 bijian1013 数据库mysql
            性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有：         a.优化查询         b.优化数据库结构  
  • ThreadPool定时重试 dai_lm javaThreadPoolthreadtimertimertask
    项目需要当某事件触发时，执行http请求任务，失败时需要有重试机制，并根据失败次数的增加，重试间隔也相应增加，任务可能并发。 由于是耗时任务，首先考虑的就是用线程来实现，并且为了节约资源，因而选择线程池。 为了解决不定间隔的重试，选择Timer和TimerTask来完成 package threadpool; public class ThreadPoolTest {
  • Oracle 查看数据库的连接情况 周凡杨 sqloracle 连接
    首先要说的是，不同版本数据库提供的系统表会有不同，你可以根据数据字典查看该版本数据库所提供的表。 select * from dict where table_name like '%SESSION%'; 就可以查出一些表，然后根据这些表就可以获得会话信息 select sid,serial#,status,username,schemaname,osuser,terminal,ma
  • 类的继承 朱辉辉33 java
    类的继承可以提高代码的重用行，减少冗余代码；还能提高代码的扩展性。Java继承的关键字是extends 格式:public class 类名（子类）extends 类名（父类）{ } 子类可以继承到父类所有的属性和普通方法，但不能继承构造方法。且子类可以直接使用父类的public和 protected属性，但要使用private属性仍需通过调用。 子类的方法可以重写，但必须和父类的返回值类
  • android 悬浮窗特效 肆无忌惮_ android
    最近在开发项目的时候需要做一个悬浮层的动画，类似于支付宝掉钱动画。但是区别在于，需求是浮出一个窗口，之后边缩放边位移至屏幕右下角标签处。效果图如下：   一开始考虑用自定义View来做。后来发现开线程让其移动很卡，ListView+动画也没法精确定位到目标点。   后来想利用Dialog的dismiss动画来完成。   自定义一个Dialog后，在styl
  • hadoop伪分布式搭建 林鹤霄 hadoop
    要修改4个文件    1: vim hadoop-env.sh  第九行    2: vim core-site.xml            <configuration>     &n
  • gdb调试命令 aigo gdb
    原文：http://blog.csdn.net/hanchaoman/article/details/5517362   一、GDB常用命令简介   r run 运行.程序还没有运行前使用 c             cuntinue 
  • Socket编程的HelloWorld实例 alleni123 socket
    public class Client { public static void main(String[] args) { Client c=new Client(); c.receiveMessage(); } public void receiveMessage(){ Socket s=null; BufferedRea
  • 线程同步和异步 百合不是茶 线程同步异步
    多线程和同步 : 如进程、线程同步，可理解为进程或线程A和B一块配合，A执行到一定程度时要依靠B的某个结果，于是停下来，示意B运行；B依言执行，再将结果给A；A再继续操作。 所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回，同时其它线程也不能调用这个方法   多线程和异步:多线程可以做不同的事情,涉及到线程通知     &
  • JSP中文乱码分析 bijian1013 javajsp中文乱码
            在JSP的开发过程中，经常出现中文乱码的问题。         首先了解一下Java中文问题的由来：         Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，
  • js实现页面跳转重定向的几种方式 bijian1013 JavaScript重定向
            js实现页面跳转重定向有如下几种方式： 一.window.location.href <script language="javascript"type="text/javascript"> window.location.href="http://www.baidu.c
  • 【Struts2三】Struts2 Action转发类型 bit1129 struts2
     在【Struts2一】 Struts Hello World http://bit1129.iteye.com/blog/2109365中配置了一个简单的Action，配置如下   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configurat
  • 【HBase十一】Java API操作HBase bit1129 hbase
    Admin类的主要方法注释：   1. 创建表 /** * Creates a new table. Synchronous operation. * * @param desc table descriptor for table * @throws IllegalArgumentException if the table name is res
  • nginx gzip ronin47 nginx gzip
    Nginx GZip 压缩 Nginx GZip 模块文档详见：http://wiki.nginx.org/HttpGzipModule 常用配置片段如下： gzip on; gzip_comp_level 2; # 压缩比例，比例越大，压缩时间越长。默认是1 gzip_types text/css text/javascript; # 哪些文件可以被压缩 gzip_disable &q
  • java-7.微软亚院之编程判断俩个链表是否相交 给出俩个单向链表的头指针，比如 h1 ， h2 ，判断这俩个链表是否相交 bylijinnan java
    public class LinkListTest { /** * we deal with two main missions: * * A. * 1.we create two joined-List(both have no loop) * 2.whether list1 and list2 join * 3.print the join
  • Spring源码学习-JdbcTemplate batchUpdate批量操作 bylijinnan javaspring
    Spring JdbcTemplate的batch操作最后还是利用了JDBC提供的方法，Spring只是做了一下改造和封装 JDBC的batch操作： String sql = "INSERT INTO CUSTOMER " + "(CUST_ID, NAME, AGE) VALUES (?, ?, ?)";
  • [JWFD开源工作流]大规模拓扑矩阵存储结构最新进展 comsci 工作流
        生成和创建类已经完成,构造一个100万个元素的矩阵模型,存储空间只有11M大,请大家参考我在博客园上面的文档"构造下一代工作流存储结构的尝试",更加相信的设计和代码将陆续推出.........     竞争对手的能力也很强.......,我相信..你们一定能够先于我们推出大规模拓扑扫描和分析系统的....
  • base64编码和url编码 cuityang base64url
    import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.io.StringWriter; import java.io.UnsupportedEncodingException;
  • web应用集群Session保持 dalan_123 session
    关于使用 memcached 或redis 存储 session ，以及使用 terracotta 服务器共享。建议使用 redis，不仅仅因为它可以将缓存的内容持久化，还因为它支持的单个对象比较大，而且数据类型丰富，不只是缓存 session，还可以做其他用途，一举几得啊。1、使用 filter 方法存储这种方法比较推荐，因为它的服务器使用范围比较多，不仅限于tomcat ，而且实现的原理比较简
  • Yii 框架里数据库操作详解-[增加、查询、更新、删除的方法 'AR模式'] dcj3sjt126com 数据库
        public function getMinLimit () {        $sql = "...";        $result = yii::app()->db->createCo
  • solr StatsComponent（聚合统计） eksliang solr聚合查询solr stats
    StatsComponent 转载请出自出处：http://eksliang.iteye.com/blog/2169134 http://eksliang.iteye.com/ 一、概述        Solr可以利用StatsComponent 实现数据库的聚合统计查询，也就是min、max、avg、count、sum的功能   二、参数
  • 百度一道面试题 greemranqq 位运算百度面试寻找奇数算法bitmap 算法
    那天看朋友提了一个百度面试的题目：怎么找出{1,1,2,3,3,4,4,4,5,5,5,5}  找出出现次数为奇数的数字.   我这里复制的是原话，当然顺序是不一定的，很多拿到题目第一反应就是用map,当然可以解决，但是效率不高。   还有人觉得应该用算法xxx,我是没想到用啥算法好...！   还有觉得应该先排序...   还有觉
  • Spring之在开发中使用SpringJDBC ihuning spring
      在实际开发中使用SpringJDBC有两种方式：   1. 在Dao中添加属性JdbcTemplate并用Spring注入；     JdbcTemplate类被设计成为线程安全的，所以可以在IOC 容器中声明它的单个实例，并将这个实例注入到所有的 DAO 实例中。JdbcTemplate也利用了Java 1.5 的特定(自动装箱，泛型，可变长度
  • JSON API 1.0 核心开发者自述 | 你所不知道的那些技术细节 justjavac json
    2013年5月，Yehuda Katz 完成了JSON API(英文，中文) 技术规范的初稿。事情就发生在 RailsConf 之后，在那次会议上他和 Steve Klabnik 就 JSON 雏形的技术细节相聊甚欢。在沟通单一 Rails 服务器库—— ActiveModel::Serializers 和单一 JavaScript 客户端库——&
  • 网站项目建设流程概述 macroli 工作
    一.概念 网站项目管理就是根据特定的规范、在预算范围内、按时完成的网站开发任务。 二.需求分析 项目立项 　　我们接到客户的业务咨询，经过双方不断的接洽和了解，并通过基本的可行性讨论够，初步达成制作协议，这时就需要将项目立项。较好的做法是成立一个专门的项目小组，小组成员包括：项目经理，网页设计，程序员，测试员，编辑/文档等必须人员。项目实行项目经理制。 客户的需求说明书 　　第一步是需
  • AngularJs 三目运算 表达式判断 qiaolevip 每天进步一点点学习永无止境众观千象AngularJS
    事件回顾：由于需要修改同一个模板，里面包含2个不同的内容，第一个里面使用的时间差和第二个里面名称不一样，其他过滤器，内容都大同小异。希望杜绝If这样比较傻的来判断if-show or not，继续追究其源码。 var b = "{{", a = "}}"; this.startSymbol = function(a) {
  • Spark算子：统计RDD分区中的元素及数量 superlxw1234 sparkspark算子Spark RDD分区元素
    关键字：Spark算子、Spark RDD分区、Spark RDD分区元素数量     Spark RDD是被分区的，在生成RDD时候，一般可以指定分区的数量，如果不指定分区数量，当RDD从集合创建时候，则默认为该程序所分配到的资源的CPU核数，如果是从HDFS文件创建，默认为文件的Block数。   可以利用RDD的mapPartitionsWithInd
  • Spring 3.2.x将于2016年12月31日停止支持 wiselyman Spring 3
                  Spring 团队公布在2016年12月31日停止对Spring Framework 3.2.x（包含tomcat 6.x）的支持。在此之前spring团队将持续发布3.2.x的维护版本。          请大家及时准备及时升级到Spring
  • fis纯前端解决方案fis-pure zccst JavaScript
    作者：zccst FIS通过插件扩展可以完美的支持模块化的前端开发方案，我们通过FIS的二次封装能力，封装了一个功能完备的纯前端模块化方案pure。 1，fis-pure的安装 $ fis install -g fis-pure $ pure -v 0.1.4 2，下载demo到本地 git clone https://github.com/hefangshi/f
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他