locoder
locoder

每日一读-360搜索的百亿级网页搜索引擎架构实现

写在前面的话

Stay Hungry Stay Foolish！！！
每天进步一点点！！！

《每日一读》是博主每日学习的一篇文章所记录的笔记，大多数是提取文章中关键内容而成；文章类型不限，内容不限。

意义：培养自己的阅读能力，学习更多的知识

郑重声明：如果涉及到文章侵权深感抱歉，请及时联系我我会第一时间删除，谢谢！！

总结

一个网站搜索引擎其面临的数据量是PB级别的，其背后的技术架构也很是值得学习的。核心的目标在于如何给用户呈现最符合用户预期的内容，关键要克服的问题个人认为包含以下几项：

  1. 时效性
  2. 页面相关性
  3. 数据存储
  4. 索引的建立

这篇文章让我学习到一个搜索引擎内部到底是怎么运作的？索引如何建立？检索策略？收益颇深！

正文

  • 360 搜索的百亿级网页搜索引擎架构实现

如何设计搜索引擎

基础检索

一个用户请求过来之后，整个搜索引擎的工作流程大致如下：

每日一读-360搜索的百亿级网页搜索引擎架构实现_第1张图片

首先用切词组件做分词，把 query 分成多个 word，然后多个 word 会从我们的倒排索引里面获取倒排拉链，在倒排拉链的基础上，会做求交计算来拿到所有命中的 doc list。拿到 doc list 之后，我们希望能够把优质的网页反馈给用户，这时候我们还需要做 rank 计算。rank 计算就是拿倒排里面的一些位置索引信息，包括在正排里面拿一些 rank 的属性特征信息做打分，最终会把分数比较高的 Top N 结果反馈用户。当然在前端 web 页面展示的时候，需要从正排中提取摘要信息，展示给用户。这就是整个的检索过程。

基础索引

每日一读-360搜索的百亿级网页搜索引擎架构实现_第2张图片

网站内容：

  1. 属性：如网站分类信息、rank相关信息等
  2. word：将正文分词的结果
  • 正排索引：以doc为key，属性和word列表为value
  • 倒排索引：以doc里的word为key，doclist为value

检索模型

每日一读-360搜索的百亿级网页搜索引擎架构实现_第3张图片

【query分析】

  1. 检索粒度：词、短语、组合词；粒度更大结果更优质
  2. Term属性分析
    • weight：“北京 长城”显然长城的权重更高
    • 紧密性：query的关联关系；如“北京到上海的机票怎么买？多少钱？”，具有方向性
  3. query需求分析：用户搜索的意图；例如“非诚勿扰”，既有电影也有综艺，结合时效性、用户画像等因素拟合用户最强烈需求

【查询策略】

  1. 检索资源：网页质量筛选、内容质量打分、内容分类
  2. 确定相关网页集合：求交计算的过程。query命中、term命中
  3. 结果相关性计算：
    • term与文章相关性
    • term紧密度计算：term在文章中的分布情况
  4. 重查策略：原因是检索结果少或结果质量低；手段有增加检索资源、减少不必要的term、query改写及扩展

关键技术

每日一读-360搜索的百亿级网页搜索引擎架构实现_第4张图片

搜索架构中最重要的两个核心模块为：

  1. 离线建库：数据爬取、建索引
  2. 在线检索：快速检索、检索策略

离线建库

  1. 索引划分：几P的索引数据；设计类似跳跃表？
  2. 索引创建：Map-Reduce任务
  3. 索引更新：增量数据、rank更新

在线检索

  1. 分布式服务：用于将query分析的结果发送到索引库和收集结果，以及做一些定制策略
  2. 请求广播：广播到各个索引单元
  3. 负载均衡：系统稳定性问题

架构

每日一读-360搜索的百亿级网页搜索引擎架构实现_第5张图片
  1. 离线建库：
    • 分片：url转为64位md5为key（均匀分布）【提升建索引速度】
    • 网页类型划分：重要和普通
    • 实时数据补充：通过Storm实时生成实时索引和天级索引
  2. 在线检索：
    • query分析
    • 广播到所有索引库，其内部做求交运算和基础相关性计算
    • 收集到结果后，服务节点还可能做一些策略

网页索引组织模式

每日一读-360搜索的百亿级网页搜索引擎架构实现_第6张图片

【正排索引】
独立更新的问题：更新频率高

设计思路：

  1. url 列表中它的位置就代表 doc id，数据属性的存储会按照固定长度的数据块存放在数据文件中。数据块的下方位置就是它对应的 doc id 信息
  2. 稀疏信息问题方案：变长的数据块和头部信息；头信息主要是用来存储它在数据文件里面的位置信息，整个头信息和 url 列表是一 一对应的

【倒排索引】

两个问题：

  1. 正排到倒排：数据量会剧增，doclist重复度高
  2. 需要支持范围查找

设计思路：

  1. 压缩：将倒排表划分成多个块，块进行压缩；检索时，逐步解压块，满足用户需求时停止检索
  2. 分段：每个段会记录每一个动态表块的最小的 id 和最大的 id 来表示范围

网页检索和相关性

求交模型

每日一读-360搜索的百亿级网页搜索引擎架构实现_第7张图片
  • 最短拉链求交：减少求交次数
  • 内部查找算法：二分查找+步长策略

基础相关性

【基础赋权】


每日一读-360搜索的百亿级网页搜索引擎架构实现_第8张图片

基础赋权是来解决 query 中的每一个 term 和它对应的文章的权重计算。

  • TF：代表承载信息量，即这个 word 在文章中出现的次数；
  • IDF：代表信息承载能力，即这个 word 在全网的出现次数
  • BM25：在TF*IDF的基础上，加上了文章长度和term weight
  • Term等级/词性：挖掘出每篇文章的主题、关键词，以及关键词的一些限定词这些信息，对term分级及词性信息

【紧密度计算】


每日一读-360搜索的百亿级网页搜索引擎架构实现_第9张图片

紧密度计算就是用户的 query 过来之后，针对 query 的分词，一是相邻 word 之间的紧密程度在文章中是怎样的分布；二是跨 term 的信息，那也就是方向的信息。

通过计算文章中query中相邻word之间的距离来确定方向性。例如上图中取B为中心点，第二个A是在B后面，则A和B的距离就会拉长

你可能感兴趣的:(每日一读-360搜索的百亿级网页搜索引擎架构实现)

  • Python中定义函数有哪些方法？ 老男孩IT教育 python开发语言
    在Python中，函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码块，它可以提高应用的模块性，和代码的重复利用率。那么Python如何定义一个函数?以下是具体内容介绍。在Python中定义函数有多种方法。最常见的方法是使用def关键字，后跟函数名称和一对圆括号。语法：def函数名称(参数1，参数2，...):函数体示例：定义一个名为greet的函数，它接受一个name参数并打印一条问
  • 如果 青青河边草Grace
    我的图文如果我选择了沉默，不是我理屈词穷了。只是你那么执拗，我执着不过，放弃；如果我选择了附和，不是我心悦诚服了。你期望得到肯定，我给你好了，奉上；如果我选择了远离，不是我漠不关心了。你的难过装太满，我怕淹我快乐，躲开！人生苦短，莫用悲伤来填；生活不易，需要积极面对；过好当下，且行且享且珍惜！
  • Java高并发编程详解系列-深入理解Thread构造 nihui123 高并发Java高并发Java高并发
    上篇分享中主要是对线程的基本概念和基本操作做了一个分享，同时提出了两种常用的创建多线程的方法，当然在后期的分享中也会提及到更多的创建线程的方式，到后期的分享的时候再说。这次主要是深入的理解一下Thread的构造函数，通过构造函数对于Thread有一个更加深入的了解。这里首先提供一个JDK1.6的ThreadAPI截图线程命名规范  从源码分析可以看到在Thread类中默认提供了线程的命名方式，这个
  • 我整天心肝宝贝的猫在我床上拉了一泡屎 中国嘉嘉
    蓝小咪发脾气的样子妈妈你被子怎么这么臭啊！儿子本来过来跟我道晚安的，却嫌弃的在我被子上闻起来。我也闻到了很臭的味道。我们开始满被子寻找…结果一泡屎赫然的突兀在被子上！蓝小咪居然跑我床上拉屎了！三个月就买回来一直心肝宝贝的养到快三岁了的蓝小咪。今天它干了什么？太生气了！这被子还能要了嘛！被它气疯了！新被子和我喜欢的被罩，都让它毁了！还是这么恶心的方式！全都拿出屋，丢到院子里，连下面的床单一股脑都丢出
  • Java高并发编程详解系列-Balking设计模式 nihui123 高并发设计模式java编程语言
    导语  在实际操作中当某个线程因为发现其他线程正在进行相同的工作而放弃即将开始的任务，这种情况就被称为是Balking模式，Balking英文的意思是犹豫。在多个线程监控某个共享变量，A线程监控到共享变量发生变化后立即触发某个动作，但是这个这个时候发现了B线程也对该变量开始了行动，这个时候A变量就放弃了准备工作。下面就来详细的讲解一下关于Balking模式什么是Balking模式  在餐厅吃饭的时
  • 夜色匆忙，暮暮是你 一诗一文
    一诗一文每一天的原创诗歌和梦想，不要再和我擦肩而过得有那么一件事，你热爱，你坚持，你的人生有奔头，生活因此而紧凑。当趣味塞满你生活的角落，你也无暇去孤独。所以，如果可以，不妨寻找一件事，丰沛生命，把自己还给自己。——叶萱《南街廊桥》文/苏州姚群这是江南小镇的廊桥边，斜阳照在桥边斑驳的老墙上，木廊顶上覆盖着黛青小瓦，我看见三三两两的游人，肩膀抖落着几分疏离和淡漠。-身在南街，不起眼的廊桥，破旧衰败仿
  • Java高并发编程详解系列-Future设计模式 nihui123 高并发Java高并发Future高并发
    导语  假设，在一个使用场景中有一个任务需要执行比较长的时间，通常需要等待任务执行结束之后或者是中途出错之后才能返回结果。在这个期间调用者只能等待，对于这个结果Future设计模式提供了一种凭据式的解决方案。在日常生活中，这种方案也是存在的。例如去洗衣店洗衣服，当你把衣服放到洗衣店，等他洗完需要一段时间，这个时候洗衣店就会给你一凭证，你可以通过这个凭证到时候去取洗好的衣服。这个例子就是生活中的Fu
  • 价值流方案应用指南：推动企业转型的系统化解决方案 The Open Group 大数据数字化转型架构云计算运维
    价值流方案应用的战略意义随着全球经济的数字化转型，企业面临的挑战变得更加复杂和多样化。为了在不断变化的市场中保持竞争力，企业需要能够迅速适应变化的流程优化工具。《价值流指南》由TheOpenGroup发布的企业数字化转型专业参考指南，系统化介绍了如何定义、分解和映射价值流，以及其在商业架构中的应用。价值流为企业提供了从理论到实践的全面解决方案，帮助管理者优化业务流程，提升运营效率。通过价值流的方案
  • 《评量问句是寻找例外的工具》卓丽，坚持第1788天原创分享（2019.10.31星期四）: 半夏五月天
    《评量问句是寻找例外的工具》卓丽，坚持第1788天原创分享（2019.10.31星期四）:寻找例外的方法很多，评量问句也是其中的一个重要的工具。例如，在1分到10分的量尺上，10分的位置表示奇迹已经发生的状态，1分表示相对的位置，请当事人去评量现状，1分与现状间分数的差异，将引发对例外经验的觉察。也可以借助重要他人的观点，确认当事人例外的存在、成功要素及影响。例如:“1分到10分，10分表示你觉得
  • 1月30 日 李艺莹
    今天学习的是用触摸屏做的显示文字，很神奇。就是需要配置的东西很多，管脚很多，其他的东西还好。我接下来需要提高的就是自己来编写所有的配置。明天就要考试了，我真的是很紧张，晚上还是要复习的，虽然就要放假了，但是我还是要多学一点的，不要荒废了时间。不说了，我要去复习啦。FIGHTING，FIGHTING，FIGHTING。
  • 创时代安利你个开挂人生 斜杠青年袁海强
    安利一下我自己，我叫袁海强，90后，曾在国电投工作，从事火力发电工作。现在是一名安利人。也是一名讲师。互联网的出现让我们90后成为了互联网的原住民，全民都忙着上网，成了低头党，玩手机会怎么样呢？颈椎不好，怎么办？用纽崔莱健络精华，俗称关节宝，我自己就是在初中的时候就是脖子总是响，我以前总是很自豪，武侠片高手就是这样的。没事我还会得瑟故意转动脖子，后来我发现我有病，当我学习了全息经络刮痧后，慢慢的让
  • 新闻传播学——新闻采访 哞哞学新传
    每天学一点新闻传播学。1、新闻采访新闻采访是指记者为获取新闻对客体所进行的观察、询问、倾听、思索和记录等活动。它是一种带有特殊性质的调查活动和交流活动，是新闻工作的重要组成方式，是新闻写作的前提，并且体现了记者职业的重要特点。获取适于向大众传播的新闻是新闻采访的根本目的，观察和访问是新闻采访最基本的手段。新闻采访具有求新性、突击性、灵活性、持续性、政策性和公开性的特点。新闻采访有助于新闻记者提高认
  • 停止日更的这段日子你猜我去哪了 摩羯座的Sakura
    经历了一场狂风暴雨，人间-疾苦。今年四月份来到了越南出差，在国内打了疫苗来的，不幸碰到六月份疫情集体停工封城，到后来七月底开始复工，战战兢兢的没挺过八月，自己病倒了……还记得那天下午四点钟开完会觉得自己有点头晕，凭借着对自己身体的了解，应该是发烧或者感冒了，还好新冠之后有随身带体温计的习惯，量了体温37.6，稍微有点低烧。赶紧加了件衣服，五点钟准时下班回酒店吃退烧药睡觉。我坚信我不会感染新冠，因为
  • ajax讲解 夜不眠，码三千 okhttp
    1.AJAX概述1.1什么是ajaxAJAX（AsynchronousJavascriptAndXML）翻译成中文就是“异步Javascript和XML”。即使用Javascript语言与服务器进行异步交互，传输的数据为XML（当然，传输的数据不只是XML）。AJAX还有一个最大的特点就是，当服务器响应时，不用刷新整个浏览器页面，而是可以局部刷新。这一特点给用户的感受是在不知不觉中完成请求和响应过
  • ◆日精进◆2/200 记得晚㫨
    文|萍萍很多事情一个人做着坚持不下去时，找个人监督效果就不一样了。这一年里我写的感悟也不少，但唯独只有在跟伙伴一起写，被监督的时候才连续坚持记录了每天的收获和感悟。包括这次暑假实习期间也是，平时的时候就是断断续续的。昨天看了一个很优秀的人的朋友圈，一周一篇文章，每日精进，每日早间分享自己心得，每日复利生长，还不断跟优秀的人接触，不断自我思考总结，分享出来。我开始反省自己，为什么他会那么优秀？而我却
  • 2021-10-17 仁德上人
    心中执着自我傲慢自大的人怎么会有智慧与慈悲？有的只是对别人的伤害文/仁德上人有人认为修行到了最后不就是般若大智慧与妙用的大慈大悲利益救度众生的菩提心吗？请问，你心中放不下我我我，出离心都没有，怎么会有菩提心呢？一个没有真实菩提心的人，怎么会有真实的平等的大慈大悲的心呢？在你为救度众生时，众生有我不听你的话，不按照你的教导行为，在有人伤害了你的我我我的时候，你能会不生气不发脾气？因为你的内心还会生气
  • 语音识别技术有哪些应用场景？ 不想秃头的程序 语音识别人工智能
    语音识别技术，作为人工智能领域的重要分支，已经深入到我们日常生活的方方面面。以下是一些常见的应用场景：智能助理智能助理如Siri、GoogleAssistant以及Alexa等，都基于语音识别技术来实现用户交互。用户可以通过语音命令来拨打电话、查询信息、设置提醒等。这些助理软件能够理解多种语言和方言，并能够在复杂的环境噪声中准确识别用户的指令。智能家居在智能家居领域，语音识别被用于控制各种智能设备
  • 高仿皮带在哪里有卖，推荐十个购买渠道 桃朵桃朵
    高仿皮带是一种常见的配饰，许多人都想要购买一条高仿皮带以搭配自己的服装。然而，在购买高仿皮带时，许多人会遇到一些问题，比如不知道在哪里购买以及如何选择适合自己的高仿皮带。本文将为你推荐十个购买高仿皮带的渠道，让你能够轻松地找到适合自己的高仿皮带。【更多详情加薇信了解：FB2260】1.官方网站官方网站是一个非常可靠的购买渠道。许多高仿皮带品牌都有自己的官方网站，可以直接在网站上购买。官方网站上的高
  • 海淘免税店app都是假货吗?海淘免税店app靠谱吗 高省爱氧惠
    海淘免税店app并不都是假货，整体来说，海淘免税店app还是比较靠谱的。海淘免税店app作为目前比较流行的海淘市场，在圈中人气还是不错的，价格较为低廉。但也不排除一些商家为了盈利选择销售假货的行为，所以大家还是要仔细辨别。首先来推荐做淘客赚钱，经过十多年的发展淘客市场非常大，网购用户都是你的目标群体，在氧惠APP创业，大家只要坚持分享就有钱赚。最重要的是零投资！！！分享出去只要这个人网购，你就有钱
  • 转自微信公众号-愿你成为你喜欢的样子 青春是用来奋斗的_5e89
    五、懒惰是很奇怪的东西，它使你以为那是安逸，是休息，是福气。但实际上它给你的是无聊，是倦怠，是消沉。六、很多时候，一件事情、一份工作能否做好，往往取决于我们的态度，积极的态度就是成功的保证。七、宁愿花时间修炼不完美的自己，也不要浪费时间期待完美的别人。八、愿你成为自己喜欢的样子，不抱怨，不将就，有信心，有光芒！
  • 11讲 一次只做一件事 其乐融蓉蓉
    时间是一个人最稀缺的资源。巴菲特到比尔盖茨家去做客，有人就问道他们成功的秘诀是什么，他们都没有直接回答，而是在纸上写下了答案，他们的答案都是一致的，五个字母focus。专注。专注去做一件事。每一次只做一件事。我就经常有这样的经验，每次就像叶老师说的边工作边听音乐或者边看电视边聊微信，边刷淘宝。这样会导致工作效率极低。拉长工作时间，让我经常在下班时间没有完成工作，所以很焦虑。有一个办法能让我们去专注
  • 2023-10-25 帕金森大健康
    睡眠会影响孩子的身高吗孩子长高依赖的因素有哪些？研究显示，孩子的身高，70%取决于父母的遗传基因，30%取决于后天因素。后天影响因素包括饮食、运动、睡眠、心理健康等。其中，睡眠对身高的影响很大。睡眠为什么会影响孩子身高呢生长激素是生长发育过程中非常重要的激素之—，生长激素分泌异常可导致孩子身材矮小。生长激素分泌特点与其他激素不同，它在体内的浓度并不是稳定在某一水平，而是呈现脉冲式分泌，白天的分泌量
  • 《格言联璧》学问类：聪明用于正路，愈聪明愈好 十四施无畏力
    《格言联璧》是清代学者金缨（yīng）所著，他用数年功夫，遍览经史典籍和先哲语录；将流传于世的格言，分为学问，存养，持躬（gōng），摄生，敦（dūn）品，处事，接物，齐家，从政，惠吉以及悖（bèi）凶等十一类。整本书收录古圣先贤的名言警句，经过作者精心选择，将最为精华的内容展现出来，全篇读来琅琅上口。现在来具体聊一聊该书《学问类》这一章节：1.聪明用于正路，愈聪明愈好，而文学功名益成其美；聪明用
  • AJAX异步请求数据 铸键为犁 JavaWebajaxservletjavascript
    文章目录前言一、AJAX是什么？二、使用步骤1.语法格式2.示例2.注意事项总结前言本篇主要介绍怎么使用AJAX向服务器请求数据。一、AJAX是什么？异步请求技术,可以实现页面局部刷新,在不刷新页面的情况下发送请求到后台加载数据,并且展现在前端二、使用步骤1.语法格式代码如下：$.get(url,data,function(data){})发送get请求参数1:url是后台服务器地址参数2:dat
  • 绘本的价值 666小飞鱼
    《小学教师》的编辑陈洪杰老师曾说过，对于孩子而言，教学往往是“关系先于教学”“形式先于内容”“趣味先于意义”。这其实是给我们就如何打破当前数学教学窘况的一个很好的引子。数学绘本具有图文并茂，以贴近生活的趣味故事、色彩丰富的直观图画呈现数学知识，顺应了第一学段儿童的心理和学习发展规律，更能激发他们对于数学学习的兴趣，培养他们的想象力和逻辑思维。因此，数学绘本在第一学段的融入具有十分重要的意义和价值。
  • 《栩栩若生》 栩栩若生
    《栩栩若生....》.......我出生于1993年。....那时候爸妈刚从农村出来，在城里开了间早点铺子维持生计。妈妈每天凌晨两点就要起床和面蒸包子馒头，怀孕了都不知道。她误以为要绝经了，还去药店抓了活血药吃。结果肚子见了天的大，她害怕得了大病，去医院一看，嚯，怀孕六个月了！妈妈一下就懵了！她当年四十六岁，和爸爸已经有了两个孩子。大女儿二十二岁，小儿子十九岁了。换句话说，两口子不但儿女双全，都等
  • 1128-小炒黄牛肉真心辣 静趣_儿童心理师
    午加餐：面包，橘子晚水果：柿子参考目标：1份豆2份肉3份“新鲜”水果4份谷物/薯5份蔬菜，深绿色叶菜最好6杯水今日总结：食物种类：17-差点！量的配比：123456-都满足
  • 【Qt】之【Bug】LNK2019: 无法解析的外部符号 __imp_FindWindowW Htht111 Qtbugqtbug开发语言
    QTerror:LNK2019:无法解析的外部符号__imp__SendMessageW@类型的错误以及pragmacomment的作用（用法）添加头文件出错的cpp文件加入以下代码#pragmacomment(lib,"User32.lib")ps：尝试pro添加-lUser32，没用
  • 思科路由器交换机密码破解过程详解 zhane_hao
    路由启动过程加电自检(POST)加载bootstrap代码检查配置寄存器寻找CiscoIOS加载CiscoIOS寻找配置文件加载配置文件若没有配置文件，进入Setup模式，进行初始化配置运行路由器操作系统查看命令•showversion：检查配置寄存器的值,硬件配置,IOS版本•showflash：检查Flash中的IOS,或是flash大小,使用情况(占用多少,剩下多少)•showstartup
  • 在Unity中利用AnimationClip方便快捷的播放游戏动画 Defining the Future 游戏unity游戏开发经验分享程序人生
    在Unity中我们一般要通过要通Animator类调用类中相应的触发方法，这样做的前提是必须要在动画属性面板中把这动画设置相应的触发条件（比如设置动画的触发条件为布尔值触发、数值触发等等），可以说是有点麻烦！下面新的一种动画触发方法即将到来，也就是通过AnimationClip类进行动画的触发。（而且注意这种方法不用设置相应的动画触发条件，可以直接触发相应的动画)代码如下://通过Animatio
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他