一个很懒的人
一个很懒的人

存储系统 —— Cache（高速缓冲存储器）

本文主要介绍以下几方面的知识：

  1. Cache 的基本工作原理
  2. Cach和主存之间的映射方式
  3. Cache中主存块的替换算法
  4. Cache写策略

1.Cache的基本工作原理

存储系统 —— Cache（高速缓冲存储器）_第1张图片

  • 存储系统存在的问题
    存储系统 —— Cache（高速缓冲存储器）_第2张图片

  • 局部性原理
    存储系统 —— Cache（高速缓冲存储器）_第3张图片

  • (3)Cache 工作原理
    存储系统 —— Cache（高速缓冲存储器）_第4张图片

  • 性能分析
    存储系统 —— Cache（高速缓冲存储器）_第5张图片
    存储系统 —— Cache（高速缓冲存储器）_第6张图片

  • 块地址形式
    存储系统 —— Cache（高速缓冲存储器）_第7张图片
    存储系统 —— Cache（高速缓冲存储器）_第8张图片

2.Cach和主存之间的映射方式

存储系统 —— Cache（高速缓冲存储器）_第9张图片
存储系统 —— Cache（高速缓冲存储器）_第10张图片

(1)全相联映射
  • 主存放置到Cache中
    存储系统 —— Cache（高速缓冲存储器）_第11张图片
  • CPU 访存某个地址
    存储系统 —— Cache（高速缓冲存储器）_第12张图片
(2)直接映射
  • 主存放置到Cache中
    存储系统 —— Cache（高速缓冲存储器）_第13张图片
  • CPU 访存某个地址
    存储系统 —— Cache（高速缓冲存储器）_第14张图片
(3)组相联映射
  • 主存放置到Cache中
    存储系统 —— Cache（高速缓冲存储器）_第15张图片
  • CPU 访存某个地址
    存储系统 —— Cache（高速缓冲存储器）_第16张图片

3.Cache中主存块的替换算法

存储系统 —— Cache（高速缓冲存储器）_第17张图片
注： 替换算法解决的问题，及其适用范围
存储系统 —— Cache（高速缓冲存储器）_第18张图片

(1)随机算法（RAND）

存储系统 —— Cache（高速缓冲存储器）_第19张图片

(2)先进先出算法（FIFO）

存储系统 —— Cache（高速缓冲存储器）_第20张图片

(3)近期最少使用算法（LRU）
  • 手算
    存储系统 —— Cache（高速缓冲存储器）_第21张图片
  • 机器实现
    存储系统 —— Cache（高速缓冲存储器）_第22张图片
    存储系统 —— Cache（高速缓冲存储器）_第23张图片
(4)最不经常使用算法（LFU）

存储系统 —— Cache（高速缓冲存储器）_第24张图片

4.Cache写策略

在这里插入图片描述
存储系统 —— Cache（高速缓冲存储器）_第25张图片

(1)写命中
  • 写回法
    存储系统 —— Cache（高速缓冲存储器）_第26张图片
  • 全写法
    存储系统 —— Cache（高速缓冲存储器）_第27张图片
(2)写不命中
  • 写分配法
    存储系统 —— Cache（高速缓冲存储器）_第28张图片
  • 非写分配法
    存储系统 —— Cache（高速缓冲存储器）_第29张图片
(3)多级Cache

存储系统 —— Cache（高速缓冲存储器）_第30张图片

你可能感兴趣的:(计算机组成原理,存储系统,Cache)

  • Nginx-module-文件上传模块的安装及使用 JEDLI nginxjavanginx运维服务器
    Nginx-module-文件上传模块的安装及使用1.安装下面指令的执行的工作目录：/usr/local/software/下载和安装的nginx及ngx_cache_purge插件1.1下载nginx#下载wgethttp://nginx.org/download/nginx-1.18.0.tar.gz​tar-zxvfnginx-1.18.0.tar1.2下载ngx_cache_purge插件
  • Java本地缓存技术选型（Guava Cache、Caffeine、EhCache） 子龙技术 java
    前言对一个java开发者而言，提到缓存，第一反应就是Redis。利用这类缓存足以解决大多数的性能问题了，我们也要知道，这种属于remotecache（分布式缓存），应用的进程和缓存的进程通常分布在不同的服务器上，不同进程之间通过RPC或HTTP的方式通信。这种缓存的优点是缓存和应用服务解耦，支持大数据量的存储，缺点是数据要经过网络传输，性能上会有一定损耗。与分布式缓存对应的是本地缓存，缓存的进程和
  • 前端工程化Vue使用Node.js永久设置国内高速npm镜像源 会撸代码的懒羊羊 Nginx前端node.jsvue.js数据库npm
    前端工程化Vue使用Node.js永久设置国内高速npm镜像源接续上篇错误收录，此篇通过简单配置永久设置国内高速npm镜像源方法1.更换新版镜像清空npm缓存npmcacheclean--force修改回原版镜像源或直接删除配置过的镜像源npmconfigsetregistryhttps://registry.npmjs.org/--删除镜像源npmconfigdeleteregistry更改新版
  • OPPO自研DataFlow架构与实践 鲍倩和鲍新春 架构分布式
    1.背景OPPO很多线上业务每天会产生海量数据，如日志数据、监控数据、调用链数据。我们需要把这些数据进行归类、聚合、过滤、存储。例如将不同的日志数据写入到不同的存储系统中。如果这些日志数据同步写入到数据库中，则会降低服务的性能。如果采用异步发送，先将数据写入本地缓存队列，然后再启动一个线程从队列中获取数据，写入到数据库中，这样处理不会将影响对外服务的性能，但是如果数据量过大时容易造成进程OOM，重
  • pip install太慢了，怎么解决？ 西敏寺的乐章 pythonpippythonlinux
    文章目录一、加速方法2.更换源3.使用镜像加速工具4.使用代理5.使用pip的--no-cache-dir选项6.直接下载安装包一、命令：一、加速方法有几种方法可以加快pip安装的速度：2.更换源pip默认使用的是PyPI源，可以切换到国内镜像源如阿里云镜像、清华大学镜像等，这些镜像源通常会提供更快的下载速度。可以通过修改pip配置文件来更换源3.使用镜像加速工具可以使用一些镜像加速工具来提高pi
  • Redis 使用场景大揭秘（Redis Usage Scenarios Revealed） Linux运维老纪 用心耕耘开启数据库之门数据库redis缓存云计算服务器运维开发
    Redis使用场景大揭密在现代应用开发中，数据的存储与管理变得愈发重要。随着用户量的增加和数据的膨胀，传统的数据库往往难以满足高并发、高性能的需求。Redis作为一个高性能的内存数据存储系统，因其卓越的性能和丰富的数据结构而广泛应用于各类场景。本文将介绍Redis的一些常见使用场景，描述每个场景的需求，并分析使用Redis的优势。1.缓存需求描述：在高并发的应用中，数据库查询往往成为性能瓶颈。频繁
  • 【Go | 从0实现简单分布式缓存】-4：使用singleflight防止缓存击穿 Golinie Go分布式存储golang分布式缓存
    本文目录一、缓存问题二、singleflight三、geecache.go一、缓存问题先回顾一下缓存问题：缓存雪崩：缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩。缓存雪崩通常因为缓存服务器宕机、缓存的key设置了相同的过期时间等引起。缓存击穿：一个存在的key，在缓存过期的一刻，同时有大量的请求，这些请求都会击穿到DB，造成瞬时DB请求量大、压力骤增。缓存穿透：查询一个不存在的
  • 如何在Spring Boot中监控缓存的命中率？ lozhyf 工作面试学习springboot缓存java
    在SpringBoot中监控缓存的命中率对于评估缓存的有效性和性能优化至关重要。下面为你详细介绍不同缓存实现下监控缓存命中率的方法。1.使用SpringCache和SimpleCacheManager1.1配置SimpleCacheManagerSimpleCacheManager是Spring提供的一个简单的缓存管理器，适合开发和测试环境。首先，在配置类中配置SimpleCacheManager
  • 23西安电子科技大学 西电 833计算机专业基础综合 834 数据结构 计算机组成原理 考研参考书及学长学姐全程复习经验分享 西电研梦 考研数据结构经验分享
    23西安电子科技大学西电833计算机专业基础综合834数据结构计算机组成原理考研参考书及学长学姐全程复习经验分享我觉得考研本身并不算难，难得在于给自己一个可以一直坚持下去的动力，所以第一个问题是我们要清楚为什么要考研？我并不能直接告诉你考研好还是工作好？但所有考研的人都需要把信息进行收集：1.你希望考的那个专业前景怎么样？2.各个学校的这个专业怎么样，业内是否认可，能给你提供什么资源？3.各个学校
  • MongoDB 复制(副本集) froginwe11 开发语言
    MongoDB复制(副本集)引言MongoDB是一个高性能、可扩展、易于使用的文档存储系统。它以JSON-like的文档存储结构，支持灵活的数据模型。在分布式系统中，为了提高数据可用性和系统稳定性，常常需要实现数据的备份和冗余。MongoDB提供了副本集（ReplicaSet）功能，可以实现数据的自动备份和故障转移。本文将详细介绍MongoDB副本集的原理、配置和操作。副本集原理MongoDB副本
  • 【线上问题】Cannot find cache named 王佑辉 springbootspringboot
    目录1.说明2.问题排查3.解决方案1.说明1.异常信息：Cannotfindcachenamed‘test-cache’forBuilder[publicjava.lang.Stringcom.learn.controller.ExampleController.test(java.lang.String)]caches=[test-cache]|key=‘#id’|keyGenerator=‘
  • [字节青训_AI对话框]SSE交互规范、自定义事件、前后端数据传递、状态监听、连接和断开详解 GISer_Jinger 项目前端node.js架构
    1.SSE基础以下是关于Server-SentEvents(SSE)的前后端交互规范、常见方法及自定义扩展的完整指南：一、SSE交互规范1.基础协议HTTP协议：基于HTTP/1.1长连接，响应头需包含：Content-Type:text/event-streamCache-Control:no-cacheConnection:keep-alive2.数据格式规范每条消息格式为：[field]:v
  • llama-cpp-python本地部署并使用gpu版本 i__chen llamapython开发语言
    使用带编译的命令安装llama库#首选GGML_CUDA后续LLAMA_CUBLAS将删除CMAKE_ARGS="-DGGML_CUDA=on"FORCE_CMAKE=1pipinstallllama-cpp-python--no-cache-dirCMAKE_ARGS="-DLLAMA_CUBLAS=on"FORCE_CMAKE=1pipinstallllama-cpp-python--no-c
  • 创建.gitignore忽略全部node_modules 不吃虾米虾皮虾酱 nodejsgitnode.js
    有时候在github上创建repo时会忘记创建.gitignore文件，此时只需要：在根目录创建.gitignore文件将**/node_modules写在.gitignore中在终端执行gitrm-r--cached.清除缓存参考：Git忽略规则.gitignore不生效Git-Ignorenode_modulesfoldereverywhere
  • python安装pyaudio_我不能在我的python上安装pyaudio？怎么做？ weixin_39613385 python安装pyaudio
    我有一台windows10pc，我想安装pyaudio，以便与chatterbot一起使用，chatterbot支持，我尝试了两种不同的安装pyaudio的方法。方法是在命令提示符下编写python-mpipinstallPyAudio结果是：C:\Users\Waaberi>python-mpipinstallPyAudioCollectingPyAudioUsingcachedhttps://
  • 以太坊介绍 倒霉男孩 区块链区块链
    文章目录以太坊以太坊和比特币的区别以太网货币单位以太坊以太坊是“世界的计算机”。以太坊是一种确定性但实际上无界的状态机，它有两个基本功能，第一个是全局可访问的单例状态，第二个是对状态进行更改的虚拟机。从更实际的角度来说，以太坊是一个开源的，全球的去中心化计算架构，执行成为智能合约的程序。它使用区块链来从同步和存储系统状态，以及称为ether的加密货币来计量和约束执行资源成本。智能合约相当于可以在以
  • Spark----Spark 在不同集群中的架构 XiaodunLP Spark
    Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。Spark的各种运行模式虽然在启动方式、运行位置、调
  • 华为出品Python入门教程：从零基础入门到精通，这一篇就够了 学Python的AA python数据科学python开发语言
    前言本文罗列了了python零基础入门到精通的详细教程，内容均以知识目录的形式展开。01.python由来与发展介绍02.项目开发流程第一章markdown编辑器01.markdown基本语法02.Typora简介与安装03.Windows上gitee+Typora设置图床04.macOS上gitee+Typora设置图床第二章计算机核心基础01.计算机组成原理第三章编程语言01.编程语言介绍02
  • maven引包爆红 failed to transfer from http://maven.aliyun.com/nexus/content/groups/public during a previ sui5yue6_ mavenjava
    之前一致可以正常使用，然后突然无法引入新的包无法引包org.apache.flink:flink-streaming-java_2.12:pom:1.13.1failedtotransferfromhttp://maven.aliyun.com/nexus/content/groups/publicduringapreviousattempt.Thisfailurewascachedinthelo
  • 【Spring】学习笔记3——Spring常用注解详解 白衣染霜陈 ——【Spring】SpringSpring注解SpringAOPIOC
    你只管努力，——剩下的交给时光。常用的spring注解有如下几种：标红为常用的几种，建议深刻理解使用最好动手敲一敲@Controller@Service@Autowired@RequestMapping@RequestParam@ModelAttribute@Cacheable@CacheFlush@Resource@PostConstruct@PreDestroy@Repository@Comp
  • 开源分布式存储系统在云原生数据库领域的实践与应用 ITPUB-微风 开源分布式云原生
    本文深入探讨了Curve项目，一个专为云原生环境设计的开源分布式存储系统。文章详细介绍了Curve的块存储架构、其在云原生数据库领域的实际应用，并展望了项目的未来发展方向。一、Curve项目介绍Curve项目致力于打造一个云原生、高性能、稳定且易运维的开源分布式存储系统。它支持私有云、公有云和混合云上的部署，兼容CSI插件，并支持容器化部署和Kubernetes集成。Curve的设计理念在于提供高
  • Java必知必会系列：缓存技术与Memcached AI天才研究院 Java实战编程实践大数据人工智能语言模型JavaPython架构设计
    作者：禅与计算机程序设计艺术文章目录1.简介2.缓存技术及其相关概念2.1什么是缓存？2.2Memcached简介2.3Memcached核心机制2.4Memcached常见错误类型3.Memcached基本操作3.1安装Memcached3.2Memcached操作添加键值对删除键值对更新键值对查询多个键管理缓存空间4.Memcached应用场景4.1Session共享4.2全页缓存4.3对象缓
  • 如何将memcached中item批量导入导出？思维导图 代码示例（java 架构) 用心去追梦 memcachedjava架构
    Memcached中Item的批量导入导出Memcached本身并没有直接提供用于批量导入和导出数据的工具或命令。然而，通过编程手段可以实现这一功能。以下是关于如何将Memcached中的Item进行批量导入和导出的方法和技术：1.批量导出（Dump）遍历所有键：由于Memcached不支持直接枚举所有的键，因此需要事先记录下所有的键，或者在应用程序层面维护一个键的列表。逐个获取值：使用客户端库提
  • SpringSecurity系列——安全Http响应头day8-2（源于官网5.7.2版本） 简明编程 笔记#SpringSecurityJava学习安全httpjava
    SpringSecurity系列——安全Http响应头day8-2（源于官网5.7.2版本）安全Http响应头默认的安全头默认包含的安全头自定义默认安全标头禁用默认安全头禁用所有安全头（完全无效）缓存控制默认的缓存控制响应头禁用默认安全头开启缓存控制禁用缓存控制（cacheControl）内容类型（Content-Type）禁用Content-TypeHSTS严格传输安全默认的标头默认的严格的传输
  • SpringBoot（三）缓存 程序员云笔记 Javaspringboot缓存java
    SpringBoot（三）缓存1默认缓存管理1.1环境搭建1.1.1准备数据1.1.2创建项目，功能编写1.2默认缓存体验1.3缓存注解介绍1.3.1@EnableCaching注解1.3.2@Cacheable注解1.3.3@CachePut注解1.3.4@CacheEvict注解2整合Redis缓存2.1SpringBoot支持的缓存组件2.2基于注解的Redis缓存实现2.3基于API的Re
  • Redis知识深度总结文档 jay丿 redis数据库缓存
    Redis知识深度总结文档一、Redis简介与基础概念Redis（RemoteDictionaryServer）是一个开源的高性能键值对存储数据库，由SalvatoreSanfilippo（网名antirez）在2009年创建。它以内存中的数据结构存储为基础，提供了多种高级功能，使得Redis不仅是一个简单的键值存储系统，更是一个功能丰富的数据结构服务器。Redis的数据存储在内存中，因此它的读写
  • Mybatis-Mapper配置 zl979899 SSMjavamybatis
    SQL映射文件的几个顶级元素（按照应被定义的顺序列出）cache–该命名空间的缓存配置。cache-ref–引用其它命名空间的缓存配置。resultMap–描述如何从数据库结果集中加载对象，是最复杂也是最强大的元素。parameterMap–老式风格的参数映射。此元素已被废弃，并可能在将来被移除！请使用行内参数映射。sql–可被其它语句引用的可重用语句块。insert–映射插入语句。update–
  • thinkphp5.0配置Redis denglansui3484 数据库php
    官方文档就缓存的配置如下：$options=[//缓存类型为File'type'=>'File',//缓存有效期为永久有效'expire'=>0,//缓存前缀'prefix'=>'think',//指定缓存目录'path'=>APP_PATH.'runtime/cache/',];Cache::connect($options);看着让人不明所以，也不知道在哪配置，经过研究，应在applicati
  • 银行数据类系统建设 奔跑的白鸥 银行数据应用数据仓库spark大数据
    数据仓库建设数据仓库的概念数据仓库是大批量数据的存储系统，在如今PB级数据量的大数据时代，传统数据库由于数据量的限制，无法存储如此庞大的数据量，因此对于需求海量数据的机构大都会将数据存储在数据仓库中，用以取数和分析。数据仓库的分层数据仓库一般会从业务源系统取数，存储在ODS层。这一层存储的都是颗粒度最细的明细数据，由于直接从源系统取数，所以这一层的数据大多是缺乏加工处理的脏数据。再上层是主题数据层
  • 如何结合使用thread-loader和cache-loader以获得最佳效果？ 祈澈菇凉 前端
    结合使用thread-loader和cache-loader可以显著提高Webpack的构建速度，特别是在处理大型项目时。以下是如何有效配置和使用这两个Loader以获得最佳效果的详细说明。一、理解thread-loader和cache-loader1.thread-loaderthread-loader允许你将某些Loader的处理过程放入子进程中运行，从而利用多核CPU来加速构建速度。它适用于
  • mongodb3.03开启认证 21jhf mongodb
    下载了最新mongodb3.03版本，当使用--auth 参数命令行开启mongodb用户认证时遇到很多问题，现总结如下： （百度上搜到的基本都是老版本的，看到db.addUser的就是，请忽略） Windows下我做了一个bat文件，用来启动mongodb，命令行如下： mongod --dbpath db\data --port 27017 --directoryperdb --logp
  • 【Spark103】Task not serializable bit1129 Serializable
    Task not serializable是Spark开发过程最令人头疼的问题之一，这里记录下出现这个问题的两个实例，一个是自己遇到的，另一个是stackoverflow上看到。等有时间了再仔细探究出现Task not serialiazable的各种原因以及出现问题后如何快速定位问题的所在，至少目前阶段碰到此类问题，没有什么章法 1.   package spark.exampl
  • 你所熟知的 LRU(最近最少使用) dalan_123 java
    关于LRU这个名词在很多地方或听说，或使用，接下来看下lru缓存回收的实现 1、大体的想法     a、查询出最近最晚使用的项     b、给最近的使用的项做标记 通过使用链表就可以完成这两个操作，关于最近最少使用的项只需要返回链表的尾部；标记最近使用的项，只需要将该项移除并放置到头部，那么难点就出现 你如何能够快速在链表定位对应的该项？ 这时候多
  • Javascript 跨域 周凡杨 JavaScriptjsonp跨域cross-domain
                                       
  • linux下安装apache服务器 g21121 apache
    安装apache 下载windows版本apache，下载地址：http://httpd.apache.org/download.cgi   1.windows下安装apache Windows下安装apache比较简单，注意选择路径和端口即可，这里就不再赘述了。 2.linux下安装apache： 下载之后上传到linux的相关目录，这里指定为/home/apach
  • FineReport的JS编辑框和URL地址栏语法简介 老A不折腾 finereportweb报表报表软件语法总结
      JS编辑框： 1.FineReport的js。 作为一款BS产品，browser端的JavaScript是必不可少的。 FineReport中的js是已经调用了finereport.js的。 大家知道，预览报表时，报表servlet会将cpt模板转为html，在这个html的head头部中会引入FineReport的js，这个finereport.js中包含了许多内置的fun
  • 根据STATUS信息对MySQL进行优化 墙头上一根草 status
    mysql  查看当前正在执行的操作，即正在执行的sql语句的方法为:      show processlist 命令   mysql> show global status;可以列出MySQL服务器运行各种状态值，我个人较喜欢的用法是show status like '查询值%';一、慢查询mysql> show variab
  • 我的spring学习笔记7-Spring的Bean配置文件给Bean定义别名 aijuans Spring 3
    本文介绍如何给Spring的Bean配置文件的Bean定义别名？ 原始的 <bean id="business" class="onlyfun.caterpillar.device.Business"> <property name="writer"> <ref b
  • 高性能mysql 之 性能剖析 annan211 性能mysqlmysql 性能剖析剖析
    1 定义性能优化 mysql服务器性能，此处定义为 响应时间。 在解释性能优化之前，先来消除一个误解，很多人认为，性能优化就是降低cpu的利用率或者减少对资源的使用。 这是一个陷阱。 资源时用来消耗并用来工作的，所以有时候消耗更多的资源能够加快查询速度，保持cpu忙绿，这是必要的。很多时候发现 编译进了新版本的InnoDB之后，cpu利用率上升的很厉害，这并不
  • 主外键和索引唯一性约束 百合不是茶 索引唯一性约束主外键约束联机删除
    目标;第一步;创建两张表 用户表和文章表         第二步;发表文章       1,建表; ---用户表 BlogUsers --userID唯一的 --userName --pwd --sex create
  • 线程的调度 bijian1013 java多线程thread线程的调度java多线程
    1.       Java提供一个线程调度程序来监控程序中启动后进入可运行状态的所有线程。线程调度程序按照线程的优先级决定应调度哪些线程来执行。   2.       多数线程的调度是抢占式的（即我想中断程序运行就中断，不需要和将被中断的程序协商） a) 
  • 查看日志常用命令 bijian1013 linux命令unix
    一.日志查找方法，可以用通配符查某台主机上的所有服务器grep "关键字" /wls/applogs/custom-*/error.log   二.查看日志常用命令1.grep '关键字' error.log：在error.log中搜索'关键字'2.grep -C10 '关键字' error.log：显示关键字前后10行记录3.grep '关键字' error.l
  • 【持久化框架MyBatis3一】MyBatis版HelloWorld bit1129 helloworld
    MyBatis这个系列的文章，主要参考《Java Persistence with MyBatis 3》。   样例数据 本文以MySQL数据库为例，建立一个STUDENTS表，插入两条数据，然后进行单表的增删改查     CREATE TABLE STUDENTS ( stud_id int(11) NOT NULL AUTO_INCREMENT,
  • 【Hadoop十五】Hadoop Counter bit1129 hadoop
       1. 只有Map任务的Map Reduce Job File System Counters FILE: Number of bytes read=3629530 FILE: Number of bytes written=98312 FILE: Number of read operations=0 FILE: Number of lar
  • 解决Tomcat数据连接池无法释放 ronin47 tomcat 连接池　优化
    近段时间，公司的检测中心报表系统(SMC)的开发人员时不时找到我，说用户老是出现无法登录的情况。前些日子因为手头上 有Jboss集群的测试工作，发现用户不能登录时，都是在Tomcat中将这个项目Reload一下就好了，不过只是治标而已，因为大概几个小时之后又会 再次出现无法登录的情况。 今天上午，开发人员小毛又找到我，要我协助将这个问题根治一下，拖太久用户难保不投诉。 简单分析了一
  • java-75-二叉树两结点的最低共同父结点 bylijinnan java
    import java.util.LinkedList; import java.util.List; import ljn.help.*; public class BTreeLowestParentOfTwoNodes { public static void main(String[] args) { /* * node data is stored in
  • 行业垂直搜索引擎网页抓取项目 carlwu LuceneNutchHeritrixSolr
    公司有一个搜索引擎项目，希望各路高人有空来帮忙指导，谢谢！ 这是详细需求： （1） 通过提供的网站地址(大概100-200个网站)，网页抓取程序能不断抓取网页和其它类型的文件（如Excel、PDF、Word、ppt及zip类型），并且程序能够根据事先提供的规则，过滤掉不相干的下载内容。 （2） 程序能够搜索这些抓取的内容，并能对这些抓取文件按照油田名进行分类，然后放到服务器不同的目录中。
  • [通讯与服务]在总带宽资源没有大幅增加之前,不适宜大幅度降低资费 comsci 资源
          降低通讯服务资费，就意味着有更多的用户进入，就意味着通讯服务提供商要接待和服务更多的用户，在总体运维成本没有由于技术升级而大幅下降的情况下，这种降低资费的行为将导致每个用户的平均带宽不断下降，而享受到的服务质量也在下降，这对用户和服务商都是不利的。。。。。。。。     &nbs
  • Java时区转换及时间格式 Cwind java
    本文介绍Java API 中 Date, Calendar, TimeZone和DateFormat的使用，以及不同时区时间相互转化的方法和原理。   问题描述： 向处于不同时区的服务器发请求时需要考虑时区转换的问题。譬如，服务器位于东八区（北京时间，GMT+8:00），而身处东四区的用户想要查询当天的销售记录。则需把东四区的“今天”这个时间范围转换为服务器所在时区的时间范围。
  • readonly,只读，不可用 dashuaifu jsjspdisablereadOnlyreadOnly
    readOnly 和 readonly 不同，在做js开发时一定要注意函数大小写和jsp黄线的警告！！！我就经历过这么一件事： 使用readOnly在某些浏览器或同一浏览器不同版本有的可以实现“只读”功能，有的就不行，而且函数readOnly有黄线警告！！！就这样被折磨了不短时间！！！（期间使用过disable函数，但是发现disable函数之后后台接收不到前台的的数据！！！）  
  • LABjs、RequireJS、SeaJS 介绍 dcj3sjt126com jsWeb
    LABjs 的核心是 LAB（Loading and Blocking）：Loading 指异步并行加载，Blocking 是指同步等待执行。LABjs 通过优雅的语法（script 和 wait）实现了这两大特性，核心价值是性能优化。LABjs 是一个文件加载器。RequireJS 和 SeaJS 则是模块加载器，倡导的是一种模块化开发理念，核心价值是让 JavaScript 的模块化开发变得更
  • [应用结构]入口脚本 dcj3sjt126com PHPyii2
    入口脚本 入口脚本是应用启动流程中的第一环，一个应用（不管是网页应用还是控制台应用）只有一个入口脚本。终端用户的请求通过入口脚本实例化应用并将将请求转发到应用。 Web 应用的入口脚本必须放在终端用户能够访问的目录下，通常命名为 index.php，也可以使用 Web 服务器能定位到的其他名称。 控制台应用的入口脚本一般在应用根目录下命名为 yii（后缀为.php），该文
  • haoop shell命令 eksliang hadoophadoop shell
    cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail test text
  • MultiStateView不同的状态下显示不同的界面 gundumw100 android
    只要将指定的view放在该控件里面，可以该view在不同的状态下显示不同的界面，这对ListView很有用，比如加载界面，空白界面，错误界面。而且这些见面由你指定布局，非常灵活。 PS：ListView虽然可以设置一个EmptyView，但使用起来不方便，不灵活，有点累赘。 <com.kennyc.view.MultiStateView xmlns:android=&qu
  • jQuery实现页面内锚点平滑跳转 ini JavaScripthtmljqueryhtml5css
    平时我们做导航滚动到内容都是通过锚点来做，刷的一下就直接跳到内容了，没有一丝的滚动效果，而且 url 链接最后会有“小尾巴”，就像#keleyi，今天我就介绍一款 jquery 做的滚动的特效，既可以设置滚动速度，又可以在 url 链接上没有“小尾巴”。   效果体验：http://keleyi.com/keleyi/phtml/jqtexiao/37.htmHTML文件代码： &
  • kafka offset迁移 kane_xie kafka
    在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。   到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。   从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适
  • android > 搭建 cordova 环境 mft8899 android
      1 , 安装 node.js        http://nodejs.org      node -v   查看版本   2, 安装 npm   可以先从  https://github.com/isaacs/npm/tags  下载 源码 解压到
  • java封装的比较器，比较是否全相同，获取不同字段名字 qifeifei
     非常实用的java比较器，贴上代码： import java.util.HashSet; import java.util.List; import java.util.Set; import net.sf.json.JSONArray; import net.sf.json.JSONObject; import net.sf.json.JsonConfig; i
  • 记录一些函数用法 .Aky. 位运算PHP数据库函数IP
    高手们照旧忽略。 想弄个全天朝IP段数据库，找了个今天最新更新的国内所有运营商IP段，copy到文件，用文件函数，字符串函数把玩下。分割出startIp和endIp这样格式写入.txt文件，直接用phpmyadmin导入.csv文件的形式导入。（生命在于折腾，也许你们觉得我傻X，直接下载人家弄好的导入不就可以，做自己的菜鸟，让别人去说吧） 当然用到了ip2long()函数把字符串转为整型数
  • sublime text 3 rust wudixiaotie Sublime Text
    1.sublime text 3 => install package => Rust 2.cd ~/.config/sublime-text-3/Packages 3.mkdir rust 4.git clone https://github.com/sp0/rust-style 5.cd rust-style 6.cargo build --release 7.ctrl
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他