Dedup

Celerra（七）---Dedup:file-level or block-level??

 之前的一篇文章《netapp学习（十二）---Dedup:file-levelorblock-level??》
taojin1240·2011-10-27 21:39

netapp学习（十二）---Dedup:file-level or block-level??

这两天就把之前做过的关于DataOntap和Celerra的dedup的实验贴出来，最近也就没时间研究其他东西了。  DataOntap的文档中说它是SIS，即s
taojin1240·2011-10-15 17:58

nutch 搜索site dedup

这个版本发现有个大大的bug，就是搜索时同一页面出现重复，不同页面也出现重复。即使有checkdedup功能，也不起作用。后来把代码修改一个才行，被搞晕。。。  其实关键代码就在于NutchBean.search(query)中。以下来分析一下。 publicHitssearch(Queryquery)throwsIOException{ if(query.getParams().getMaxH
leibnitz·2011-07-22 01:00

索引过程－merge index

是的，这部分没有使用job，这点我也想到了：）   功能: 将由之前多个reduces index后（严格来说是dedup后）进行索引 合并 ； 将dedup后的deleted flags
leibnitz·2011-07-16 11:00

基于dedup技术的远程相似文件同步

文件副本经常在网络上来回被COPY多次，很多情形下这些文件副本之间仅有很小的差异，很可能是从同一个文件版本演化而来。如果对文件进行完全COPY，在文件较大的情况下，会占用大量网络带宽，同步时间也会较长。Rsync是类Unix环境下的一个高效的远程文件复制(同步)工具，它通过著名的Rsync算法来优化流程，减少了数据通信量并提高文件传输效率。它的大致流程如下：假设现在有两台计算机Alpha和Beta
liuben·2010-07-06 11:00

基于dedup技术的远程相似文件同步

文件副本经常在网络上来回被COPY多次，很多情形下这些文件副本之间仅有很小的差异，很可能是从同一个文件版本演化而来。如果对文件进行完全COPY，在文件较大的情况下，会占用大量网络带宽，同步时间也会较长。Rsync是类Unix环境下的一个高效的远程文件复制(同步)工具，它通过著名的Rsync算法来优化流程，减少了数据通信量并提高文件传输效率。它的大致流程如下： 假设现在有两台计算机Alpha和Bet
javasalatu·2010-07-06 11:00

基于dedup技术的远程相似文件同步

文件副本经常在网络上来回被COPY多次，很多情形下这些文件副本之间仅有很小的差异，很可能是从同一个文件版本演化而来。如果对文件进行完全COPY，在文件较大的情况下，会占用大量网络带宽，同步时间也会较长。Rsync是类Unix环境下的一个高效的远程文件复制(同步)工具，它通过著名的Rsync算法来优化流程，减少了数据通信量并提高文件传输效率。它的大致流程如下： 假设现在有两台计算机Alpha和Bet
izuoyan·2010-07-06 11:00

dedup util数据块零碰撞算法

dedup util中使用md5算法计算数据块hashkey。md5是128位的hash值，理论上产生碰撞的概率非常小，据说比磁盘发生物理损坏的概率还要小几个数据级。
izuoyan·2010-06-10 14:00

dedup util数据块零碰撞算法

 deduputil中使用md5算法计算数据块hashkey。md5是128位的hash值，理论上产生碰撞的概率非常小，据说比磁盘发生物理损坏的概率还要小几个数据级。然而，虽然说概率非常微小，但产生碰撞的可能性真实存在，王小云教授的团队已经找到快速发现碰撞的算法。在重复数据删除技术中，鉴于性能考虑，主流做法是使用碰撞概率更小的hash算法，如sha256, sha512，或者同时使用两种以上has
liuben·2010-06-10 14:00

dedup util数据块零碰撞算法

dedup util中使用md5算法计算数据块hashkey。md5是128位的hash值，理论上产生碰撞的概率非常小，据说比磁盘发生物理损坏的概率还要小几个数据级。
javasalatu·2010-06-10 14:00

SourceForge上发布dedup util

[dedup util] dedup util是一款开源的轻量级文件打包工具，它基于块级的重复数据删除技术，可以有效缩减数据容量，节省用户存储空间。
javasalatu·2010-06-02 12:00

SourceForge上发布dedup util

[dedup util] dedup util是一款开源的轻量级文件打包工具，它基于块级的重复数据删除技术，可以有效缩减数据容量，节省用户存储空间。
izuoyan·2010-06-02 12:00

SourceForge上发布dedup util

 [deduputil]deduputil是一款开源的轻量级文件打包工具，它基于块级的重复数据删除技术，可以有效缩减数据容量，节省用户存储空间。目前已经在Sourceforge上创建项目，并且源码正在不断更新中。该工具生成的数据包内部数据部局(layout)如下：--------------------------------------------------| header | uniqueb
liuben·2010-06-02 12:00

基于Dedup的数据打包技术

基于Dedup的数据打包技术作者简介：刘爱贵，研究方向为网络存储、数据挖掘和分布式计算；毕业于中科院，目前从事存储软件研发工作。
izuoyan·2010-01-09 20:00

基于Dedup的数据打包技术

基于Dedup的数据打包技术作者简介：刘爱贵，研究方向为网络存储、数据挖掘和分布式计算；毕业于中科院，目前从事存储软件研发工作。
liuben·2010-01-09 20:00

基于Dedup的数据打包技术

基于Dedup的数据打包技术作者简介：刘爱贵，研究方向为网络存储、数据挖掘和分布式计算；毕业于中科院，目前从事存储软件研发工作。
javasalatu·2010-01-09 20:00

谨防define宏陷阱

最近在研究Deduplication（重复数据删除）存储技术，实现一个dedup原型系统，结果在Coding中遇到了一个莫名其妙的问题。
liuben·2009-12-20 13:00

谨防define宏陷阱

最近在研究Deduplication（重复数据删除）存储技术，实现一个dedup原型系统，结果在Coding中遇到了一个莫名其妙的问题。
izuoyan·2009-12-20 13:00

谨防define宏陷阱

最近在研究Deduplication（重复数据删除）存储技术，实现一个dedup原型系统，结果在Coding中遇到了一个莫名其妙的问题。
javasalatu·2009-12-20 13:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他