Data-intensive

《Designing Data-Intensive Applications》第3章 读书笔记：存储和获取

1.前言上一章讲了提供给数据库的格式，以及取出来的机制这一章讲解如何存储数据，如何获取到需要的数据首先看看两大存储引擎家族：log-structed存储引擎和page-oriented存储引擎如b树2.数据库的数据结构2.1简单demo引入键值对数据库文章写了一个很简单的数据库数据库demo实现了一个键值对的存储存储上：key，value用逗号分开（不考虑转义等），key，value都可以是任意的
赤子心_d709·2020-03-21 16:48

《Designing Data-Intensive Applications》第5章 读书笔记(2)：备份之多leader模式

1.前言前面讲了单leader模型，本节讲解多leader备份2.多leader备份之前讲的单leader有一个大的缺陷：由于只有一个leader，client和leader连不上，就不能写了那么一个拓展就是单leader变成多leader，每个leader都允许写，备份过程基本不变,如下:接收写请求的节点把数据发送给其他所有节点。此时，每个leader都会作为其他leader的follower角
赤子心_d709·2020-03-14 10:48

数据模型与查询语言 ------《Designing Data-Intensive Applications》读书笔记2

数据模型是开发软件的最重要的部分，因为它们对应用程序有着深远的影响：不仅是软件的编写方式，而且也影响我们如何解决的问题的方式。第二篇读书笔记，我们聊一聊数据模型的设计。1.数据模型的分层作为一个开发者来说，在一个复杂的应用程序中，是存在很多分层模型的，但基本思想还是一样的：每一层都提供了一个干净的数据模型，从而隐藏了底层的复杂性。通过这样的抽象来允许不同的人群有效地协同工作。每个数据模型都包含了如
LeeHappen·2020-03-14 04:14

客户端一致性与多Leader机制------《Designing Data-Intensive Applications》读书笔记7

接着上一篇的内容，我们继续来梳理分布式系统之中的副本机制与副本一致。上文我们聊到了在可用性与一致性之间的一个折中的一致性等级：最终一致性。我们顺着上篇的内容，由用户来分析一致性等级。1.客户端的困扰上篇文章我们提到了数据系统常用的模型，当提交新数据时，必须将它发送给Leader节点，但是当用户查询数据时，可以从一个Follower节点读取该数据。这样的模型使十分适合Web应用的读多写少的特点。读写
LeeHappen·2020-03-05 20:22

副本机制与副本同步------《Designing Data-Intensive Applications》读书笔记6

进入到第五章了，来到了分布式系统之中最核心与复杂的内容：副本与一致性。通常分布式系统会通过网络连接的多台机器上保存相同数据的副本，所以在本篇之中，我们来展开看看如何去管理和维护这些副本，以及这个过程之中会遇到的各种问题。1.副本在数据系统之中，我们通常会有这样几个原因来使用副本技术：保持地理位置接近用户，从而减少延迟（如：Cache，CDN技术）提高系统的可用性和鲁棒性，即使系统中的某些部分已经失
LeeHappen·2020-03-04 21:36

MapReduce与批处理------《Designing Data-Intensive Applications》读书笔记14

之前的文章大量的内容在和大家探讨分布式存储，接下来的章节进入了分布式计算领域。坦白说，个人之前专业的重心侧重于存储，对许多计算的内容理解可能不是和确切，如果文章中的理解有所不妥，愿虚心赐教。本篇将和大家聊一聊分布式计算的一个子集：批处理。批处理系统通常也叫脱机系统，需要大量的输入数据，运行一个作业来处理它，并产生一些输出数据。工作通常需要一段较长的时间（从几分钟到几天）。批处理作业通常是周期性地运
LeeHappen·2020-03-04 21:08

《Designing Data-Intensive Applications》第5章 读书笔记(3)：备份之无leader模式

1.前言前面两节讲了单leader模式和多leader模式，这一节讲解无leader模式之前有leader的模型都是基于这样的假设：一个client把写请求发送给leader，然后leader把数据备份到其他节点上。在一些无leader的模式实现中，client把写请求发送给若干节点。另外一些实现中，需要一个调节器节点来代表client完成。2.当节点挂掉时的写入在写数据时，如果有一个节点挂了怎么
赤子心_d709·2020-03-04 13:58

《Designing Data-Intensive Applications》第4章 读书笔记：编码和进化

1.引言第一章的时候讲了进化性，就是应对不断变化的需求如果说数据模型变了，我们的表以及业务代码也要相应变化，比如说多了一个字段等等对于关系型数据库，是有schema的，通过修改schema来应对变化的结构（如alter语句）对于文档性，schemaless的（也是schemaonread）的，需要自行兼容新老数据结构当数据变化的时候，要考虑两个问题向前兼容性：新的代码能够解析旧的数据向后兼容性：老
赤子心_d709·2020-02-23 23:06

P2P结构与Quorum机制------《Designing Data-Intensive Applications》读书笔记8

前文涉及到了很多与Leader相关的算法，大家有木有想过，王侯将相，宁有种乎，既然Leader这么麻烦，干脆还是采用P2P模型吧，来个大家平等的架构。本篇需要和大家探讨的就是多副本下实现民主政治的Quorum机制。至于它是怎么样解决我们在前文提及的各种问题的，接着这篇文章我们继续聊聊～～1.No-Leader机制有些数据存储系统放弃了Leader的机制，允许任何副本直接接受用户的写操作。（如Ama
LeeHappen·2020-02-23 05:59

《Designing Data-Intensive Applications》学习笔记 Chapter4

编码和扩展当有变更如数据结构变更时，我们常常需要考虑兼容。可以使用灰度等方式，因此会造成新老代码并存的现象，当然你可以直接隔离，让新代码读新数据，老代码读老数据，但若是无法隔离时，我们需要考虑向前兼容和向后兼容。向前兼容即老代码可以兼容新数据，向后兼容即新代码也可以用老数据。当我们使用数据时，常常是2个维度在内存中使用，数据在对象中，是一个个数据结构，如list，set等在网络传输，磁盘等中，是一
lionel880·2020-02-18 01:47

存储与索引------《Designing Data-Intensive Applications》读书笔记3

在上一篇的笔记之中，我们讨论了数据模型和查询语言。在第三章之中我们来聊一聊不同的数据引擎内部是如何实现存储和检索的，以及不同设计之间的折中与妥协。1.键值对数据库键值对数据库是数据库形式之中最简单的一种模式，我们可以把它简化的实现为下面两个函数：通过两个Shell函数就可以实现简易的键值对数据库底层存储格式也十分简单：一个文本文件，其中每行包含一个键值对，用逗号分隔（类似于CSV文件，忽略转义问题
LeeHappen·2020-01-08 18:38

《Designing Data-Intensive Applications》第7章 读书笔记(3)：串行化隔离级别

1.说明前面讲了几个隔离级别，有这样的问题1.隔离级别很难理解，并且各db实现方法不一致2.很难界定自己的应用代码应该在哪个隔离级别下才是安全的3.并发竞争很难发现以及复现这一节就讲解串行化，顾名思义，就是结果和串行化执行一样。往往通过下面三种方式实现1.真的是串行执行2.两阶段锁2PL(2phaselocking)3.序列化快照隔离SSI(SerializableSnapshotIsolatio
赤子心_d709·2019-12-29 14:32

《Designing Data-Intensive Applications》第7章 读书笔记(2)：事务隔离级别与异常

1.说明如果两个事务同时读写同一份数据，会引发并发竞争问题。而理论上，隔离性会使得一切变得简单，因为可以让你认为不会有并发竞争出现如串行化隔离，代表db保证事务执行的结果和他们串行化执行的结果一样。但是串行化的代价较高，实际上很多系统会用一些弱化的隔离标准本节主要讲解几种异常：脏读，脏写，Lostupdate，幻读几种隔离标准：未提交读（书中没有展开），读提交，可重复读，串行化（下一节再讲）以及一
赤子心_d709·2019-12-15 15:57

OLAP与数据仓库------《Designing Data-Intensive Applications》读书笔记4

由于第三章的内容比较多，这里我们拆分成两篇读书笔记来记录。上一章我们聊了聊如何数据库是如何实现存储和检索的，今天这篇我们继续来看看OLTP与OLAP存储引擎的区别与联系。1.OLTP与OLAP联机事务处理过程（On-LineTransactionProcessing）也就是我们通常称之的OLTP。联机分析处理过程（On-LineAnalysisProcessing）则被称为OLAP。在文中，作者列
LeeHappen·2019-12-15 04:41

数据系统的未来------《Designing Data-Intensive Applications》读书笔记17

终于来到这本书最后的一章了《DesigningData-IntensiveApplications》大部头，这本书应该是我近两年读过最棒的技术书籍。作者MartinKleppmann帮助我们梳理了数据系统的纷繁复杂的技术逻辑，在这本书的最后，他将带领我们瞭望数据系统的未来,虽然预测未来是一件很主观的事情，但是，立足于现在去展望未来是可能的事情。所以现在，扬帆起航，让咱们来一起看看作者MartinK
LeeHappen·2019-12-12 22:03

Designing Data-Intensive Applications 简读摘要——第一章(part1)

##数据敏感应用的普遍功能以及问题##常有功能1.存储数据(database)2.缓存(cache)3.根据关键词查找（searchindexes）4.发送消息异步处理(streamprocess)5.定期处理大量数据(batchprocess)问题针对以上5种功能，每种都有多种技术，这些技术如何选取，如何组合已完成目标哦，这是个技术活##站在数据系统的角度上思考，5个合起来考虑##看上去，上面5
cheng_e819·2019-11-01 18:17

可靠的、可扩展的、可维护的数据系统 ------《Designing Data-Intensive Applications》读书笔记1

坦白说也是机缘巧合，在硕士生阶段进入分布式系统领域学习。无论是大规模存储或计算，其核心也是运用分布式技术利用并行性来解决数据密集型应用的需求。最近开始在啃这本《DesigningData-IntensiveApplications》大部头，作者MartinKleppmann在分布式数据系统领域有着很深的功底，并在这本书中完整的梳理各类纷繁复杂设计背后的技术逻辑，不同架构之间的妥协与超越，很值得开发
LeeHappen·2019-10-31 07:44

设计数据密集型应用-Data-Intensive Application

不懂数据库的全栈工程师不是好架构师——Vonng周六停更SpringBoot从入门到实践系列教程读一本好书《设计数据密集型应用》-DesigningData-IntensiveApplication简称：DDIA在正确的时候读一本合适的书是一种幸运~作者：MartinKleppmann原书名称：《DesigningData-IntensiveApplication》译者：冯若航Gitbook地址：
我是王炸·2019-06-22 21:05

每周大数据论文（一）Data-intensive applications, challenges, techniques and technologies: A survey on Big Data

自以为读国外文献，总结记录新的思路，算法以及处理方法，总结文献内容，可以开拓视野，找出问题和创新点。记录下来也顺便告诉自己這篇论文讲的是什么，以备之后需要相关内容能快速翻阅到。也能和大家分享有关文献，需要此文献的留言邮箱，之后发给你们。文章来源：InformationSciences作者：C.L.PhilipChen,Chun-YangZhang“Thispaperisaimedtodemonst
Handoking·2018-05-25 09:22

HPC高性能计算知识: 主要应用场景和软件

数据密集型应用(Data-intensive):数字图书馆，数据仓库，数据挖掘，计算可视化等；其应用领域：
架构师技术联盟·2018-04-10 00:00

在map端使用关联数组实现wordcount

　　今天看Data-Intensive Text Processing with MapReduce 这本书的第三章的时候，里面有写到在map端优化wordcount。 　　
·2015-11-11 08:58

node.js的安装

JavaScript运行时建立的一个平台，用来方便地搭建快速的，易于扩展的网络应用Node.js借助事件驱动，非阻塞I/O模型变得轻量和高效，非常适合run across distributed devices的data-intensive
·2015-10-31 08:27

node.js安装

JavaScript运行时建立的一个平台，用来方便地搭建快速的，易于扩展的网络应用Node.js借助事件驱动，非阻塞I/O模型变得轻量和高效，非常适合run across distributed devices的data-intensive
·2015-10-28 07:29

并行计算基础&编程模型与工具

在当前计算机应用中，对高速并行计算的需求是广泛的，归纳起来，主要有三种类型的应用需求：计算密集(Computer-Intensive)型应用，如大型科学工程计算与数值模拟；数据密集(Data-Intensive
liyuefeilong·2015-06-30 10:00

10 个最佳的 Node.js 的 MVC 框架

ChromeJavaScript运行时建立的一个平台，用来方便地搭建快速的，易于扩展的网络应用·Node.js借助事件驱动，非阻塞I/O模型变得轻量和高效，非常适合runacrossdistributeddevices的data-intensive
JeOam·2014-02-24 00:00

mapreduce的一些算法设计，优化等（1）

本系列是根据书籍《Data-Intensive Text Processing with MapReduce.pdf》和工作中的一些mapreduce使用做的笔记： 本篇针对《Data-Intensive
jimmee·2014-01-27 17:00

mapreduce的一些算法设计，优化等（1）

本系列是根据书籍《Data-Intensive Text Processing with MapReduce.pdf》和工作中的一些mapreduce使用做的笔记： 本篇针对《Data-Intensive
jimmee·2014-01-27 17:00

data-intensive text processing with mapreduce-EM Algorithms for Text Processing

EMAlgorithmsforTextProcessing待续----------------
li385805776·2013-11-16 20:00

data-intensive text processing with mapreduce-Graph Algorithms

GraphAlgorithmsParallelBreadth-FirstSearchDijkstra算法MapReduce算法：MainIdea：类似于水波扩散的方式，以一点为中心进行扩散，mapreduce每次迭代步长加一，并算出当前步长内到各节点的最短距离。当边的权重固定为1时，迭代的结束条件为不再有节点随着步长的增加没有被访问过。当边的权重不为1时，迭代的次数为节点数减一（naive），到每
li385805776·2013-11-16 20:00

data-intensive text processing with mapreduce-Inverted Indexing for Text Retrieval

InvertedIndexingforTextRetrievalInvertedIndexingBaselineAlgorithm MainIdea:map的输入为文档编号和文档的内容，输出为[词,(文档编号，词频)]，reduce将同一个词的所有文档编号和词频聚集，然后按文档编号排序，最后输出的是按文档编号由小到大排序的项。Discussion：存在规模瓶颈，一个词的所有（文档，词频）项可能不足
li385805776·2013-11-16 20:00

data-intensive text processing with mapreduce-MapReduce Algorithm Design

MapReduceAlgorithmDesignin-mappercombiningMainidea：通过借用Map手动实现聚集，在Mapper中实现Combiner。Example：WordCountReason：1.Hadoop的Combiner机制不管key的分布，都会执行combine，如很多key都只有唯一的value与他对应，则Combiner就没有作用，而且在combine之前，还会
li385805776·2013-11-10 21:00

PageRank Algorithm in MapReduce

In chapter 5 of Data-Intensive Text Processing with MapReduce, it introduces how to implement PageRank
sunwinner·2013-07-14 12:00

Breadth-first Graph Search in MapReduce

In chapter 5 of the book "Data-Intensive Text Processing with MapReduce", it introduced how
sunwinner·2013-07-13 20:00

Data-Intensive Text Processing with MapReduce第三章（2）-MapReduce算法设计-3.1局部聚集

  3.1局部聚集（local aggregation）   在数据密集的分布式处理环境中，从产生它们的进程到最后消费它们的进程，中间结果的交互是同步中重要的一个方面。在一个集群环境中，除了令人尴尬的并行问题，其它都必须通过网络传输数据。此外，在Hadoop，中间结果是先写到本地磁盘然后再用网络发送出去。因为网络和磁盘因素相对其它因素更加容易成为评价，所以减少中间数据的传
Ring_測測·2013-03-23 17:00

mahout in action推荐系统阅读笔记（3）

第三章：数据表示推荐质量和数据的数量和质量关系很大，通常来说，数据越多越好，数据质量越高越好推荐算法的性能和可扩展性与数据的表示关系很大，因为推荐都是数据密集的（data-intensive）preferencedata
softwarehe·2013-03-07 11:00

Hadoop Combiner 操作

近期看了一本书：Data-intensive Text Processing with MapReduce，是讲如何设计MR程序的，看到一个例子是Combiner的设计模式，然后就动手实现了下。
thecloud·2012-09-22 16:00

Hadoop Combiner 操作

近期看了一本书：Data-intensive Text Processing with MapReduce，是讲如何设计MR程序的，看到一个例子是Combiner的设计模式，然后就动手实现了下。
thecloud·2012-09-22 16:00

Hadoop Combiner 操作

近期看了一本书：Data-intensive Text Processing with MapReduce，是讲如何设计MR程序的，看到一个例子是Combiner的设计模式，然后就动手实现了下。
thecloud·2012-09-22 16:00

Data-Intensive Text Processing with MapReduce第三章（6）-MapReduce算法设计-3.5相关连接（RELATIONAL JOINS）

3.5相关连接（RELATIONALJOINS） Hadoop的一个流行应用领域是数据仓库。在一个企业级的环境中，一个数据仓库作为大量数据的存储地点，存储着从销售交易到商品清单几乎所有的信息。一般来说这些数据都是相关的，但是随着数据的日益增长，数据仓库被用来像存储无结构数据那样存储半结构化的数据（例如，查询日志）。数据仓库组成了提供决策支持的商业智能应用程序的基础。普遍认为知识是通过对历史、现在的
Athenaer·2012-06-12 09:00

Data-Intensive Text Processing with MapReduce

大量高效的MapReduce程序因为它简单的编写方法而产生：除了准备输入数据之外，程序员只需要实现mapper和ruducer接口，或加上合并器（combiner）和分配器（partitioner）。所有其他方面的执行都透明地控制在由一个节点到上千个节点组成的，数据级别达到GB到PB级别的集群的执行框架中。然而，这就意味着程序员想在上面实现的算法必须表现为一些严格定义的组件，必须用特殊的方法把它们
lwm_1985·2012-01-11 12:00

Data-Intensive Text Processing with MapReduce第三章（7）-3.6总结

  这章提供一个设计MapReduce算法的指导。特别地，对于常见问题我们展示了很多设计模式来解决。总的来说，它们是： “In-mappercombining”（map内合并），combiner函数被移到了mapper里面，mapper通过多个输入记录聚集部分结果，然后只有在局部聚集达到一定量后再发送中间键值对，而不是发送每一个输入键值对的中间输出。 相关的模式“pairs”和“stripes”是
laigood12345·2011-07-23 10:00

Data-Intensive Text Processing with MapReduce第三章（6）-MapReduce算法设计-3.5相关连接（RELATIONAL JOINS）

 3.5相关连接（RELATIONALJOINS） Hadoop的一个流行应用领域是数据仓库。在一个企业级的环境中，一个数据仓库作为大量数据的存储地点，存储着从销售交易到商品清单几乎所有的信息。一般来说这些数据都是相关的，但是随着数据的日益增长，数据仓库被用来像存储无结构数据那样存储半结构化的数据（例如，查询日志）。数据仓库组成了提供决策支持的商业智能应用程序的基础。普遍认为知识是通过对历史、现在
laigood12345·2011-07-23 10:00

Data-Intensive Text Processing with MapReduce第三章（5）-MapReduce算法设计-3.4 二次排序

3.4二次排序MapReduce在清洗（shuffle）和排序（sort）阶段用键来为中间键值对排序，如果reducer中的计算依赖于排序顺序的话就非常简单（即之前章节说到的顺序反转模式）。然而，如果除了用键排序之外，我们也需要用值来排序呢？Google的MapReduce实现提供了内置的二次排序的机制，它可以保证值是以排序顺序到达的。Hadoop，不幸的是没有内置这种机制。(t1,m1,r805
laigood12345·2011-07-23 09:00

Data-Intensive Text Processing with MapReduce第三章（4）-MapReduce算法设计-3.3计算相对频率

 3.3计算相对频率 让我们在之前讲到的pairs和stripes算法的基础上继续在大型数据集上构建重现矩阵M。回忆在这个大的n×n矩阵中华，当n=|V|（词典大小），元素mij包含单词wi与wj在具体语境下共同出现的次数。无约束的计数的缺点是它没有考虑到实际上有些词会比其它词更加频繁地出现。单词wi可能比wj出现的次数多因为其中一个可能是常用词。一个简单的解决方法是把无约束的计数转变为相对频率，
laigood12345·2011-07-23 09:00

Data-Intensive Text Processing with MapReduce第三章（3）-MapReduce算法设计-3.2 PAIRS（对）和STRIPES（条纹）

3.2PAIRS（对）和STRIPES（条纹） 在MapReduce程序中同步的一个普遍做法是通过构建复杂的键和值这样一个途径来使数据自然地适应执行框架。我们在之前的章节中涉及到这个技术，即把部分总数和计数“打包”成一个复合值（例如pair），依次从mapper传到combiner再传到reducer。以之前的出版物为基础【54，94】，这节介绍两个常见的设计模式，我们称为pairs（对）和str
laigood12345·2011-07-23 08:00

Data-Intensive Text Processing with MapReduce第三章（2）-MapReduce算法设计-3.1局部聚集

 3.1局部聚集（localaggregation） 在数据密集的分布式处理环境中，从产生它们的进程到最后消费它们的进程，中间结果的交互是同步中重要的一个方面。在一个集群环境中，除了令人尴尬的并行问题，其它都必须通过网络传输数据。此外，在Hadoop，中间结果是先写到本地磁盘然后再用网络发送出去。因为网络和磁盘因素相对其它因素更加容易成为评价，所以减少中间数据的传输即提高了算法的效率。在MapRe
laigood12345·2011-07-22 22:00

Data-Intensive Text Processing with MapReduce第三章（1）-MapReduce算法设计-简介

        大量高效的MapReduce程序因为它简单的编写方法而产生：除了准备输入数据之外，程序员只需要实现mapper和ruducer接口，或加上合并器（combiner）和分配器（partitioner）。所有其他方面的执行都透明地控制在由一个节点到上千个节点组成的，数据级别达到GB到PB级别的集群的执行框架中。然而，这就意味着程序员想在上面实现的算法必须表现为一些严格定义的组件，必须用
laigood12345·2011-07-22 21:00

两本关于Hadoop的书

  另一本《Data-Intensive Text Processing with MapReduce》貌似还没有
run_xiao·2010-05-26 08:00

《Data-Intensive Text Processing with MapReduce》第4章-压缩

在用map-reduce进行倒排索引的建立的时候，进入文档的编号已经有序了，按照升序排序，这时候可以对文档编号进行压缩。例如，最开始的时候文档序列如下：通过“相邻差”的方式对文档id进行压缩，结果如下，第二个文档的文档号7保存成第一个文档与第二个文档的差值，2=7-5，同理，第3个文档12保存成与第二个文档的差值，5=12-7。。。。，采取这种方式，差值的最差情况是：最大文档号-最小文档号。   
fuyangchang·2010-05-23 08:00

Why Map/Reduce?

在06年雇佣Doug Cotting， 投入对Hadoop最大的关注，以期提高其计算能力对抗Google；再到CMU CS的系主任发表Tec h report提出DISC（Data-Intensive
zhangyafei_kimi·2008-12-07 10:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他