Data-intensive

Data-Intensive Text Processing with MapReduce

大量高效的MapReduce程序因为它简单的编写方法而产生：除了准备输入数据之外，程序员只需要实现mapper和ruducer接口，或加上合并器（combiner）和分配器（partitioner）。所有其他方面的执行都透明地控制在由一个节点到上千个节点组成的，数据级别达到GB到PB级别的集群的执行框架中。然而，这就意味着程序员想在上面实现的算法必须表现为一些严格定义的组件，必须用特殊的方法把它们
西二旗小码农·2024-09-01 09:56

Designing Data-Intensive Application《数据密集型应用系统设计》笔记

DesigningData-IntensiveApplication中译《设计数据密集型应用》又名《数据密集型应用系统设计》，我看的是冯若航在gitbook开源的翻译版本，地址是https://vonng.gitbooks.io/ddia-cn/content/。以下为读书笔记。第一部分第三章开始阅读英文原版。参考文献可见https://github.com/ept/ddia-references
我想唱歌给你听·2024-02-20 03:31

Designing Data-Intensive Applications

相对于读书笔记，本文更像是一篇阅读大纲，在初步阅读本书后，尚有许多疑难，借用此大纲，以后温故而知新DDIA讲了什么什么是data-intensive原文这样定义Data-intensiveapplicationsarepushingtheboundariesofwhatispossiblebymakinguseofthesetechnologicaldevelopments.Wecallanapp
bangshijian6100·2024-02-01 22:24

《Designing Data-Intensive Applications》学习笔记 Chapter5

分布式的数据为了更高的负载，更高的可用性，更低的延迟，分布式的架构被利用起来，scaleout，扩展能力是一个系统必须考虑的因素数据的分布，常常会有2中途径，复制和分片复制复制主要是提供冗余，高可用。但某些情况下，也可以用于提升性能分片partitioning或者shading，将一份完整数据拆分为多个分片Chapter5复制单独考虑复制的前提是每一个节点可以包含所有的数据，而不需要分片。复制的难
lionel880·2024-01-14 12:50

编码与模式------《Designing Data-Intensive Applications》读书笔记5

进入到第四章了，本篇主要聊的点是编码（也就是序列化）与代码升级的一些场景，来梳理存储之中涉及到的编解码的流程。目前主流的编解码便是来自Apache的Avro，来自Facebook的Thrift与Google的Protocolbuf，在本篇之中，我们也会一一梳理各种编码的优点与痛点。1.非二进制的编码格式程序通常以至少两种不同的表示方式处理数据：1、在内存中，数据是保存在对象、结构、列表、数组、哈希
LeeHappen·2024-01-08 06:09

《Designing Data-Intensive Applications》学习笔记 Chapter6

sharding是数据系统中最常见的措施，在分布式，去中心化的今天，业务数据不断增长，单机必然无法容纳所有的数据，因此，分片是必然的选择。本质上，每一个分片其实都是一个数据库的数据，尽管很多数据库支持的搜索，屏蔽了底层多个分片结合的处理image.png这是典型的分片和副本同时使用数据存储1.1分片策略partitionbykeyrange优点：方便操作，范围查找比较容易缺点：可能会不太平均，造成
lionel880·2023-12-04 05:23

《Data-Intensive Text Processing with mapReduce》读书笔记之二：mapreduce编程、框架及运行...

搜狐视频的屌丝男士第二季大结局了，惊现波多野老师，怀揣着无比鸡冻的心情啊，可惜随着剧情的推进发展，并没有出现期待中的屌丝奇遇，大鹏还是没敢冲破尺度的界线。想百度些种子吧，又不想让电脑留下污点证据，要知道大洋彼岸有个棱镜计划，只好作罢。不如看看书吧，书中自有颜如玉。开始本次读书笔记前，先扯两个哲学观点，提高下境界。第一个就是《Data-IntensiveTextProcessingwithmapRe
weixin_30624825·2023-11-17 09:51

第四章数据编码和更新-part2,designing Data-Intensive Applications 中文翻译摘要

AvroAvro是2009年发起的一个hadoop的子项目，他也是一种二进制的编码方式，但是和Thrift和ProtocolBuffer不尽相同,它诞生之初就是因为Thrift在Hadoop编解码是不是很好用。他同样是用schema的形式定义编解码的数据结构，他有两种描述语言(IDL)，一种给人看的，另外一种是机器更好生成和解析。还是之前的经典，如果是Avro的IDL就长这样人类版recordPe
cheng_e819·2023-11-04 15:39

Designing Data-Intensive Applications

所谓数据密集型（data-intensive）应用，是相对于计算密集型（compute-intensive）而言的，翻译自wikipedia的解释：“数据密集型计算是一种并行计算应用程
yaksea·2023-10-22 01:32

Design Data-Intensive Applications 读书笔记七 索引结构：LSM和B-tree对比

对比B-tree和LSM-tree即便B-tree比LSM-tree成熟，LSM-tree也有吸引力，因为它的性能。LSM-tree写入很快，B-tree读取很快。LSM-tree读取慢，因为它不得不在压缩的各个阶段检查多个不同的数据结构和SSTable。但是测定负载通常是不准确的，易受干扰的。你不得不使用自定的负载来测试系统，做出有效的比较。这节我们简要的讨论测量存储引擎性能时要考虑的一些事情。
白马居士·2023-10-10 14:02

第四章数据编码和更新-part1,esigning Data-Intensive Applications 中文翻译摘要

综述我们的应用往往不可避免的需要进行更新，添加新的功能。在第一章讲过了应用具有可进化性，也就是说我们的应用应该在设计之初就拥抱变化。大多数情况下，一旦功能发生变化，底层的数据可能也要跟着变化。会加新的字段，或者已有数据展示方式有变化。第二章在数据模型时讲过不同的模型在应对数据变化时有不同的解决方法。关系数据库总的来说假设所有数据是一种结构，虽然数据结构可以修改，譬如altertable，但是他在一
cheng_e819·2023-10-09 15:33

第四章数据编码和更新-part4,designing Data-Intensive Applications 中文翻译摘要

消息队列数据流这部分会简要介绍一种异步消息传递系统，在某种意义上讲是在数据库和RPC的折中方案。他与RPC相似点在于都是一个客户端用一个很短的延迟将请求传递给另一个进程。他与数据库相似点在于他并不是通过网络直接将数据发送给对方进程，而是通过一个消息传递代理,messagebroker，broker可以临时储存消息。跟RPC相比，消息队列有几个明显的好处当接收方临时不可用时，broker可以充当缓存
cheng_e819·2023-10-07 05:32

《Designing Data-Intensive Application》02数据模型与查询语言

《DesigningData-IntensiveApplication》关系模型与文件模型NoSQL的诞生对象关系不匹配多对一和多对多的关系文档数据库是否在重蹈覆辙网络模型关系模型与文档数据库相比关系型数据库与文档数据库在今日的对比哪个数据模型更方便写代码？文档模型中的架构灵活性查询的数据局部性数据查询语言Web上的声明式查询MapReduce查询图数据模型属性图Cypher查询语言SQL中的图查
更新失败·2023-10-04 14:06

流处理与消息队列------《Designing Data-Intensive Applications》读书笔记16

上一篇聊了聊批处理的缺点，对于无界数据来说，流处理会是更好的选择，“流”指的是随着时间的推移逐步增加的数据。消息队列可以将这些流组织起来，快速的在应用程序中给予反馈。但是消息队列与传统的数据库之间又存在着“剪不断，理还乱”的“纠葛”，最后我们将探讨通过消息队列之中与时序有关的一些问题。文件是批处理作业的输入和输出，而在流处理之中，作业的输入输出等价物是什么呢？在流处理之中，当输入是文件时，第一个处
LeeHappen·2023-09-19 00:00

带读 |《Designing Data-Intensive Applications》(中文：数据密集型系统设计)

我在实习和工作的过程中发现技术方案的设计这一环节是后端开发散发魅力并且深深吸引我的地方，好的技术方案/架构设计可以让整个系统开发的开发者开发更轻松后续的维护以及拓展更容易遇到高并发、各种软硬件失效人为错误带来的挑战时更可靠，总而言之，这让我觉得像是在设计自己世界乐高，我对此很有兴趣，于是找到这本书。数据系统基础这里先给出了一个全文检索服务器的例子（之前《GoInAction》也拿搜索例子做为开篇，
·2023-04-19 11:10

第五章备份-part1,designing Data-Intensive Applications 中文翻译摘要

备份意味着把你的数据的多个副本放置在不同的机器上，这些机器通过网络连接。如第二章综述所讲，备份的好处有以下几点允许你的数据离你的用户在地理位置上更近，从而减小延迟允许你的系统在单个节点挂掉之后依旧能够工作通过提高机器的数量从而提高读的吞吐量。这章我们先假设一台机器能够放下所有的数据，在第6章，我们在把这个假设放宽，通过分区技术解决当单机没办法放下所有数据时候的问题。这章后面讨论备份系统可能出现的问
cheng_e819·2023-03-31 09:31

第五章备份-part3,designing Data-Intensive Applications 中文翻译摘要

多Leader备份(Multi-LeaderReplication)这章当目前位置我们都在讨论单Leader的备份架构，这个方案用的很普遍，但也有些问题。因为只有一个Leader，所有写请求都要通过通过这个Leader，一旦客户端和Leader连接断了，就不能写了。一个最自然的解决方法是多个节点都可以接受写请求，备份方式是一样的，每个节点处理一个写请求后把更新发送给其他节点。我们管他叫多Leade
cheng_e819·2023-03-14 17:11

带读 |《Designing Data-Intensive Applications》(中文：数据密集型系统设计)

我在实习和工作的过程中发现技术方案的设计这一环节是后端开发散发魅力并且深深吸引我的地方，好的技术方案/架构设计可以让整个系统开发的开发者开发更轻松后续的维护以及拓展更容易遇到高并发、各种软硬件失效人为错误带来的挑战时更可靠，总而言之，这让我觉得像是在设计自己世界乐高，我对此很有兴趣，于是找到这本书。数据系统基础这里先给出了一个全文检索服务器的例子（之前《GoInAction》也拿搜索例子做为开篇，
·2023-02-03 22:15

带读 |《Designing Data-Intensive Applications》(中文：数据密集型系统设计)

我在实习和工作的过程中发现技术方案的设计这一环节是后端开发散发魅力并且深深吸引我的地方，好的技术方案/架构设计可以让整个系统开发的开发者开发更轻松后续的维护以及拓展更容易遇到高并发、各种软硬件失效人为错误带来的挑战时更可靠，总而言之，这让我觉得像是在设计自己世界乐高，我对此很有兴趣，于是找到了这本书。数据系统基础这里先给出了一个全文检索服务器的例子（之前《GoInAction》也拿搜索例子做为开篇
·2023-01-16 23:13

《Designing Data-Intensive Application》03存储与检索

《DesigningData-IntensiveApplication》驱动数据库的数据结构哈希索引SSTables和LSM树构建和维护SSTables用SSTables制作LSM树性能优化B树让B树更可靠B树优化比较B树和LSM树LSM树的优点LSM树的缺点其他索引结构将值存储在索引中多列索引全文索引和模糊索引在内存中存储一切事务处理还是分析？数据仓库OLTP数据库和数据仓库之间的分歧星型和雪花
更新失败·2022-12-24 13:44

[NSDI 2021]MilliSort and MilliQuery Large-Scale Data-Intensive Computing in Milliseconds

MilliSortandMilliQuery:Large-ScaleData-IntensiveComputinginMilliseconds动机希望讨论在拥有无限多，但随时会被回收的资源条件下一毫秒最多能执行多少任务。文章定义了MilliSort和MilliQuery作为benchmarks，来判断算法的优劣。背景现在，大数据集上的应用基本都是秒级或者分钟级内实现的。这是因为分配和协调服务器集群
yujianke100·2022-11-26 04:58

《Designing Data-Intensive Applications》第6章 读书笔记：分片分区

1.前言对于非常庞大的数据量，经常需要分片分区在分片分区的模式下：每一个数据（一行记录）只属于一个分区，每个分区是整个数据库的一部分。分区为了更好的伸缩性。本章就讨论索引是如何利用分区的。在讨论数据的平衡等问题。2.分区和备份的关系两者经常都是结合起来的，这样每个分区的数据都存有备份，存储在其他的节点上。一个节点能可以存储多个分区，在单leader模型中，每个节点可以成为某个分区的leader，也
赤子心_d709·2022-02-05 18:55

设计数据密集型应用-Data-Intensive Application_王 炸的博客-CSDN博客

不懂数据库的全栈工程师不是好架构师——Vonng周六停更SpringBoot从入门到实践系列教程读一本好书《设计数据密集型应用》-DesigningData-IntensiveApplication简称：DDIA在正确的时候读一本合适的书是一种幸运~作者：MartinKleppmann原书名称：《DesigningData-IntensiveApplication》译者：冯若航Gitbook地址：
·2021-08-17 22:00

流式计算与计算抽象化------《Designing Data-Intensive Applications》读书笔记15

上篇的内容，我们探讨了分布式计算中的MapReduce与批处理。所以本篇我们将继续探索分布式计算优化的相关细节，并且分析MapReduce与批处理的局限性，看看流式计算是否能给我们在分布式计算层面提供一个更好的解决方案。1.MapReduce的局限MapReduce作业是独立于其他作业，输入与输出目录通过分布式存储系统串联。MapReduce作业的存在相互的依赖关系，前后相互依赖的作业需要将后面作
LeeHappen·2021-05-20 22:08

Designing Data-Intensive Applications 中文翻译摘要,第三章存储和查询-part2

B树和LSM树的对比整体来说,B树的实现比LSM更成熟,LSM在写上明显更快,但是B树在读上会比LSM快很多,因为LSM树需要去确认多个SSTable是否包含某个key。但是评测结果往往因为负载不同特点而差异很大。还是需要根据自己的应用来测试得到不同存储引擎的具体性能,这章简单对比一下2个数据结构的优势和劣势。LSM树的优势从底层算法层来说,B树索引每次写都要至少写两次磁盘,一次写WAL,一次写索
cheng_e819·2021-05-02 16:16

【分布式—基础】可靠、可扩展与可维护的应用系统

当今许多新型应用都属于数据密集型（data-intensive)，而不是计算密集型(compute-intensive)。
·2021-02-18 23:34

Designing Data-Intensive Applications（设计数据密集应用）- O'Reilly 2017 读书笔记

DesigningData-IntensiveApplicationsTheBigIdeasBehindReliable,Scalable,andMaintainableSystems目录1可靠性、可伸展性、可维护性2数据模型与查询语言3存储与检索4编码与演进5复制6分区7事务8分布式系统的麻烦9一致性与选举10批处理11流处理12数据系统的未来可靠性、可伸展性、可维护性数据模型与查询语言sche
志_祥·2020-09-14 06:03

线性一致性与全序广播------《Designing Data-Intensive Applications》读书笔记12

上一篇聊了聊构建分布式系统所面临的困难，这篇将着重讨论构建容错分布式系统的算法与协议。构建容错系统的最佳方法是使用通用抽象，允许应用程序忽略分布式系统中的一些问题。本篇我们先聊一聊线性一致性，以及与线性一致性有关的技术，后续需要了解的分布式协调服务，如：ZooKeeper等，都是基于分布式系统的线性一致性。1.更强的一致性大多数分布式数据库至少提供了最终一致性，这意味着如果停止对数据库的写操作并等
LeeHappen·2020-08-26 15:12

分布式系统的一致性算法------《Designing Data-Intensive Applications》读书笔记13

一致性算法是分布式系统中最重要的问题之一。表面上看，这似乎很简单，只是让几个节点在某些方面达成一致。在本篇之中，会带大家完整的梳理分布式系统之中的共识算法，来更加深刻的理解分布式系统的设计。1.原子提交和两阶段提交（2PC）原子提交防止了数据库处于半更新的状态，这对于需要满足多对象事务和维护次级索引的数据库尤为重要。每个次级索引都是从主数据中分离出来的数据结构，因此，如果修改某些数据，也需要在次级
LeeHappen·2020-08-25 00:03

事务与隔离级别------《Designing Data-Intensive Applications》读书笔记10

和数据库打交道的程序员绕不开的话题就是：事务，作为一个简化访问数据库的应用程序的编程模型。通过使用事务，应用程序可以忽略某些潜在的错误场景和并发问题，由数据库负责处理它们。而并非每个应用程序都需要事务，有时削弱事务性担保或完全放弃事务，可以获得更高的性能或更高的可用性。怎么样更好的理解数据库中的事务与隔离级别呢？我们借这篇文章来聊一聊吧~1.ACID1983年，AndreasReuterandTh
LeeHappen·2020-08-22 13:31

[DDIA]Chap1可靠、可扩展且易维护系统

当前很多应用都是data-intensive型，而非compute-intensive。
牛奶路·2020-08-19 20:50

【集体智慧编程】第三章、发现群组

聚类时常被用于数据量很大（data-intensive）的应用中。跟踪消费者购买行为的零售商们，除了利用常规的消费者统计消息外，还可以利用这些信
小拳头·2020-07-12 16:06

《Designing Data-Intensive Applications》第8章 读书笔记(1)：分布式系统的问题

1.说明前面讲的分布是遇到的一些故障，实际还是太乐观了，分布式系统的的真实场景，问题要严重得多。这一章，从最消极的角度，讲解分布式系统实际上会遇到的多个问题。2.fault以及partialfailures在单机环境中，一个优秀的软件，要么完全正常工作，要么完全broken，不会出现中间某种状态。这种是确定性的(deterministic)而在分布式环境下，情况就不一样了。各个机器由网络互相连接，
赤子心_d709·2020-07-12 16:04

Designing Data-Intensive Applications

寻找翻译本书后续章节合作者微信：18600166191-----------------------------------DesigningData-IntensiveApplicationsTheBigIdeasBehindReliable,Scalable,andMaintainableSystems数据密集应用系统设计高可用，易扩展，好运维系统背后的思想BeijingBostonFarnh
wuhuaiyu·2020-07-06 07:50

Designing Data-Intensive Applications 中文翻译摘要,第二章-part3

图数据模型总述在前面发现,不同的数据模型中在处理多对多的关系时,处理方式和性能有着很大的不同。如果你的应用有大量的一对多的关系,并且记录之间没什么关系，那文档关系库就很适合你了。但如果多对多的关系在你的应用中随处可见时,应该怎么办？关系数据库可以处理简单的关系,但是当你发现你的数据之间的联系越来越多，越来越复杂的时候，你该考虑把你的数据用图的方式建模了。图的定义很简单,由两部分组成，节点和边，典型
cheng_e819·2020-07-05 22:22

《Designing Data-Intensive Applications》第7章 读书笔记(1)：事务的基础介绍

1.说明事务，是一个把若干读写放入同一个逻辑单元的方式。概念上，事务的读写要么全成功（commit），要么全失败（abort，rollback）。即使失败，程序也能安全的重试。有了事务，处理错误会变得很简单，因为不用担心部分错误的问题。有了事务，db也会有安全保障，应用程序可以忽视特定的错误场景以及并发的问题。实际上，不是所有应用都需要事务，那么怎么知道自己需不需要事务，这就要理解事务能够提供的安
赤子心_d709·2020-07-04 00:02

《Nodejs开发指南》

Node.js是一个让javascript可以运行在服务器端的平台，是一个为数据密集型（data-intensive），实时Web（Real-timeWeb）应用开发而诞生的平台，它让java-script
quoniammm·2020-07-02 02:56

Data-Intensive Systems:Real-time Stream Processing

SparkStreamingSparkStreamingisaninterestingextensiontoSparkthataddssupportforcontinuousstreamprocessingtoSpark.SparkStreamingisinactivedevelopmentatUCBerkeley'samplabalongsidetherestoftheSparkproject.
macyang·2020-06-24 13:44

第二部分5-9章综述,designing Data-Intensive Applications 中文翻译摘要

之前的第一部分我们都在讲的是单机的数据系统。第二部分我们上一个台阶，当有多台机器的时候，我们需要如何进行数据的存储和查询？为什么我们需要一个多机分布式的数据库呢？原因如下扩展性，如果你的数据量，读写量已经超过了单机负载的极限，你可以通过多机部署的方法提高负载容错性/高可用性,如果你的服务要求即使单机挂了，也能正常服务，那你就需要多机了，即使一台挂了，其他机器依旧能够提供服务减小延迟,如果你的用户遍
cheng_e819·2020-06-22 11:09

网络爬虫，使用NodeJs抓取RSS新闻

ChromeJavaScript运行时建立的一个平台，用来方便地搭建快速的，易于扩展的网络应用·Node.js借助事件驱动，非阻塞I/O模型变得轻量和高效，非常适合runacrossdistributeddevices的data-intensive
狂飙-蜗牛·2020-06-22 11:02

Designing Data-Intensive Applications翻译

一.可用性,可扩展性,可维护性应用程序现在的应用程序已经从计算密集型转变为数据密集型.CPU的算力已经很少是这些应用程序的限制条件,更多的是所需处理的数据的数量,复杂度以及数据变化的速度.…考虑一下数据系统(DataSystem)通常我们认为数据库,队列,缓存,等等是一些不同类别范围的概念,尽管可能数据库和消息队列看起来很多相似的地方--例如它们都用于某时存储一些数据--但是它们具有不同的访问模式
吾皇斯巴达·2020-06-22 05:23

浅谈大数据原理 (Designing Data-Intensive Applications 书评)

大数据生态的系统和技术层出不穷，我想简单罗列几个都有一种不知从何列起的感觉。最开始我们可能会先去看看hadoop，了解一套成熟的分布式数据存储和计算框架，了解数据怎么分割、怎么分布、怎么容错，任务失败了怎么恢复。我们会知道hadoop的不足之处，为了支持CRUD，我们会去看看cassandra、habase、kudu如何存取、更新数据；为了提高计算效率，我们会去了解tez、spark如何基于DAG
群演_·2020-06-21 08:49

Designing Data-Intensive Applications 中文翻译摘要,第三章存储和查询-part1

总述总的来说，数据库只需要做两件事情,当你给他数据的时候，他要把数据存起来,当你随后找他要的时候，它还能正确的把数据吐给你第二章我们讨论了数据模型和查询语言,讲述了你向数据库提供是数据的格式以及如何去查询他，这章我们站在数据库的角度上来探讨这个问题.你如何来存储交给你的数据以及当别人需要查询的时候又怎么能找到对应的数据。第二章讲了,说明性语言的好处就是我只需要告诉他我要干什么,底层怎么搞我是不用关
cheng_e819·2020-04-14 15:41

分布式系统的烦恼------《Designing Data-Intensive Applications》读书笔记11

使用分布式系统与在单机系统中处理问题有很大的区别，分布式系统带来了更大的处理能力和存储容量之后，也带来了很多新的"烦恼"。在这一篇之中，我们将看看分布式系统带给我们新的挑战。1.故障当我们在使用单机系统时，它通常以一种相当可预测的方式工作：要么它正常工作，要么不工作。而当我们在使用分布式系统时，情况就不同了。在分布式系统中，系统的某些部分可能以某种不可预知的方式被破坏，即使系统的其他部分工作正常。
LeeHappen·2020-04-07 02:16

第三章存储和查询-part3,Designing Data-Intensive Applications 中文翻译摘要

事务型处理与统计分析的区别早期的数据库是服务于商业社会的，每次数据库读写就意味着某种交易。随着数据库的应用逐渐从商业领域扩展到无所不在，过去一系列操作必须在一个逻辑单元完成的事务，目前也不那么在意了。过去数据库操作主要是事务型的，也就是我们根据一些key，用索引去数据库里面找到一小部分数据。数据基于用户的操作进行新增和更新。操作数据库的系统往往都是交互式的，也叫在线事务处理。(onlinetran
cheng_e819·2020-04-07 00:11

《Designing Data-Intensive Applications》第2章 读书笔记：数据模型以及查询语言

1.前言数据模型是软件开发的重要一环，影响我们对问题的思考等如今有很多不同的数据模型，每个都对处理的数据有一定的假设。有些数据模型简单易用有些不是。有些操作迅速有些不是。本章讲解一些数据查询以及存储的模型2.数据模型2.1关系数据模型如sql，涉及表，列之类的，不展开了，比较常见2.2NoSql即notonlysql，有如下优点拓展性强，能存储大量数据或者实现高吞吐开源免费支持一些关系模型不太支持
赤子心_d709·2020-04-06 06:30

《Designing Data-Intensive Applications》第5章 读书笔记(1)：备份之单leader模型

1.前言备份，意思就是多台机器通过网络传输保存同一份数据，为什么需要备份呢保证数据地理上离用户近，减少延迟提高可用性，即使部分系统挂了，系统还是能够持续工作能够水平拓展吞吐量（scaleout）如果数据没有改动，备份就简单了。但是困难就在于应对数据的变动本章就讲解如何对变动的数据进行备份根据节点的不同，主要有三种算法：单leader，多leader，无leader由于篇幅原因，本篇只讲单leade
赤子心_d709·2020-04-01 01:24

Designing Data-Intensive Applications

data.jpg好久没读过一本完整的书了，趁着出差的几周通读了一下。读的是英文版，还是有点难度的，只读懂了一点点，不过还是有些收获的。感觉偏学术了一些，像数据库，大数据这些如果没有实践经验的话，泛泛的看的话效果不是很好。之前并不看好大数据HadoopSparkFlink什么的，感觉不都是掉包狭吗，谁都会用。但其实这里还是有很多朴素的思想在里面的，我们更应该关心这些框架的架构思想，思想第一，实现原理
lesliefang·2020-03-26 15:50

第三章存储和查询-part4,Designing Data-Intensive Applications 中文翻译摘要

面向列的存储如果你的数据仓库有超过PB级的数据以及有超过几千亿行记录，那如何高效的存储和查询对你来说就是一个技术活了。属性表相对来说就要小很多了，往往也就是百万级。所以我们主要把精力集中在如何处理事实表上。尽管事实表往往有超过100列，但是一般来说一次查询也就是其中的4、5列，像SELECT*这种查询分析员一般很少用。举个例子，假设我想知道2013年水果和糖每周都卖出去多少个。那SQL就应该像下面
cheng_e819·2020-03-22 10:42

《Designing Data-Intensive Applications》第3章 读书笔记：存储和获取

1.前言上一章讲了提供给数据库的格式，以及取出来的机制这一章讲解如何存储数据，如何获取到需要的数据首先看看两大存储引擎家族：log-structed存储引擎和page-oriented存储引擎如b树2.数据库的数据结构2.1简单demo引入键值对数据库文章写了一个很简单的数据库数据库demo实现了一个键值对的存储存储上：key，value用逗号分开（不考虑转义等），key，value都可以是任意的
赤子心_d709·2020-03-21 16:48
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他