009、体系架构之HTAP

HTAP技术

传统的HTAP解决方案

HATP的要求

• 可扩展性
  • 分布式事务
  • 分布式存储
• 同时支持OLTP与OLAP
  • 同时支持行存和列存
  • OLTP与OLAP业务隔离
• 实时性
  • 行存与列存数据实时同步

TiDB的HTAP架构

数据存到TiKV的同是也会同步（也是使用raft算法，并且它不参与选举，只用于同步）到TiFlash，并且是它是列式。列式的意思就是数据块当中存的不是一行数据，而是一列的数据。

对于数据一致性要求的查询，会去到TiKV当中（行存）处理数据。例如银行转账
对于某列的数据大量更新，则会去到TiFLASH当总（列存）处理数据。

TiDB的HTAP特性

• 行列混合
  • 列存(TiFlash) 支持基于主键的实时更新
  • TiFlash作为列存副本
  • OLTP与OLAP业务隔离
• 智能选择（CBO自动或人工选择）
• MPP架构
• 强一致性，自动同步

MPP: 大规模平行并发处理。 它在TiFLASH中处理。

使用场景

HTAP—— TiDB 在线事务与在线分析处理 (Hybrid Transactional and Analytical Processing,HTAP) 功能。

TiDB HTAP 可以满⾜企业海量数据的增产需求、降低运维的⻛险成本、与现有的⼤数据栈⽆缝缝合，从⽽实现数据资产价值的实时变现。
以下是三种 HTAP 典型适⽤场景：

• 混合负载场景
  当将 TiDB 应⽤于在线实时分析处理的混合负载场景时，开发⼈员只需要提供⼀个⼊⼝，TiDB 将⾃动根据业务类型选择不同的处理引擎。
• 实时流处理场景
  当将 TiDB 应⽤于实时流处理场景时，TiDB 能保证源源不断流⼊系统的数据实时可查，同时可兼顾⾼并发数据服务与 BI 查询。
• 数据中枢场景
  当将 TiDB 应⽤于数据中枢场景时，TiDB 作为数据中枢可以⽆缝连接数据业务层和数据仓库层，满⾜不同业务的需求。
• 大数据量
  ⼤数据场景 (100 T) ，推荐使⽤ TiFlash MPP 作为 HTAP 的主要⽅案，TiSpark 作为补充⽅案。

MPP

• 大量数据的join聚合查询
• 所有MPP计算都在TiFlash节点内存中完成
• 目前只支持等值连接
• Enforce_mpp 帮助验证是否可以使用MPP
  
  实现了聚合和连接的一个加速。MPP只在TiFlash上完成。

SQL过来，TiDB Server作为协调者，Tidb 会将每个TiFLASH 上面的列存做交换，交换后让表连接需要的数据只在一个TiFLASH上。（不会跨TiFlash做表连接）
另外TiFlash也会走计算下推到它，例如过滤，交换，连接，聚合等等。
每个TiFlash 在这里还有个专用名称(MPP WORKER)

先做过滤

然后数据交换

让pid相等（符合条件）的数据 都到一个节点上来。 这样在连接的时候，就只需要在本节点连接即可。
pid:hash(pid) = 0,1,2 : 假设分片的时候是按照hash或者求模的方式操作。 数据交换也可以根据对应的规则进行交换。

然后做连接的时候，只发生在本节点，不需要到其他节点查找数据，这样就可以并行执行了。

那如何对聚合做提速？
group by order.state 提速

state = cn 80个 的全放到一个TiFlash USA 15个 放到一个节点 Jp 77个都放到一个节点，

这个计算就下推到每个TiFLASH上。