当前位置: 智能网 > 人工智能 > 腾讯2021sigmod论文Spitfire分析

腾讯2021sigmod论文Spitfire分析

放大字体 缩小字体 发布日期:2021-03-05 12:02:30   浏览次数:80
核心提示:2021年03月05日关于腾讯2021sigmod论文Spitfire分析的最新消息:Spitfire:易失和非易失性内存的三层buffer管理Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Vo


Spitfire:易失和非易失性内存的三层buffer管理

Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory

机制

1、cache line page

将page分割成cache line大小,一个cache line为64字节。由于PM可以字节寻址,所以可以以cache line的粒度进行读写page。页头结构中有标记哪个cache line为脏的位图表,1表示脏。并且有resident字段位图标记哪个cache line加载到了内存,若无加载,这部分在内存中不占空间,节省内存。

2、HYMEM

《managing nvm in database system》分三层架构DRAM-NVM-SSD。

1)SSD上数据页大小16kb,当事务请求时加载到DRAM

2)使用时钟算法替换DRAM中的数据页,PM中使用同样算法

3)判断什么条件下降DRAM中数据页持久化到PM?

4)采用一个准入PM的队列来协助是否将数据页持久化到PM。

5)默认的读路径:SSD->NVM->DRAM->CPU

6)默认的写路径:CPU->DRAM->NVM->SSD

7)读时首先看是否在DRAM,不在时看是否在NVM,都不在则需要将SSD上全页直接加载到DRAM

8)DRAM替换数据页时,首先看他在没在准入队列,若在则将其从队列删除,并持久化到PM;否则将其标记到准入队列,将该页直接持久化到SSD

9)优点:减少了PM写,以及不同层级之间数据的移动

  缺点:非并发操作,没有在真实的PM环境上测试。

3、spitfire

使用概率的方法控制不同层级之间数据的迁移,实现冷热数据分离。确保DRAM中是热数据,NVM中是温数据,SSD中是冷数据。

1)Dr:读时,将NVM移动到DRAM中的概率。比如0.01表示每读取100次,才将NVM中数据页迁移到DRAM

2)Dw:写时需要辅助DRAM的概率

3)Nr:读操作时,将SSD迁移到NVM的概率

4)Nw:写的过程中,buffer管理器将DRAM迁移到NVM的概率

5)数据迁移这些概率依赖于工作负载,自适应调整。

6)通过对每层加一个latch,迁移时用到哪层,就对哪层加锁,实现并发

 

[ 智能网搜索 ]  [ 打印本文 ]  [ 违规举报

猜你喜欢

 
推荐图文
ITECH直流电源在人工智能领域的应用 基于朴素贝叶斯自动过滤垃圾广告
2020年是人工智能相关业务发展的重要一年 我国人工智能市场规模、行业短板、发展前景一览
推荐智能网
点击排行

 
 
新能源网 | 锂电网 | 智能网 | 环保设备网 | 联系方式