cmu 445 poject 2笔记
2022年的任务 https://15445.courses.cs.cmu.edu/fall2022/project2/
checkpoint 1，实现b+树，读，写，删
checkpoint 2, 实现b+树，迭代器，并发读写删
本文不写代码，只记录遇到的一些思维盲点
checkpoint 1
先理解B+树的几个操作，以及先看一份别的代码，最后再在bushub的代码框架下实现逻辑。
可以参考的一份B+树的代码，带注释。毕竟不看代码，光看图还是有些迷糊的。
// Deletion operation on a B+ Tree in C++
#include 读
比较简单，就是自上而下的查找树，可以做的一个优化，就是节点内的元素是顺序的，可以用二分进行优化下。
写
- 自上而下找到叶子节点
- 如果叶子节点还有空间，即元素个数小于MaxSize，就插入，直接返回成功
- 如果叶子节点满了，此时需要将节点拆分成两个节点，新节点是右兄弟节点，然后再将新的节点的最小key值插入到父节点里
- 需要注意的是，这里拆分时，需要申请一个临时的数组（可容纳MaxSize+1个元素），然后将当前所有元素拷贝出去，进行正常插入后，最后切分
- 我在这踩过坑，直接复用了当前节点的array_，当MaxSize设置为最大值256时，出现数组越界问题。其实报错不是越界，而是修改数据时，发现有别的数组的数据被改乱了。原因就是我在拆分时，越界访问了不属于本节点的page。
- 然后递归处理一直到根节点
删除
比较复杂。可以参考链接3的说明和实现，主要是两类操作：合并和重新分布。
- 自上而下找到叶子节点
- 如果叶子节点还有很多元素，即元素个数大于MinSize，就删除，直接返回成功
- 如果叶子节点小于等于MinSize，此时需要看看该节点兄弟给不给力了
- 如果比较给力，有很多元素，即兄弟节点元素个数 + 本节点元素个数 > MaxSize()
- 重新分布，从兄弟节点挪一个元素过来就行，因为删除只会删一个，因此本节点最少有MinSize -1个元素，只用挪一个就够活
- 如果不给力，即兄弟节点元素个数 + 本节点元素个数 < MaxSize()
- 合并，删除右边节点，即如果本节点在最左边，那就删除右兄弟节点，其他情况，就是删除本节点， 然后更新父节点的指针，并且需要递归往上
- 还需要删除父节点中本节点或者兄弟节点的指针，并递归处理父节点
- 如果父节点是根节点，并且只剩一个指针了，那需要删掉父节点，将父节点指针指向的节点设置为根节点
- 如果比较给力，有很多元素，即兄弟节点元素个数 + 本节点元素个数 > MaxSize()
checkpoint 2
迭代器
比较简单，找到最左侧节点，然后顺着指针往后遍历即可
并发
- 自上而下的获取锁，当本节点是安全的时候，就可以释放上一层的锁，参考下面链接2的介绍
- 安全的判断
- 对于写入，就是再写一个，也不会分裂
- 对于删除，就是删一个，也不会小于MinSize
- 安全的判断
其他的注意事项：
- MaxSize是指定的
- MinSize需要计算
- (对应节点类型的MaxSize + 1) / 2
- root节点的minSize恒为2
- 可以使用自带的Draw函数来将B+数转换为graphivz文件，然后用下面的链接1查看B+树的样子
- 提供两个并发自测case考虑
- leaf max size和 internal max size都为254时，多插入一些数据看看是否有问题
- 还有一个case，叶子节点最大3个元素，中间节点最大5个元素，插入一些数据，1-10000，然后只删1,3,5,7,9等奇数，让它产生连续的合并和重新分布，看看是否有什么问题。
- 再提供一个debug的思路
- 加锁解锁都打日志，然后加上线程id，项目提供的log_info不带thread id，可以自己修改下加上
- 实现锁的跟踪，弄一个全局map，记录线程和加锁的page id, 然后在所有加锁解锁的地方加上记录，当发现二次加锁，或者某次操作完成，检查这个map，发现有为解锁的，说明有问题
最后，重点参考下面链接2，来实现代码
参考：
- https://dreampuf.github.io/GraphvizOnline/# 可视化graphviz的网址
- https://www.cnblogs.com/JayL-zxl/p/14324297.html
- https://oi-wiki.org/ds/bplus-tree/#%E6%9F%A5%E6%89%BE
附录
提供下自测的场景代码供参考：
TEST(BPlusTreeConcurrentTest, SequentialMixTest) {
// create KeyComparator and index schema
auto key_schema = ParseCreateStatement("a bigint");
GenericComparator<8> comparator(key_schema.get());
auto *disk_manager = new DiskManager("test.db");
BufferPoolManager *bpm = new BufferPoolManagerInstance(50, disk_manager);
// create b+ tree
BPlusTree, RID, GenericComparator<8>> tree("foo_pk", bpm, comparator, 3, 5);
// GenericKey<8> index_key;
// create and fetch header_page
page_id_t page_id;
auto header_page = bpm->NewPage(&page_id);
(void)header_page;
// first, populate index
std::vector keys = {2, 1, 4, 3, 6, 5, 8, 7, 10, 9};
int64_t scale_factor = 1000;
for (int64_t key = 1; key < scale_factor; key++) {
for (int i = 0; i < 10; i++) {
keys.push_back(key * 10 + keys[i]);
}
}
InsertHelper((&tree), keys);
std::vector remove_keys;
for (int i = 1; i < 10000; i += 2) {
remove_keys.push_back(i);
}
DeleteHelper(&tree, remove_keys);
std::string out = "a.dot";
std::cout << out << std::endl;
tree.Draw(bpm, out);
bpm->UnpinPage(HEADER_PAGE_ID, true);
delete disk_manager;
delete bpm;
remove("test.db");
remove("test.log");
}
TEST(BPlusTreeConcurrentTest, MixTest) {
// create KeyComparator and index schema
auto key_schema = ParseCreateStatement("a bigint");
GenericComparator<8> comparator(key_schema.get());
auto *disk_manager = new DiskManager("test.db");
BufferPoolManager *bpm = new BufferPoolManagerInstance(50, disk_manager);
// create b+ tree
BPlusTree, RID, GenericComparator<8>> tree("foo_pk", bpm, comparator, 254, 254);
GenericKey<8> index_key;
// create and fetch header_page
page_id_t page_id;
auto header_page = bpm->NewPage(&page_id);
(void)header_page;
// first, populate index
std::vector keys;
int64_t scale_factor = 10000;
for (int64_t key = 1; key < scale_factor; key++) {
keys.push_back(key);
}
InsertHelper((&tree), keys);
std::string out = "a.html";
std::cout << out << std::endl;
tree.Draw(bpm, out);
// concurrent insert
keys.clear();
for (int i = 10001; i < 20239; i++) {
keys.push_back(i);
}
std::vector remove_keys;
for (int i = 1; i < 19100; ++i) {
remove_keys.push_back(i);
}
std::vector remove_keys_2;
for (int i = 1; i < 20; ++i) {
remove_keys_2.push_back(i);
}
std::vector thread_group;
thread_group.emplace_back(std::thread(&InsertHelper, (&tree), std::cref(keys), 1));
// thread_group.emplace_back(std::thread(&InsertHelper, (&tree), std::cref(keys), 4));
thread_group.emplace_back(std::thread(&DeleteHelper, (&tree), std::cref(remove_keys), 2));
// thread_group.emplace_back(std::thread(&DeleteHelper, (&tree), std::cref(remove_keys_2), 3));
// Join the threads with the main thread
for (uint64_t thread_itr = 0; thread_itr < thread_group.size(); ++thread_itr) {
thread_group[thread_itr].join();
}
int64_t start_key = 19101;
int64_t size = 0;
index_key.SetFromInteger(start_key);
for (auto iterator = tree.Begin(index_key); iterator != tree.End(); ++iterator) {
size = size + 1;
}
EXPECT_EQ(size, 1138);
bpm->UnpinPage(HEADER_PAGE_ID, true);
delete disk_manager;
delete bpm;
remove("test.db");
remove("test.log");
}