唯一ID生成原理与phper的深度思考

date: 2017-01-03 13:14

唯一ID引发的血案

写这篇 blog 原因是业务中遇到生成唯一ID的场景却没有按照需求生成唯一ID，由此引发了一番乱炖，业务中目前使用的方案：

// mysql 自增ID + 事务 + 时间 + 随机数
public function generateTradeNumber()
{
    $tradeTime = date('YmdHi', time());

    $lastTrade     = TradeNumber::findBySql('SELECT * FROM `Trade` ORDER BY id DESC LIMIT 1 FOR UPDATE');
    $lastTradeTime = '';
    if (!empty($lastTrade)) {
        $lastTradeNumber = $lastTrade->getTradeNumber();
        $lastTradeTime   = substr($lastTradeNumber, 0, 12);
        $lastTradeSerial = substr($lastTradeNumber, 12);
        if ($tradeTime == $lastTradeTime) {
            return $lastTradeTime . ($lastTradeSerial >= 99999 ? $lastTradeSerial + 1 : '0' . ($lastTradeSerial + 1));
        }
    }

    $initSerialNumber = rand(10000, 99999);
    return $tradeTime . '0' . $initSerialNumber;
}

简单解释一下：

唯一 TradeNumber 由 2 部分组成：当前时间 12 位 + 6 位数字
时间粒度到分：date('YmdHi', time())
每次生成时，先锁死最后一条 Trade，当前分钟第一个进来的 Trade 会分配 rand(10000, 99999)（这样做是为了保持长度一致，以及防止被人找出规律来），之后的 Trade 在此基础上 +1

然而实际上并没有达到唯一ID 的目的，查询数据库发现还是有重复 TradeNumber 存在

php uniqid() 分析

php manual uniqid()

详细的分析当然是直接看源码最清楚了，不过 php manual 已经说了：based on the current time in microseconds。并且 php manual 中已经详细说明了这个问题，详细可以查看 php manual note 中的内容，note 中提供了另外一种方案：

function uniqidReal($lenght = 13) {
     // uniqid gives 13 chars, but you could adjust it to your needs.
     if (function_exists("random_bytes")) {
         $bytes = random_bytes(ceil($lenght / 2));
     } elseif (function_exists("openssl_random_pseudo_bytes")) {
         $bytes = openssl_random_pseudo_bytes(ceil($lenght / 2));
     } else {
         throw new Exception("no cryptographically secure random function available");
     }
     return substr(bin2hex($bytes), 0, $lenght);
 }

这种方案的原理：随机数。当然这个随机数概率就比 rand(10000, 99999) 小多了，毕竟加入了英文字母。那么，回到我们的主题，随机数 === 唯一ID ？显然，无论概率怎么小，还是存在重复的可能（-_-）。

唯一ID原理

Linux多线程与同步：http://www.cnblogs.com/vamei/archive/2012/10/09/2715393.html
《高性能linux服务器编程》- 高性能 io - 进程相关部分
唯一ID生成原理与PHP实现：http://mp.weixin.qq.com/s/bagOgzdwLyZv_ITNVnYfoQ / https://github.com/liexusong/atom

其实非常的简单，只要保证从同一个地方产生，并按照不重复的规律生成。联想一下 mysql 的自增ID，就是 同一张表，依次递增。所以，自增ID真正的难点：同一个地方生成。但是，在多进程、多线程的场景下，这个地方就会成为 竞态资源。要了解race condition, mutex和condition variable的概念，请参考上面的博文 -- Linux多线程与同步。

多线程同步方式：

互斥锁(mutex)：一个线程申请了互斥锁，然后进行 原子操作，其他进程必须要等待此线程释放互斥锁，才能成功申请。
条件变量(condition variable)：配合互斥锁一起使用，在 多个线程等待某个条件发生 时的场景下使用
读写锁(reader-writer lock)：和互斥锁类似，锁有 3 种状态 -- R、W、unlock。如果资源上 R 锁，其他线程可以继续申请 R 锁；如果需要申请 W 锁，必须等待其他进程都释放 R 锁；如果资源上 W 锁，其他线程必须等待其释放

多进程的同步方式：

管道
共享内存

是不是有点峰回路转，怎么突然跑到操作系统层面了？whatever，你曾经学的操作系统原理，就是这么有用。

再来简单的剖析一下 唯一ID生成原理与PHP实现 这篇博文中提到的 snowflake算法：

唯一ID组成：64bit， 1bit（不用）+ 41bit（时间戳）+ 10bit（机器id）+ 12bit（序列号）
时间毫秒级（可以用2082年），每毫秒最多 2^12=4096 个请求，如果超过了，就分配到下一毫秒
为什么分机器ID：达到分布式计算，避免不同机器间同步带来的性能损耗

代码就不贴了，大家自己看，挺简单的。

唯一ID的php实现

韩天峰(Rango) - 从零开始编写第一个PHP扩展：http://wiki.swoole.com/wiki/page/238.html
淘宝信海龙 php 扩展开发：http://www.bo56.com/category/programming-language/php-programming-language
唯一ID生成原理与PHP实现：http://mp.weixin.qq.com/s/bagOgzdwLyZv_ITNVnYfoQ / https://github.com/liexusong/atom
韩天峰(Rango) Yii/Yaf/Swoole3个框架的压测性能对比：http://rango.swoole.com/archives/254

由于 php-fpm 是基于进程管理，每个pfm子进程都是相互独立的，想要实现 同一个地方生成，就需要依靠扩展。而php扩展开发，不少业内大牛都贴了教程，无耻引用几个。

推荐学习次序：

韩天峰(Rango) - 从零开始编写第一个PHP扩展
淘宝信海龙 php 扩展开发系列教程
查看 https://github.com/liexusong/atom 源码：github 上的文档只提到了 2 个函数，还是直接读源码吧，主要是 atom.c

测试：

cli 下的测试

// php test
for ($i=0; $i < 20; $i++) {
    $id = atom_next_id(); // different
    $info = atom_explain($id); // the same
    echo $id . "\t" . date('YmdHis', $info['timestamp']) . "\t" . $info['datacenter'] . "\t" . $info['worker'] . "\n";
}

// ext atom source code
retval = ((current - context->twepoch) << context->timestamp_left_shift)
    | (context->datacenter_id << context->datacenter_id_shift)
    | (context->worker_id << context->worker_id_shift)
    | context->sequence;

写在最后

《高性能mysql》
MOOC - 《linux操作系统原理与应用》
swoole官方教程和 rango 的博客
我的 docker 环境：https://coding.net/u/daydaygo/p/docker/git
《Just for Fun》linus 自传

由于本身的技术局限，对 mysql 中这套 SELECT FOR UPDATE 不太熟悉，这个点有待提高，推荐《高性能mysql》。

操作系统原理到底有没有用？如果看到进程、线程、共享内存、管道等等名词感觉不太熟悉（熟悉名词和知道怎么用还隔着好远呢），最好还是多了解一点。

推荐《linux操作系统原理与应用》：这个是大学教材，找个MOOC网看看在线视频，网易公开课、中国大学MOOC、学堂在线等等
《高性能linux服务器编程》：还有鼎鼎大名的《Unix Network Programing》，就是实在是太厚了
swoole官方教程和 rango 的博客：c10k问题、时间循环、swoole/nginx/go/nodejs 实现原理对比、线程/进程/协程对比等等

当然，还有一个问题需要解决：说了这么半天，程序还是得要在 linux 下面跑，我的 windows 怎么办，给自己打一下广告，我的 docker 环境：https://coding.net/u/daydaygo/p/docker/git

最后的最后，写在这个没有出去浪的元旦假期：

且将新火试新茶，诗酒趁年华
Just for Fun