php之任务队列 并发

http://blog.s135.com/httpsqs/

例如：邮件队列、任务队列、消息队列、Feed队列 ，手机短信，纪录日志，转换视频格式，数据挖掘采集 ，为了增强用户体验可以用队列或异步处理

 

PHP异步执行的常用方式常见的有以下几种，可以根据各自优缺点进行选择：

日志写完 -> 点提交按钮 -> 日志插入到数据库 -> 发送邮件通知 ->告知撰写者发布成功

那么作者在点提交按钮到看到成功提示之间可能会等待很常时间，基本是在等邮件发送的过程，比如连接邮件服务异常、或器缓慢或是订阅者太多。而实际上是不管邮件发送成功与否，保证日志保存成功基本可接受的，所以等待邮件发送的过程是很不经济的，这个过程可异步来执行，并且邮件发送的结果不太关心或以日志形式记录备查。
改进后的流程就是：

日志写完 -> 点提交按钮 -> 日志插入到数据库 --->
    告知撰写者发布成功
    └ 发送邮件通知 -> [记下日志] 

1.客户端页面采用AJAX技术请求服务器

优点 ：最简单，也最快，就是在返回给客户端的HTML代码中，嵌入AJAX调用，或者，嵌入一个img标签，src指向要执行的耗时脚本。
缺点 ：一般来说Ajax都应该在onLoad以后触发，也就是说，用户点开页面后，就关闭，那就不会触发我们的后台脚本了。
而使用img标签的话，这种方式不能称为严格意义上的异步执行。用户浏览器会长时间等待php脚本的执行完成，也就是用户浏览器的状态栏一直显示还在load。
当然，还可以使用其他的类似原理的方法，比如script标签等等。

2.popen()函数
该函数打开一个指向进程的管道，该进程由派生给定的 command 命令执行而产生。打开一个指向进程的管道，该进程由派生给定的 command 命令执行而产生。
所以可以通过调用它，但忽略它的输出。使用代码如下：

pclose(popen("/home/xinchen/backend.php &", 'r'));

优点 ：避免了第一个方法的缺点，并且也很快。
缺点： 这种方法不能通过HTTP协议请求另外的一个WebService，只能执行本地的脚本文件。并且只能单向打开，无法穿大量参数给被调用脚本。并且如果，访问量很高的时候，会产生大量的进程。如果使用到了外部资源，还要自己考虑竞争。

3.CURL扩展
CURL是一个强大的HTTP命令行工具，可以模拟POST/GET等HTTP请求，然后得到和提取数据，显示在"标准输出"（stdout）上面

缺点 ：如你问题中描述的一样 ，由于使用CURL需要设置CUROPT_TIMEOUT为1（最小为1，郁闷）。也就是说，客户端至少必须等待1秒钟。

4.fscokopen()函数
fsockopen支持socket编程，可以使用fsockopen实现邮件发送等socket程序等等,使用fcockopen需要自己手动拼接出header部分

所以总结来说，fscokopen()函数应该可以满足您的要求。可以尝试一下。

用户注册成功，而不是直接给用户发送email，而是把新注册的用户的email插入到邮件任务队列中。由服务器给用户发送邮件。发送成功或发送N次失败的将从队列中清除。

-------------------------------

如果是普通的网站，如平均每秒产生的队列消息不超过上百，则用低成本数据库+轮询程序，完全可行．
具体思路如下：
1.　当产生消息时，使用MySQL的表保存产生的新队列消息，并记录一些运行参数
2.　服务器上开启cron(Linux),或开启自动刷新的浏览器窗口（Windows）,比如按半分钟运行一次轮询程序
3.　这些轮询程序每次取出一些队列消息，进行处理，处理成功或是处理失败N次后，删除MySQL队列表中的相关记录

如此反复，即可实现．我觉得这个方式的优点是：
1.　实现最为容易，可行性最好
2.　低成本的开发或是平台部署成本　
在我们的生产环境中，这种方式得到了大量实践，表现良好．
当然，如果确实是＂高性能＂，那么这个问题更不问题，既然需要高性能，说明网站的规模不一般，既然规模不一般，还会缺钱吗？　不缺钱，就可以找这方面的专家去解决．

<?php  
/**  
* 使用共享内存的PHP循环内存队列实现  
* 支持多进程, 支持各种数据类型的存储  
* 注: 完成入队或出队操作,尽快使用unset(), 以释放临界区  
*  
* @author [email protected]  
* @created 2009-12-23  
*/  
class SHMQueue  
{  
    private $maxQSize = 0; // 队列最大长度  
      
    private $front = 0; // 队头指针  
    private $rear = 0;  // 队尾指针  
      
    private $blockSize = 256;  // 块的大小(byte)  
    private $memSize = 25600;  // 最大共享内存(byte)  
    private $shmId = 0;  
      
    private $filePtr = './shmq.ptr';  
      
    private $semId = 0;  
    public function __construct()  
    {          
        $shmkey = ftok(__FILE__, 't');  
          
        $this->shmId = shmop_open($shmkey, "c", 0644, $this->memSize );  
        $this->maxQSize = $this->memSize / $this->blockSize;  
          
         // 申請一个信号量  
        $this->semId = sem_get($shmkey, 1);  
        sem_acquire($this->semId); // 申请进入临界区          
          
        $this->init();  
    }  
      
    private function init()  
    {  
        if ( file_exists($this->filePtr) ){  
            $contents = file_get_contents($this->filePtr);  
            $data = explode( '|', $contents );  
            if ( isset($data[0]) && isset($data[1])){  
                $this->front = (int)$data[0];  
                $this->rear  = (int)$data[1];  
            }  
        }  
    }  
      
    public function getLength()  
    {  
        return (($this->rear - $this->front + $this->memSize) % ($this->memSize) )/$this->blockSize;  
    }  
      
    public function enQueue( $value )  
    {  
        if ( $this->ptrInc($this->rear) == $this->front ){ // 队满  
            return false;  
        }  
          
        $data = $this->encode($value);  
        shmop_write($this->shmId, $data, $this->rear );  
        $this->rear = $this->ptrInc($this->rear);  
        return true;  
    }  
          
    public function deQueue()  
    {  
        if ( $this->front == $this->rear ){ // 队空  
            return false;  
        }  
        $value = shmop_read($this->shmId, $this->front, $this->blockSize-1);  
        $this->front = $this->ptrInc($this->front);  
        return $this->decode($value);  
    }  
      
    private function ptrInc( $ptr )  
    {  
        return ($ptr + $this->blockSize) % ($this->memSize);  
    }  
      
    private function encode( $value )  
    {  
        $data = serialize($value) . "__eof";  
        if ( strlen($data) > $this->blockSize -1 ){  
            throw new Exception(strlen($data)." is overload block size!");  
        }  
        return $data;  
    }  
      
    private function decode( $value )  
    {  
        $data = explode("__eof", $value);  
        return unserialize($data[0]);          
    }  
      
    public function __destruct()  
    {  
        $data = $this->front . '|' . $this->rear;  
        file_put_contents($this->filePtr, $data);  
          
        sem_release($this->semId); // 出临界区, 释放信号量  
    }  
}  

//使用的样例代码如下:
// 进队操作
$shmq = new SHMQueue();  
$data = 'test data';  
$shmq->enQueue($data);  
unset($shmq);  
// 出队操作  
$shmq = new SHMQueue();  
$data = $shmq->deQueue();  
unset($shmq);