小程序实现ChatGPT类流式输出
chatgpt的流行，引起了大量人员的涌入，许多公司或个人也开始加入gpt的开发和应用中，公司也
来蹭一下热度，于是部门开始着手gpt的开发，在不断探索和尝试中一点点进展。
其中对于网上流传的gpt流式输出的效果很是人性化，gpt官网支持流式响应也是为了更好的用户体验，如果采用非流式响应，一次性返回结果，这将会是一个漫长的等待，用户体验度极差。
常用的浏览器普遍支持eventsource实现流式输出，然而在我们开发小程序的时候发现小程序不支持eventsource对象。
最开始想到的是采用websocket实现，但如果采用socket会导致现在项目中使用的框架中的许多中间件无法使用，一些过滤、鉴权、认证都需要考虑重写，代价是比较大的。
也想到过使用直接使用ob_flush()、flush()，测试的时候浏览器（需设置header('Content-Type: text/html', true);）可以但是小程序依然行不通。
网上查询浏览相关资料，通过chunk分块传输实现类流式输出效果，通过多次调试最终实现流程如下：
小程序wxml:
小程序js：
index.js文件:
const {Base64} = require('../../utils/baseutf.js')
bindChunkTest() {
let prompt = 'hello';
const requestTask = wx.request({
url: 'http://localtest.com/test.php',
timeout: 30000,
responseType: 'text',
method: 'GET',
enableChunked: true,
data: {
prompt: prompt,
},
success(res){
// console.log(res)
}
});
requestTask.onChunkReceived(function(response){
const arrayBuffer = response.data;
const uint8Array = new Uint8Array(arrayBuffer);
let text = wx.arrayBufferToBase64(uint8Array);
// var text = String.fromCharCode.apply(null, uint8Array);
// text = text.toString('utf8');
text = Base64.decode(text);
console.log(text);
})
},baseutf.js文件（来自一篇文章【https://developers.weixin.qq.com/community/develop/doc/000ee246af8cd8747bce589555c000】里的大佬【又见幽兰空谷开】的回复）：
/**
* UTF16和UTF8转换对照表
* U+00000000 – U+0000007F 0xxxxxxx
* U+00000080 – U+000007FF 110xxxxx 10xxxxxx
* U+00000800 – U+0000FFFF 1110xxxx 10xxxxxx 10xxxxxx
* U+00010000 – U+001FFFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
* U+00200000 – U+03FFFFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
* U+04000000 – U+7FFFFFFF 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
*/
//外部js引用时这样写：import {Base64} from '/xxx/base64';//路径需要根据实际路径去写
const Base64 = {
// 转码表
tables : [
'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H',
'I', 'J', 'K', 'L', 'M', 'N', 'O' ,'P',
'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X',
'Y', 'Z', 'a', 'b', 'c', 'd', 'e', 'f',
'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n',
'o', 'p', 'q', 'r', 's', 't', 'u', 'v',
'w', 'x', 'y', 'z', '0', '1', '2', '3',
'4', '5', '6', '7', '8', '9', '+', '/'
],
UTF16ToUTF8 : function (str) {
let results = [], len = str.length;
for (let i = 0; i < len; i++) {
let code = str.charCodeAt(i);
if (code > 0x0000 && code <= 0x007F) {
/* 一字节，不考虑0x0000，因为是空字节
U+00000000 – U+0000007F 0xxxxxxx
*/
results.push(str.charAt(i));
} else if (code >= 0x0080 && code <= 0x07FF) {
/* 二字节
U+00000080 – U+000007FF 110xxxxx 10xxxxxx
110xxxxx
*/
let byte1 = 0xC0 | ((code >> 6) & 0x1F);
// 10xxxxxx
let byte2 = 0x80 | (code & 0x3F);
results.push(
String.fromCharCode(byte1),
String.fromCharCode(byte2)
);
} else if (code >= 0x0800 && code <= 0xFFFF) {
/* 三字节
U+00000800 – U+0000FFFF 1110xxxx 10xxxxxx 10xxxxxx
1110xxxx
*/
let byte1 = 0xE0 | ((code >> 12) & 0x0F);
// 10xxxxxx
let byte2 = 0x80 | ((code >> 6) & 0x3F);
// 10xxxxxx
let byte3 = 0x80 | (code & 0x3F);
results.push(
String.fromCharCode(byte1),
String.fromCharCode(byte2),
String.fromCharCode(byte3)
);
} else if (code >= 0x00010000 && code <= 0x001FFFFF) {
// 四字节
// U+00010000 – U+001FFFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
} else if (code >= 0x00200000 && code <= 0x03FFFFFF) {
// 五字节
// U+00200000 – U+03FFFFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
} else /** if (code >= 0x04000000 && code <= 0x7FFFFFFF)*/ {
// 六字节
// U+04000000 – U+7FFFFFFF 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
}
}
return results.join('');
},
UTF8ToUTF16 : function (str) {
let results = [], len = str.length;
let i = 0;
for (let i = 0; i < len; i++) {
let code = str.charCodeAt(i);
// 第一字节判断
if (((code >> 7) & 0xFF) == 0x0) {
// 一字节
// 0xxxxxxx
results.push(str.charAt(i));
} else if (((code >> 5) & 0xFF) == 0x6) {
// 二字节
// 110xxxxx 10xxxxxx
let code2 = str.charCodeAt(++i);
let byte1 = (code & 0x1F) << 6;
let byte2 = code2 & 0x3F;
let utf16 = byte1 | byte2;
results.push(Sting.fromCharCode(utf16));
} else if (((code >> 4) & 0xFF) == 0xE) {
// 三字节
// 1110xxxx 10xxxxxx 10xxxxxx
let code2 = str.charCodeAt(++i);
let code3 = str.charCodeAt(++i);
let byte1 = (code << 4) | ((code2 >> 2) & 0x0F);
let byte2 = ((code2 & 0x03) << 6) | (code3 & 0x3F);
let utf16 = ((byte1 & 0x00FF) << 8) | byte2
results.push(String.fromCharCode(utf16));
} else if (((code >> 3) & 0xFF) == 0x1E) {
// 四字节
// 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
} else if (((code >> 2) & 0xFF) == 0x3E) {
// 五字节
// 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
} else /** if (((code >> 1) & 0xFF) == 0x7E)*/ {
// 六字节
// 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
}
}
return results.join('');
},
encode : function (str) {
if (!str) {
return '';
}
let utf8 = this.UTF16ToUTF8(str); // 转成UTF-8
let i = 0; // 遍历索引
let len = utf8.length;
let results = [];
while (i < len) {
let c1 = utf8.charCodeAt(i++) & 0xFF;
results.push(this.tables[c1 >> 2]);
// 补2个=
if (i == len) {
results.push(this.tables[(c1 & 0x3) << 4]);
results.push('==');
break;
}
let c2 = utf8.charCodeAt(i++);
// 补1个=
if (i == len) {
results.push(this.tables[((c1 & 0x3) << 4) | ((c2 >> 4) & 0x0F)]);
results.push(this.tables[(c2 & 0x0F) << 2]);
results.push('=');
break;
}
let c3 = utf8.charCodeAt(i++);
results.push(this.tables[((c1 & 0x3) << 4) | ((c2 >> 4) & 0x0F)]);
results.push(this.tables[((c2 & 0x0F) << 2) | ((c3 & 0xC0) >> 6)]);
results.push(this.tables[c3 & 0x3F]);
}
return results.join('');
},
decode : function (str) {
//判断是否为空
if (!str) {
return '';
}
let len = str.length;
let i = 0;
let results = [];
//循环解出字符数组
while (i < len) {
let code1 = this.tables.indexOf(str.charAt(i++));
let code2 = this.tables.indexOf(str.charAt(i++));
let code3 = this.tables.indexOf(str.charAt(i++));
let code4 = this.tables.indexOf(str.charAt(i++));
let c1 = (code1 << 2) | (code2 >> 4);
results.push(String.fromCharCode(c1));
if (code3 != -1) {
let c2 = ((code2 & 0xF) << 4) | (code3 >> 2);
results.push(String.fromCharCode(c2));
}
if (code4 != -1) {
let c3 = ((code3 & 0x3) << 6) | code4;
results.push(String.fromCharCode(c3));
}
}
return this.UTF8ToUTF16(results.join(''));
}
};
module.exports = {
Base64
}接下来就是后端代php代码：
//header头可以尝试不加
header('Access-Control-Allow-Credentials: true');
header('Transfer-Encoding: chunked');
header('Cache-Control: no-cache');
header('Access-Control-Allow-Origin: *');
header('Access-Control-Allow-Methods: GET, POST, OPTIONS');
header('Access-Control-Allow-Headers: Content-Type');
header('Connection: keep-alive');
header('X-Accel-Buffering: no');
$i = 1;
while($i < 10){
$msg = '消息' . $i;
echo dechex(strlen($msg)) . "\r\n" . $msg . "\r\n";
ob_flush();
flush();
usleep(500000);
$i++;
}
echo "0\r\n\r\n";
ob_flush();
flush();仅仅是代码还无法实现分块传输，还需要修改php和nginx配置保证缓冲区数据及时推送到客户端
php.ini文件，设置"output_buffering = off"，必须在php.ini中，ini_set不生效。
添加nginx配置（参考文献：https://blog.csdn.net/jinyif/article/details/52525274）：
proxy_buffering off;
gzip off;
fastcgi_keep_conn on;修改后重启相关服务后基本完事了，点击小程序的按钮开始测试吧。
不出意外的话就出现流式输出的效果了！
参考文献：在微信小程序中如何支持使用流模式（stream），打造ChatGPT实时回复机器人，最详细讲解。_微信小程序自动回复机器人_程序员在囧途的博客-CSDN博客
客户端数据转换：https://developers.weixin.qq.com/community/develop/doc/000ee246af8cd8747bce589555c000
小程序网络请求：
RequestTask | 微信开放文档