我们每天都在接触推荐系统,短视频、电商、外卖、演出、广告……
今天,我们将演示 Jina AI 社区用户 Achintya 的项目,他用 Jina 搭建了一个电影推荐系统。
电影推荐系统原理概览
在这个 Demo 中,作者将电影推荐转换成了文本搜索问题。
系统将用户输入作为文本 query,并在数据库中搜索与查找类似电影。
注:开始前需要向模型提供电影的名称、描述和类型等字段。
技术栈: Jina,Rest API,Dart
数据库: IMDB 电影数据集
电影推荐系统架构图
具体过程如下:
1、从 Kaggle 下载 IMDB 电影数据集。
2、将数据添加至 DocumentArray 中,以便进一步预处理和索引。
3、将 DocumentArray 发送至 Flow,用 Jina Hub 上的 Executor 对数据进行索引。
4、搜索 Flow 将对输入查询进行编码,并在索引数据中搜索最匹配的选项。
5、找到最佳匹配后,发送 Rest API 作为输出数据(该 API 适用于各种前端框架)。
代码演示:3 个关键步骤打造电影推荐系统
本 Demo 的核心步骤包括:构建 Flow、索引以及和搜索功能。
1、创建 Flow
这里会用到两个 Executor: SimpleIndexer 及 TransformerTorchEncoder
from jina import Flow
flow = (
Flow(port_expose='12345', protocol='http').add(
uses="jinahub://TransformerTorchEncoder",
uses_with={
"pretrained_model_name_or_path":
"sentence-transformers/paraphrase-distilroberta-base-v1"
},
name="encoder",
install_requirements=True
)
.add(
uses="jinahub://SimpleIndexer/latest",
uses_metas={"workspace": "workspace"},
volumes="./workspace:/workspace/workspace",
name="indexer"
)
)
2、创建 Index 函数
Index 函数获取文本格式的图像数据集,并将其转换为 Jina 原生的 DocumentArray,发送至 Flow 进行索引和搜索。
with flow as f:
f.post(on="/index", inputs=movies, show_progress=True)
f.post(on="/", show_progress=True)
f.cors = True
f.block()
3、创建搜索函数
搜索函数接收文本输入,并发出 HTTP post 请求,从 Jina 后端获取类似的电影片名。
import 'dart:convert';
import 'package:http/http.dart';
makePostRequest() async {
final uri = Uri.parse('http://192.168.1.9:12345/search');
final headers = {'Content-Type': 'application/json'};
var final_data = [];
Map body = {
"data": [
{"text": "comedy"}
],
"parameters": {"limit": 10}
};
String jsonBody = json.encode(body);
final encoding = Encoding.getByName('utf-8');
Response response = await post(
uri,
headers: headers,
body: jsonBody,
encoding: encoding,
);
int statusCode = response.statusCode;
String responseBody = response.body;
print(statusCode);
var convertedData = jsonDecode(responseBody);
final_data = convertedData['data'][0]['matches'];
for (var item in final_data) {
print(item['tags']['Title']);
}
}
void main(List arguments) {
print("Starting");
makePostRequest();
}
以上就是用 Jina 创建电影推荐系统的全部过程,完整代码请访问 GitHub Repo
电影推荐系统的效果展示
关于作者 Achintya:
Jina AI 社区成员,计算机科学专业大二学生,专注于机器学习及应用开发。
本文涉及的学习资料