基于随机森林+RNN+Tensorflow-Magenta的根据图片情感智能生成音乐系统——深度学习算法应用(含python、ipynb工程源码)+所有数据集（四）

---

前言

本项目基于Google的Magenta平台，它采用随机森林分类器来识别图片的情感色彩，接着项目使用递归神经网络（RNN）来生成与图片情感相匹配的音乐，最后通过图形用户界面（GUI）实现可视化结果展示。

首先，项目处理图片，使用随机森林分类器来确定图片中的情感色彩。这可以包括情感分类，如欢快、宁静等。该分类器会分析图片的视觉特征，以确定其中蕴含的情感。

随后，根据图片中的情感，项目使用递归神经网络（RNN）生成与情感相匹配的音乐。这个过程涉及到选定特定音符、节奏和和声，以创造出与图片情感相一致的音乐作品。

最后，项目通过图形用户界面（GUI）将图片、情感色彩、生成的音乐等结果以可视化方式呈现给用户。

总之，这个项目结合了计算机视觉、音乐生成和图形用户界面设计，旨在将图片的情感色彩与音乐创作相融合，为用户提供一种独特的艺术体验。这对于艺术和技术的交叉应用可能非常引人注目。

总体设计

本部分包括系统整体结构图和系统流程图。

系统整体结构图

系统整体结构如图所示。

系统流程图

系统流程如图所示。

运行环境

本部分包括 Python 环境和Magenta环境。

详见博客。

模块实现

本项目包括3个模块:数据预处理、模型构建、模型训练及保存，下面分别给出各模块的功能介绍及相关代码。

1. 数据预处理

MIDI下载地址为http://midi.midicn.com/，图片在花瓣网收集获取地址为https://huaban.com/boards/60930738/。音乐模型包含欢快和安静两类MIDI文件各100个，图片包含欢快和安静两类各250张，格式为.jpg。另外，数据集也可以从本博客对应工程源码中下载。

（1）图片部分

提取图片中占比前十的色彩信息，将其转换成hsv格式，存储到.csv文件中，便于后续使用。

详见博客。

（2）音乐部分

详见博客。

2. 模型构建

数据加载进模型之后，定义模型结构，并优化损失函数。

详见博客。

3. 模型训练及保存

在定义模型架构和编译之后，使用训练集训练模型，使模型对图片的情感进行分类。

（1）图片情感分析

本部分包括模型训练和模型保存。

详见博客。

（2）音乐训练

本部分包括模型训练和模型保存的相关代码。

详见博客。

系统测试

本部分包括测试效果及模型应用。

1. 测试效果

将测试集的数据代入模型进行测试，分类的标签与原始数据进行显示和对比，得到如图1 与 图2的测试效果，得到验证：可以实现图片情感的分类。

模型训练效果

图1 test0对应图片

图2 test1对应图片

input_path = 'file:///E:/college/synaes/image/test1.jpg'
file=input_path[32:]
cl=get_color(input_path)
arr=[cl[0:15]]
print(len(arr))
with open("E:/college/synaes/image/classifier.m", "rb") as f:
    model = joblib.load(f)
    lb = model.predict(arr)
print(lb)
print(type(lb))
if lb==1:
    print(file, '是欢快的')
elif lb==0:
    print(file, '是宁静的')

通过测试得到test0对应图片是宁静的，test1对应图片是欢快的，这与它们的真实标签是一致的。

2. 模型应用

运行GUI源码，展示图形界面如图所示。

界面从上至下，分别是三个按钮、一个文本框输入。文本框内直接填入图片路径，可以是本地，也可以是网页链接，如图3所示，在文本框内显示对应路径，如图4所示。

图3 图片选择显示界面

图4 测试结果

相关其它博客

基于随机森林+RNN+Tensorflow-Magenta的根据图片情感智能生成音乐系统——深度学习算法应用(含python、ipynb工程源码)+所有数据集（一）

基于随机森林+RNN+Tensorflow-Magenta的根据图片情感智能生成音乐系统——深度学习算法应用(含python、ipynb工程源码)+所有数据集（二）

基于随机森林+RNN+Tensorflow-Magenta的根据图片情感智能生成音乐系统——深度学习算法应用(含python、ipynb工程源码)+所有数据集（三）

工程源代码下载

详见本人博客资源下载页

---

其它资料下载

如果大家想继续了解人工智能相关学习路线和知识体系，欢迎大家翻阅我的另外一篇博客《重磅 | 完备的人工智能AI 学习——基础知识学习路线，所有资料免关注免套路直接网盘下载》
这篇博客参考了Github知名开源平台，AI技术平台以及相关领域专家：Datawhale，ApacheCN，AI有道和黄海广博士等约有近100G相关资料，希望能帮助到所有小伙伴们。