小春镇楼

先介绍一下lz用的模型和工具
论文在arxiv：2103.09410
主模型是基于对比学习的音乐表征CLMR模型
代码用Mathematica编写

扯点废话
CLMR是2021年基于图像自监督模型SimCLR所提出的音乐表征模型，能够取得与有监督学习相似的音乐评估性能。lz了解到目前的效果最好的模型为BYOL-A，但lz拿不到训练好的模型。
由于金金金金金钱的限制，lz没能在CLMR上对BA ost微调，CLMR的骨架也算是比较基础的卷积网络，没有融合注意力机制，结果仅供参考哦

先准备ost
从BV1Fh411s7ps把150多首ost都下载下来，统一转到48kHz，采样率22050的wav音频
接下来从每一首ost中随机截取30个3s的片段，总共截取得4620个片段，lz称为samples

作者给的模型训练代码在github上
Spijkervet/CLMR
（副歌v张Tesla V100让lz充满算力）

首先分析一下这150多首ost里边平均的音乐要素
出现概率最高的五个要素分别为techno，fast，electronic，beat，drums。
出现概率最低的五个要素分别为choir，opera，harpsichord，cello，classic
所以，BA ost里的曲子大多数都以欢快的节奏与电子风格为主，少有古典音乐的成分，不过仔细听听，还是能找到许多类似artcore或纯钢琴演奏等偏复古风格的乐曲。

看看每个要素出现的概率分布直方图，找到这些要素的大致的分布情况

横轴是这个音乐要素被模型识别到的置信度（可以理解成这个要素在sample中所占的比例），
纵轴是有多少个sample的该要素被模型识别到置信度
例如，图一是“guitar”要素的分布直方图
绝大多数的samples被分析出，"guitar"要素占据了该sample的0%-20%，很少有sample中“guitar”要素占了大比例
例如，图一

各位凑合看吧

在该图所示分布情况中，大多数呈现“长尾分布”，大部分要素在samples中的比例集中在0处，说明这些要素在ost中没有体现。
少数要素（例如dance，no voice等）概率分布集中于前端，这些要素或是难以被模型识别，或仅仅只在部分音乐得到了体现。
更为少数的要素（如drums，electronic）呈现出更平缓的型态，这些要素易于被模型识别，在ost中得到很多的体现

接下来咱引入“远郊 / 近邻音乐”的概念
近邻音乐，可以理解成ost中的“平均曲”，一定程度上代表着B A ost中的平均曲风
远郊音乐，相对的，就是偏离中心最远的曲子，一定程度可以表示B A的ost玩 得多花

没想到哈，最“中心”的sample竟然是这些

最近邻samples鼓点明显，节奏欢快丰富，情绪积极，是B A ost中最能体现总体风格的片段。
最远郊音乐片段有两个是风格较为忧郁的钢琴独奏片段，另一个是各种音乐要素混合，节奏繁复的片段（推测出现在远郊原因可能是模型识别困难）。
这几首我都非常喜欢，足可见B A对配乐的上心