This post was published in 2022-07-21. Obviously, expired content is less useful to users if it has already pasted its expiration date.
Table of Contents
书本目录
书本目录,用于查漏补缺:
基本流程
基本流程:
笔记总结
按照学习顺序排布笔记内容。
img 首先学习的是12平均律和音符-频率对照表:🔗 [2021-12-15 - Truxton's blog] https://truxton2blog.com/2021-12-15/#有关pitch
img 当我们演奏小提琴、钢琴这样的弦乐器的单个音符的时候会发生什么?🔗 [2021-12-31 - Truxton's blog] https://truxton2blog.com/2021-12-31/#Harmonics_harmonics_series,泛音
img 演奏单音符的频谱图:🔗 [2022-03-29 - Truxton's blog] https://truxton2blog.com/2022-03-29/#单音符泛音和三和弦的频谱问题
img 了解一点乐理知识:五度圈、大调、小调:🔗 [2022-07-20 - Truxton's blog] https://truxton2blog.com/2022-07-20/
img 单音符产生的harmonic partial确实可以匹配一系列note,但并不是完美匹配:🔗 [2021-12-31 - Truxton's blog] https://truxton2blog.com/2021-12-31/#Harmonics_harmonics_series,泛音
img 三和弦的频谱图有什么特别之处?🔗 [2022-03-29 - Truxton's blog] https://truxton2blog.com/2022-03-29/#三和弦的频率叠加问题
如何不使用perfect five等音程推导24个major和minor和弦?暂时没有完成。
最基本、最简单的和弦识别是不是就是“匹配已有的24个major+minor chord”?是的,但是不要忘了其他和弦。preview 🔗 [2022-03-29 - Truxton's blog] https://truxton2blog.com/2022-03-29/#单音符泛音和三和弦的频谱问题
这是我们最原始的chord匹配模版,它并没有考虑harmonic partial,看得出来吗?
把harmonic partial考虑进去,一个C大三和弦的chroma feature应该如何用12维向量表示?https://truxton2blog.com/wp-content/uploads/2022/07/20220718_161546_ppKq7.png,原文:🔗 [2022-07-15 - Truxton's blog] https://truxton2blog.com/2022-07-15/
preview 对比语音识别的各种复杂triphone建模,看起来chord recognition并不需要什么复杂的建模,建模数量也不多,就算考虑harmonic partial也就百来个固定模版(乐器的种类还是有限),而英语triphone的建模随随便便就有几万个(link),为什么会有这么多优化课题呢?
preview 首先我们要了解和弦识别过程中为什么会出现各种识别不准确的问题:🔗 [2022-07-15 - Truxton's blog] https://truxton2blog.com/2022-07-15/#Chord识别的界限模糊问题 ,目前看来书中提到过的最棘手的问题大概是这个。
preview 其次我们需要了解音乐识别对错误结果的容忍程度,见:🔗 [2022-07-19 - Truxton's blog] https://truxton2blog.com/2022-07-19/#对错误识别的容忍程度
preview 接下来学习一些平滑、插值、压缩算法,但在此之前我们需要重新审视这张流程图中的prefiltering和postfiltering,并明确它们的优缺点:🔗 [2022-07-19 - Truxton's blog] https://truxton2blog.com/2022-07-19/#chord_recognition_prefiltering和postfiltering的选择和对比
preview 接下来是prefiltering的内容:进行一些Spectral Enhancement处理,比如Logarithmic Compression,让chord chromagram看起来更平滑均匀:🔗 [2022-07-15 - Truxton's blog] https://truxton2blog.com/2022-07-15/#Logarithmic_Compression;或者像STFT那样的“滑动平滑窗口”。
接下来是postfiltering的内容,但目前主要就学了一个HMM:🔗 [2022-07-19 - Truxton's blog] https://truxton2blog.com/2022-07-19/ . 首先我们应该认识到即使是看似套路固定的标准乐器和弦识别也有很多问题,并没有想象中那么简单;HMM的作用主要是减少预测错误的概率(大多数音乐作品中chord自旋的概率都高于转移到其他chord的概率,用传统的chroma相似度对比容易出偏差,识别出很多完全有悖音乐创作常识的和弦).
最后还有一个总结,列举了很多额外阅读材料,但在这里暂时不讨论。见P293.
解决不了的问题
下面描述的内容当然已经超出chord recognition的范畴了。
chord recognition的内容都是基于一个核心要点来展开的: Chord . 如果不是chord该怎么办?
不知道。目前没学过这类问题的解决方法。