因为 rnnt 是在 ctc 的基础上做的改进，解决 ctc 独立假设的问题。

输入一帧音频则持续输出 token，直到输出结束符，再输入下一帧音频。

上一个输出的 token 也会作为当前的输入，解决了独立假设的问题（当前能看到历史的输出）

1. 可以尝试算一下公式

2. q, k, v 都跟顺序没有关系，所以顺序改变不影响最终的计算结果

哪三个箭头呢？交叉注意力机制？query 来自 decoder，key 和 value 来自 encoder

对齐通常会用于字幕文件的生成，给定音频和对应的文本，得到具体的时间戳

如果你指的是离散傅里叶变换的系数矩阵，是将公式写成了矩阵乘法的形式，从而进一步做变量替换。

@sasav6 不用深度神经网络的是 HMM+GMM，属于 2015 年以前的技术了，如果对传统这套技术感兴趣，可以学习学院的另外一门语音识别入门的课程。

通过 docker pull 下载对应的镜像

可以尝试在 python 脚本中打印日志，并且查看容器的日志输出

我用的是 kaldi 里面的脚本装

lexicon 文件里面有 <UNK>

引入外部词典，会导致词汇量变大吧，因此困惑度也大。多音字也类似

@chenpengfei 对于同样一个句子，你的训练数据就那么多，如果词汇量大，那你出现每个词的概率不就越小吗？模型就越困惑。对于更合理的句子，概率是应该越高。但是不管加没加多音字，词汇量扩大还是没扩大，你的测试集是一样的。

简而言之就是：

因为 thchs30 训练集中的每条句子都至少重复 7 次，例如：“他 代表 俄语 学院 向 奈 娜 夫人 赠送 了 一 套 与 普希金 俄语 学院 合编 的 教材 东方 俄语”

导致 1gram，2gram 和 3gram，甚至 21gram（长度不足 21gram 的不算），出现次数最少的都不低于 7 次，即 n1=n2=n3=n4=0

@chenpengfei 但是你把重复的句子去掉，就会影响这个句子里面词的计数

建议你输出一下 hz_points 和 bin 看看，就知道 bin 表示什么了。

我认为那个范围是根据人耳确定的。