天津市做企业标准网站泰安网站建设优化
数据集构建_哔哩哔哩_bilibili
（b站上有一系列课，从数据处理到模型构建和训练使用）
什么是batch？
为什么一个batch内的句子要一样长？
不同batch的长度可以不一样，但是同一个batch内长度一样！
可以使用预训练的embedding矩阵
如果使用相同的预训练embedding矩阵，同样的词在不同的模型中应该对应相同的初始向量。（没有微调embedding矩阵的情况下）使用相同的词汇表即可。
mask的地方换成很大的负数，使其在softmax里面变成0
一般有2类mask
1. 屏蔽后面信息的mask（Look-ahead Mask / Causal Mask）
这种mask用于防止模型在训练过程中看到未来的词汇。通常在自回归模型（如语言模型）中使用，在生成某个词时，只允许模型看到它之前的词。
2. 屏蔽padding的mask（Padding Mask）
这种mask用于在处理不定长序列时屏蔽填充的部分。填充通常是为了将所有序列扩展到相同长度，以便可以批处理。我们不希望模型在处理这些填充值时产生误导。