YOLOv8改进 | 注意力机制 | 正确的 Self-Attention 与 CNN 融合范式，性能速度全面提升【独家创新】

csdn推荐

Self-Attention自注意力机制是一种用于处理序列数据的机制，最初在Transformer模型中提出并广泛应用于自然语言处理任务。它通过计算输入序列中每个元素与其他元素之间的相关性来获取上下文信息。Self-Attention机制的核心思想是将输入序列中的每个元素都看作是查询（Q）、键（K）和值（V）三个向量。通过计算查询与键的相似度得到注意力权重，再将注意力权重与值进行加权求和得到输出。具体的计算过程如下：1. 首先，通过将输入序列与三个可学习的权重矩阵相乘，分别得到查询向量Q、键向量K和值向量V。2. 接下来，计算查询向量Q与键向量K之间的相似度。常用的计算方法是使用点积或者缩放点积（scaled dot-product）计算相似度。3. 将相似度除以一个缩放因子，然后经过softmax函数得到注意力权重。注意力权重表示了每个元素对其他元素的重要程度。4. 最后，将注意力权重与值向量V进行加权求和，得到自注意力机制的输出。Self-Attention机制的优势在于能够捕捉输入序列中不同元素之间的长距离依赖关系，从而更好地理解序列中的上下文信息。它在机器翻译、文本生成等任务中取得了很好的效果。

文章来源:https://blog.csdn.net/m0_67647321/article/details/139648119