一、空间注意力机制 空间注意力机制是一种用于图像处理和计算机视觉任务中的方法，它可以自动识别和选择图片中最有用的部分，以便更好地完成任务。其原理是基于图像的像素之间存在着一定的联系，因此通过计算像素间 … Continue reading 空间注意力机制和通道注意力机制(通道注意力机制和空间注意力)
标签： 注意力
多头注意力机制详解(图解多头自注意力机制)
一、什么是多头注意力机制 多头注意力机制（Multi-Head Attention）是神经网络中的一种注意力机制，其作用是让网络能够在多个视角上对数据进行关注和处理。 多头注意力机制在自然语言处理中广 … Continue reading 多头注意力机制详解(图解多头自注意力机制)
《神经网络与深度学习》-注意力机制与外部记忆
注意力机制与外部记忆 1. 认知神经学中的注意力 2. 注意力机制 2.1 注意力机制的变体 2.1.1 硬性注意力 2.1.2 键值对注意力 2.1.3 多头注意力 2.1.4 结构化注意力 2.1 … Continue reading 《神经网络与深度学习》-注意力机制与外部记忆