Transformer 架构的伟大之处，不仅在于提出了注意力机制，更在于提供了一套 “模块化” 的设计框架 —— 通过组合编码器（Encoder）和解码器（Decoder），可以衍生出多种结构变体。从 BERT 的 “纯编码器” 到 GPT 的 “纯解码器”，从 T5 的 “编码器 - 解码器” 到 ...

Transformer，6岁了！2017年，Attention is All You Need奠基之作问世，至今被引数近8万。这个王者架构还能继续打多久？ 2017年6月12日，Attention is All You Need，一声炸雷，大名鼎鼎的Transformer横空出世。 它的出现，不仅让NLP变了天，成为自然语言领域的主流模型，还成功跨界CV，给AI界带来了意外的惊喜。 到今天为止，T ...

本文针对无人机视觉系统中语义分割任务计算复杂度高、难以在资源受限设备上实时部署的问题，提出了一种轻量级U-Net改进架构ITE-U-Net。该模型通过引入高效的Identity Transformer Encoder(ITE)替代传统Vision Transformers(ViTs)中计算密集的自注意力机制，结合空间金字塔池 ...

药物与靶标之间的结合亲和力的预测对于药物发现至关重要。然而，现有方法的准确性仍需提高。另一方面，大多数深度学习方法只关注非共价（非键合）结合分子系统的预测，而忽略了在药物开发领域越来越受到关注的共价结合的情况。 上海科技大学的研究 ...

机床振动引起的表面质量分类中，Transformer编码器与Mamba SSM的性能比较。通过模拟和实验数据，发现Mamba SSM在保持高分类准确性的同时，计算效率提升4.7倍，实时性达0.38ms，满足数控机床亚毫秒响应需求，并验证了频谱特征的有效性。 该研究通过对比Transformer ...

本文工作解决了Multi-Head Self-Attention(MHSA)中由于计算/空间复杂度高而导致的vision transformer效率低的缺陷。为此，作者提出了 ...