Transformer の query-key パラメータ行列の固有値分布が集中すると注意機構の分布も集中することを示した論文が、学習理論に関する国際会議 International Conference on Machine Learning (ICML) に採択されました：

Han Bao, Ryuichiro Hataya, Ryo Karakida. Self-attention Networks Localize When QK-eigenspectrum Concentrates. In Proceedings of the 41st International Conference on Machine Learning (ICML), 2024.