Self-Attention

「一個ずつではなく、全部を同時に見比べる」　4ページ　2026-09-22

「AIは文の中の『それ』が何を指すか、どう分かるの？」というみおの疑問から。文の中の単語どうしの関係の強さを計算するSelf-Attention、クエリ・キー・バリューの3つの役割、Source-Target Attentionとの違い、RNNを使わないTransformerと位置エンコーディングが必要な理由を4ページで。