ソフトマックスが頂点で失敗する場合：InfoNCEの極値補正

ニュース概要

InfoNCEは標準的な対照学習の目的関数ですが、そのソフトマックス形式は単なる計算上の便宜ではなく、最高スコアの例がどのように選択されるかについての統計的仮定もエンコードしています。極値理論を使用して、この仮定が正規化と一致していないことが多いことを示します。