言語モデルにおける学習前段階の類似現象：遅延文法汎化の追跡

ニュース概要

グロッキング（神経ネットワークが訓練データに適合した後に長時間にわたって汎化する現象）は、多くのエポックでの教師あり設定において研究されています。LLM学習前段階は代わりにラベルなしコーパス上の次トークン予測に関与し、データ反復が限定的で明示的な訓練/検証分割がない状況です。