量子化推論モデルはより長い思考が必要だと考えていますが、実際には不要です

ニュース概要

学習後量子化（PTQ）は大規模言語モデルを効率的にデプロイするために広く使用されていますが、推論モデルへの影響はまだ十分に理解されていません。数学、コーディング、科学QAにおいて、積極的なPTQは精度を低下させながら思考の連鎖（CoT）の長さを増加させることが分かりました。驚くことに、より長いCoTは必ずしも必要ではないことが判明しました。