Reasoning models struggle to control their chains of thought, and that’s good
推論モデルは思考連鎖の制御に苦戦する — そしてそれは良いことだ
OpenAIがCoT-Controlを導入し、推論モデルが思考連鎖の制御に苦戦することを発見。この特性が安全性の監視装置として機能することを示した重要な研究。
翻訳全文を読む
推論モデルは思考連鎖の制御に苦戦する — そしてそれは良いことだ
OpenAIが「CoT-Control」を導入し、推論モデルが自身の思考連鎖(Chain of Thought)を制御することに苦戦していることを発見した。これはAI安全性の観点から、思考連鎖の監視可能性(monitorability)が安全装置として機能することを裏付ける重要な知見である。