アップルの研究者は LLMは論理的推論よりも パターンマッチングに 頼り 複雑な質問に 苦労していると発見しました Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.
Appleの研究者は,大型言語モデル (LLM) の数学的推論能力について懸念を表明し,入力の変化に基づいてその反応が大きく異なることを発見しました. Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. これは,LLMが真の論理的推論よりも確率的パターンマッチングに依存することを示唆しています. This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. これらの能力をより良く評価するために,GSM-シンボリックの基準を導入し,LLMが複雑な問題と闘うことを明らかにし,信頼できる推論の限界を強調しました. To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.