Jev 互換の判断AI「Clef」と Haiku 5.5 に同じ分類を306問。Clef が自信を持った13%は95%当たった

• #生成AI・LLM
• #AIエージェント
• #機械学習

AIで作成し、掲載基準に基づいて自動選定した要約です。

• Clef が自信を持った13%の問題は95%当たった
• Clef の confidence 0.8以上（13%の問題）→ 正解率95.1%、Haiku 5.5 の確率0.9以上（12%の問題）→ 正解率89.2%
• Clef の confidence 0.8以上は95%当たるが、Haiku は確率0.9以上で89%で、確信度の正直さは Haiku のほうが高い