【Jev】商品名のカテゴリ判定をLLMからJevに移したら何が変わるのか100件で確かめてみた

• #AIエージェント
• #機械学習
• #DevOps・CI/CD

AIで作成し、掲載基準に基づいて自動選定した要約です。

• Jevは正答率85%でLLMの93%には及ばないが、確信度で誤りを絞り込める
• 確信度1.00の43件は98%的中、0.50未満の12件は33%的中、LLMは確信度が無いため全件流すか人検査が必要
• 確信度0.5でしきい値を切ると自動処理88件が92.0%になるが、0.9まで上げると人が見る件数が35件に増える