Scraps 最終更新 2026/10/02 00:40

#機械学習

@ko_koyama_w /

AWS AgentCore Evaluationsを使ってAIエージェントを評価してみた

  • AWS AgentCore EvaluationsでAIエージェントを評価できるマネージドサービスが登場
  • Built-in evaluatorsでResponse Quality・Goal Success Rate・Tool Selection Accuracyなど5つの指標を自動評価、LLM-as-a-Judgeで品質スコア算出
  • Helpfulnessはユーザー視点での役立ち度を評価し、Goal Success Rateは目的達成度を別軸で測るため複数指標で総合評価が必要
AWS AgentCore Evaluationsを使ってAIエージェントを評価してみた - Qiita

@ケン吉 / ゼロから作るAIアプリ開発 /

「自信満々に間違える」AIをどう直す？ログ異常検知のキャリブレーション問題とLoRD

  • ログ異常検知モデルの過信問題を解決するLoRDという補正手法が提案された
  • オートエンコーダによる再構成誤差を活用した信頼性の距離計算と、確信度の補正ポリシー
  • 補正は予測ラベルを変更せず確信度だけを調整し、運用側に信頼できない予測のシグナルを伝える
「自信満々に間違える」AIをどう直す？ログ異常検知のキャリブレーション問題とLoRD

@416nishimaki /

BobとCPLEXで顧客に値引きクーポンを出し分け利益を最大化させる（C-1）

  • 顧客に値引きクーポンを出し分け利益を最大化する最適化手法が紹介された
  • SPSS Modelerで予測スコアを算出し、CPLEXで最適化計算を行う。500円〜2000円のクーポンを対象者に割り当てる
  • 小規模な問題ではPythonで可能だが、業務規模では商用ソルバーが必要なケースが多い
BobとCPLEXで顧客に値引きクーポンを出し分け利益を最大化させる（C-1） - Qiita

@ぜま /

ウィトゲンシュタインを通して見る生成AIの現在地

  • 生成AIは言葉の使用から意味を理解できるが、生活経験の欠如により限界がある
  • ウィトゲンシュタインの言語ゲーム理論と単語埋め込みの統計的分析が中心。言葉の意味は使用に依存し、LLMは文脈に応じた応答を生成するが、感覚や身体経験の理解は不十分
  • LLMは文法的・文脈的な理解は可能だが、感覚的・身体的経験に基づく判断は人間と差がある
ウィトゲンシュタインを通して見る生成AIの現在地

@songchong /

AIエージェント14製品を徹底比較｜暴走せず社内業務を任せられるのは？ Claude・Cursor・Devin・Manus…【中小企業の導入判断ガイド】

  • AIエージェント14製品の業務適性やセキュリティ、費用対効果を比較した
  • 導入容易性、業務適合性、委任統制、安全主権、隔離復元、連携操作、費用明瞭、法的責任の8つの指標で評価
  • 導入時に人間介在や隔離環境の設定が必須で、費用は従量課金型の場合は上限設定が必要
AIエージェント14製品を徹底比較｜暴走せず社内業務を任せられるのは？ Claude・Cursor・Devin・Manus…【中小企業の導入判断ガイド】 - Qiita

@issei_y /

ルービックキューブを一撃で解く専用LLMを作った

  • ルービックキューブを一撃で解く専用LLMをゼロから作成した
  • state embeddingとTransformerを組み合わせたモデルで、18種類のアクションから次の手を生成する。Best of 8の学習手法を採用
  • 学習時に成功例のみを教師データとして使用し、難易度に応じて自動で学習データを調整した
ルービックキューブを一撃で解く専用LLMを作った

@aokikenichi /

生成AIで分析できる時代。それでも読むべき機械学習・データ分析70冊【2026年版】

  • 生成AI時代に必要な機械学習・データ分析の70冊が選定された
  • ビジネス課題定義・結果説明、入門・アラカルト的な本、手法の本質的理解が重視される
  • 生成AIで代替できる実践方法は減り、結果の解釈やビジネス文脈への翻訳が重要になる
生成AIで分析できる時代。それでも読むべき機械学習・データ分析70冊【2026年版】 - Qiita

@異世界の音楽家｜ai motion musics /

Claude Fable 5.1「トークン消費が激しい」の正体｜22人の報告を全件照合した‼️

  • Claude Fable 5.1はキャッシュ読みの単価が下がったが、トークン消費量が増加している
  • キャッシュ読み単価が1.00ドルから0.25ドルに下がった、長く走れるようになったことでトークン消費量が増加
  • トークン消費量が増えるのは、単価が下がっても枠が量で減るためで、効率を上げるにはエフォート設定を見直す必要がある
Claude Fable 5.1「トークン消費が激しい」の正体｜22人の報告を全件照合した‼️｜異世界の音楽家｜ai motion musics

@taki_tech /

なぜPythonは選ばれ続けるのか——歴史・強み・10の活用分野から考える

  • Pythonが選ばれ続ける理由は、豊富なライブラリと情報の蓄積にある
  • 部品（ライブラリ）の層が厚く、情報が見つかりやすい。pandasやscikit-learn、OpenCVなどの具体例が挙げられている
  • 実行速度やモバイルアプリ開発では他の言語に優位性があるため、開発の速さと部品の豊富さが効く領域で使うのが適切
なぜPythonは選ばれ続けるのか——歴史・強み・10の活用分野から考える - Qiita