Scraps 最終更新 2026/11/16 11:40

#テスト

@鱈 /

GitHub Copilot Computer UseはE2Eテストの代わりになるのか試してみた

  • GitHub CopilotのComputer UseでE2Eテストの一部を代替できると試した
  • 自然言語で操作シナリオを渡すことで画面操作を実行、ドラッグ&ドロップやアイコン操作を含む6つのシナリオを実施
  • ホバー操作やツールチップの確認は制約があり、人間の目視確認が必要な場合がある

@tetsu.k /

良いテストを書き、良いテストを見分ける ─『単体テストの考え方/使い方』のエッセンス

  • 単体テストの良し悪しを判断するための4つの基準が示されている
  • 退行に対する保護、リファクタリングへの耐性、迅速なフィードバック、保守のしやすさの4つがテストの価値を決める
  • テストが誤報を起こさないことを優先し、設計を見直すことでテストの信頼性を高めるべき

@Isuzu /

QAエンジニアがAI生成E2Eテストの「Spec Drift」を多層で潰した話 〜事前検査・実行時検出・仕様追従〜

  • AI生成E2Eテストで仕様と実装のズレを事前検査と実行時検出で潰す仕組みを構築
  • 事前検査で4段階判定、実行時検出で失敗原因を3分類、ヒーリング3階層で自動修正範囲を段階的に広げる
  • テスト生成前にズレを検出する事前検査と、失敗時に原因を分類して自動対応する仕組みを組み合わせる

@おかもり /

HTMLを解釈できないJevに、Line-by-line searchでスクレイパーの失敗原因を探させてみた

  • JevにHTMLの行番号を付けて検索させることで、スクレイパーの失敗原因を特定できる
  • HTMLの各行にL000|の形式で行番号を付けて渡し、選択肢に行IDを設定して検索、Noulで要素の存在確率を確認
  • 役割の説明文の書き方で検索結果に影響が出るため、明確な説明文の作成が重要

@keikeigo /

「TestingLibraryElementError: Found multiple elements with the text」の解決方法【Vitest/React Testing Library】

  • VitestでReactテスト中に複数のDOMがレンダリングされてエラーが発生
  • beforeEachでrenderを実行しafterEachでcleanupを追加、またはグローバルにafterEachを設定
  • テストごとにDOMをクリーンアップしないとエラーが発生するため、afterEachでcleanupを実行する

@ikumi /

業務と両立しながら継続するGoogle Cloud勉強会の作り方

  • Google Cloud Associate Cloud Engineerの資格取得を目指した勉強会を2ヶ月間実施し、参加者の半数以上が合格した
  • 持ち回り制の運営、Power Automateによる自動リマインド、問題の資産化と復習回の実施
  • 問題作成の負荷を減らすために過去問を主に使い、生成AIを活用した解説作成を検討すべき

@ikedan /

QAにおける敵対的レビューのすゝめ

  • 敵対的レビューをかけると反例が無限に出てきて実用不能になる。前提と止める基準を明確にすることでレビューの有効性を高められる
  • 前提を明文化し、検知器で違反を検出、指摘を3つに分類、実データの誤判定につながる指摘だけをブロッカーにする
  • 前提と止める基準を事前に伝えることで、レビューが終わりのない反例探しから道具を育てる対話に変わる

@GitHub OSS /

e2e

  • e2eは自然言語でテスト目標を記述し、エージェントがアプリを操作して結果を検証するエンドツーエンドテストフレームワーク
  • エージェントステップが記録され、以降の実行ではモデル呼び出しをせずに再実行される。テストにエージェントステップがなければモデルは不要で、独自のサブスクリプションやAPIキー、ローカルモデルを指定できる
  • テストコードにエージェントステップを含む場合、そのアクションが記録され、以降の実行ではモデル呼び出しをせずに再実行される

@nolanlover0527 /

「実装に問題が無いか調査して」は意味が無い? AIレビューが空振りする理由と効果的な指示のテンプレ

  • 「問題ないか調査して」はAIの自己評価にとどまりやすく、信頼できる検証手段を渡す必要がある
  • テスト実行やビルド、公式ドキュメントとの照合、合格基準の明示が効果的
  • テストが通ることと正しいことには違いがあり、人間のレビューは不可欠

@文系AWS系クラウドエンジニアさん /

AWSの勉強用アカウントで、使っていないIPアドレスに払った3.60ドルを数えてみた

  • AWSのElastic IPアドレスが未使用でも3.60ドルの請求が発生した
  • Elastic IPは停止したEC2から解放しないと料金が発生し、1時間0.005ドルで1日0.12ドルとなる
  • 未使用のElastic IPは解放する必要があり、試験対策として料金問題を54問解くことが推奨される

@Link and Motivation Developers' Blog /

エラー対応設計: 例外と障害を区別しよう

  • エラー監視ツールに通知すべきは障害であり、例外や異常系の処理は区別する
  • 異常系は仕様通りに処置されれば障害ではない、バグはコードの復旧が必要、例外は言語機構で異常系とバグの両方に発生
  • 例外を捕捉する箇所で復旧作業が必要かどうかを判断し、過剰な通知を避ける

@wheesnoza /

LaravelのAI開発を支える品質検査と開発フロー

  • LaravelでAI開発を支える品質ハーネスとして、静的解析やテストの結果を機械的に検証する仕組みを導入している
  • Larastanで型の不整合を検出、Pest Archテストで設計ルール違反を検出、Laravel Pintでコードスタイルを統一
  • テストの実行結果と行カバレッジ100%を基準にし、ミューテーションテストで検証力の確認が必要