判断特化AI「Jev」はUX検証に使える？ 正解手順なしでWebサイトを探索させてみた
- Jevという判断特化AIを使ってWebサイトのUX検証を試みた
- Jevに目的と画面情報を渡して操作を選ばせ、Playwrightで実行。GoodとBadの2種類のマイページで比較実験
- UIの導線が分かりにくいとJevが途中停止する傾向があり、人間の操作と比較する必要がある
#テスト
AIがテストを書ける時代、「何をテストしないか」をどう決めるか
- AIがテストを書ける時代に「何をテストしないか」を判断する必要性が指摘される
- 変更履歴をテストとして残すのではなく、守るべき仕様を確認し、既存の保証を調べる
- テストを追加する前に既存の保証を確認し、不要なテストを減らすことが重要
【QA実務】API不具合をRequest・Response・DBから切り分ける調査フロー
- API不具合の調査ではRequest・Response・DB・再取得を順に確認する
- RequestのURL/Method/Payload、ResponseのSuccess状態、DBの更新状況、再取得APIの結果を確認
- DBの値が正しいからといってAPIが正しいとは限らず、取得処理の仕様を確認する
【学習記録ツール追加実装】SPAアプリをSupabaseでデータ永続化＋CICD組み込み+自動テスト対応
- 学習記録ツールにSupabaseでのデータ永続化、GithubActionsによるCICD、Vitestでの自動テストを実装した
- Supabaseでデータ永続化、GithubActionsでCICD、Vitestで自動テストを導入。カスタムフックでデータ取得処理を分離し、UI側のstateを楽観的に更新する設計
- テストを書く前に設計を変更する必要性や、ドメインモデリングの重要性を実体験で学んだ。設計力が開発の正確性と効率に直結する
実務のA/Bテストで学んだ、p値との付き合い方
- A/Bテストでp値だけに頼らず、仮説との整合性やセグメント分析、時系列変化などを考慮した意思決定が必要
- 仮説との整合性、セグメントごとの結果、時系列の変化、効果量の確認
- p値が0.05以上でも施策の可能性を検討し、セグメントごとの効果を確認する
Mocha 向け SDK を参考に Playwright で Google Cloud Synthetic Monitoring を実装する
- PlaywrightでGoogle Cloud Synthetic Monitoringを実装する方法を解説
- カスタムレポートとhandlerの実装、JSON形式の結果出力がポイント、Mochaと同様の構造を再現
- 結果のJSON形式をSynthetic Monitoringで判断できるようにするためのカスタムレポートの実装が必須
品質メトリクスの運用、どうしてる？ ―― データを疑い、リスクを拾う。ログラスQAエンジニアの活動
- 品質KPIを定義し、その収集・集計・分析を継続的に行っている
- インシデントの収束速度と予防の2つの指標を用い、Notion DBのプロパティ定義を見直し、AIと人間の分析を組み合わせる
- KPIの定義を見直すきっかけになるような分析結果を出すために、AIの要約と明細の数値を突き合わせる
テスト開始を待たない QA ー テスト以外でも価値を発揮するための実践例
- QAエンジニアがテスト以外の段階で品質向上に貢献する3つの取り組みを紹介
- 仕様共有ミーティングを共同レビューの場に、テストレベルごとの担当チームの振り分け、テスト設計技法をチーム全員の仕様理解に活用
- 実装前に仕様の考慮漏れを発見できるようになった、QAチームが仕様への解像度を高めた状態でテスト設計できるようになった
エラー対応設計: 例外と障害を区別しよう
- エラー処理では例外と障害を明確に区別し、通知の対象を障害に限定する
- 例外はプログラミング言語の機構で、準正常系・異常系・バグのいずれでも発生する。障害は復旧作業が必要かどうかで判断する
- 例外を捕捉する場所は、復旧作業が必要な障害のみに限定し、過剰な通知を防ぐことが重要
AZ-900 の次に勉強する Azure 資格3つを、公式の出題比率と問題数で並べてみた
- AZ-104、AZ-700、PL-300 の3つのAzure資格試験の出題比率と問題数が比較されている
- AZ-104は5分野でIDとガバナンスが20〜25%、AZ-700はネットワーク関連が25〜30%、PL-300はデータ準備・モデル化・視覚化が25〜30%
- 試験の出題比率を確認し、弱い分野から学習を進めることが効果的である
単体テストの実行時間を6割程度削減してみた
- 単体テストの実行時間を63%短縮した
- カバレッジ収集の停止、Prismaのimport最適化、Vitestのforksからthreadsへの変更
- カバレッジ収集に7分かかっていたため停止することで大きな改善効果があった
AIのテスト観点を「決定論的」にする - テスト観点カタログを作った
- テスト観点カタログを導入し、仕様書に書かれない振る舞いを機械的に確認できるようになった
- UI要素 × 役割で確定観点を定義し、適用条件を設定して不要な観点を防ぐ。プレースホルダを調査値で埋め、未確認時は※要確認を付ける
- カタログ由来の観点はレビューで削除されず、テストの抜け漏れを減らす効果が確認されている。未収録の要素種別は実装を進めれば解消する
P値は帰無仮説が誤っている確率ではない
- P値は帰無仮説が誤っている確率を測らない
- P値は帰無仮説が正しいとき一様に分布し、事前確率と対立仮説の設定によって事後確率が大きく変わる
- P値が0.05でも帰無仮説が正しい確率は29%以上あり、効果量や標本サイズに注意が必要
Superpowers
- Superpowersはコードエージェント向けの開発手法を提供する
- TDD、YAGNI、DRYを強調し、サブエージェント駆動開発を実装
- サブエージェントによるタスク処理で数時間自動実行可能
良いAIの行動、メモ
- コードの設計やコメントの書き方、知識の更新方法を個人的に重視している
- 拡張性を標準とし、知識の鮮度を確認するためのWebSearch、コメントは直下のコードだけを説明する
- 古い知識は有害なのでWebSearchで確認し、コメントはコードの理解を助けるために名前や構造を変更する
【JavaScript】truthyな値とfalsyな値について
- JavaScriptでfalseと判定されるfalsyな値とtrueと判定されるtruthyな値のリストが公開された
- falsyな値はfalse、0、-0、0n、空文字、null、undefined、NaNの8つで、空配列や空オブジェクトはtruthyとなる
- 数値の0と文字列の"0"の違い、空配列や空オブジェクトがtruthyになる点に注意が必要
AIと帳票デザイナを作った25日（3）todos/ 280枚のレビュー在庫
- コードレビューの在庫を280枚のMarkdownファイルで管理し、状態と優先度を明記することで課題の可視化と優先順位付けを実現
- 1ファイル1指摘のフォーマットで選択肢A/B/Cを提示し、人間が採否を判断、複数のレビュアーが異なる観点から指摘
- 連番で束ねてPRにまとめることでコンフリクトを減らし、解決した課題はdocs/solutionsに具体例とともに記録
テスト「以外」のQA活動を全部並べてみた
- QA活動はテスト実行以外にも要件レビュー、設計レビュー、リスク評価、メトリクス活用などがある
- 要件レビューで曖昧な仕様を防ぐ、変更リスク評価で重点テスト箇所を特定、メトリクスで品質傾向を可視化
- バグ分析から傾向蓄積までを回すことで同じ失敗を繰り返さない仕組みを構築できる
どこまで見る？ AIレビューとCIが通ったあとの人間レビューを3段階で決める
- AIレビューとCIの結果をもとに人間レビューの深さを3段階で判断するフローを紹介
- Level1はPR内で判断が閉じる、Level2は後続確認を残す、Level3はPR外の根拠を調べる
- AIレビューの条件やCIの結果が揃っていればLevel1で終わる、後続確認が必要ならLevel2、PR外の根拠が必要ならLevel3に分ける
「コード生成の次は「検証」！AI開発で生き残るための3つの防衛策」～【python】今週の人気記事TOP5（2026/09/06）
- AI開発で生き残るための3つの防衛策が提案された
- 不変条件を使ったテスト設計、サイレントバグの発見方法、ドキュメント運用の重要性が挙げられている
- AIの誤動作を防ぐには検証プロセスをしっかり設計する必要がある
