Scraps 最終更新 2026/10/01 20:40

#データ分析

@wfukatsu /

AIに営業プロセスを一周させた(2)議事録を確度つきの事実に分解する

  • 議事録を確度つきの事実に分解する仕組みが導入されている
  • 確度は確認済・推定・未確認の3値で、推定を確認済に格上げしない。矛盾は併記し、温度感の欄に根拠を記載する
  • 未確認事項を明示することでAIの誤判断を防ぎ、実務での判断材料となる。矛盾は上書きせず併記する。

@f-segawa /

Data Movement Policy(DMP)試してみた

  • データ移動ポリシー(DMP)を設定して内部ステージへのアンロードを制限できる
  • COPY_INTO_INTERNAL_STAGEタイプのルールで行数制限を設定し、ENFORCE_RULESとALERT_RULESでブロック・アラートを分離可能
  • 列レベルのタグではDMPが適用されず、テーブルレベルに設定する必要があることが確認された

@masu /

Why are you using pandas? -pandasとpolarsを内部構造から使い分ける-

  • pandasとpolarsはデータの持ち方と処理のさせ方が異なるため、用途に応じて使い分けるべきである
  • numpy配列 vs Arrow配列、即時評価 vs 遅延評価、シングルスレッド vs マルチスレッド
  • 文字列カラムのメモリ効率はpyarrowを導入することで改善可能だが、処理のさせ方の差はpandasでは埋められない

@Yasuhito Morimoto /

国内AIエージェント動向(2026/8/25号)

  • 国内AIエージェントが業務フローから事業運営へと適用範囲を広げている
  • Hmcommは1人で複数Agentで事業運営、Ownrは新規事業の作る・売る・学ぶを連続実行、クラシルは販促費管理、TIMEWELLは図面・論文処理、JPiXは投資検討支援
  • 人間の承認と例外処理、公式情報への限定、PIIマスキングなどの権限境界が明示されている

@ihiratch /

状態空間モデルにおけるFilteringとSmoothingの違いを理解する

  • Filteringは過去の観測から現在の状態を推定し、Smoothingは未来の観測も使って過去の状態を推定し直す
  • Filteringはp(x_t|y_{1:t})を計算し、Smoothingはp(x_t|y_{1:T})を計算する。予測ステップとベイズ更新、後ろ向きの尤度計算が主な手順
  • SmoothingはFilteringより19%高い推定精度を示し、信用区間も狭くなるが、両者のアンサンブルでさらに精度向上が可能である。

@Takuma Kuga /

Snowflake CoCoでdbtモデル生成を試す:自然言語・設計情報・実装ルールで何が変わるか

  • Snowflake CoCoで自然言語や設計情報を入力した際、dbtモデルの生成結果に実装ルールが反映される
  • パターン③ではCTE構成や命名規則が生成コードに反映され、パターン②ではdbt設定やテスト定義がYAMLに含まれた
  • キー項目の扱いがJOIN条件と出力項目で不一致になる可能性があり、実データとの照合が必要

@taku_life /

AIエージェント初心者がポケカの知識を使ってルールベースAIを改善してみた

  • ルールベースAIのパワープロテイン使用判断をポケカ知識で改善した
  • パワープロテインの使用条件に残りHPとサポートカードの使用予定を考慮、scoreの計算を変更
  • 無駄な使用を減らすことで試合の勝率は上がったが、全体的なスコア変化は小さかった

@Tomoya Kitayama | AlpacaTech /

オーバーナイトプレミアムに関連した価格ドライバー特徴量の話

  • オーバーナイトプレミアムの銘柄ごとの偏りはドライバーの時間帯で説明される
  • ドライバーがアジア時間で動く銘柄は夜間リターンが高くなり、米国時間で動く銘柄は日中リターンが高くなる
  • 銘柄のドライバー時間帯と参加者構成の変化を特徴量として利用できる

@共通点ゼロの大学生が集まって、医療アプリ開発してみた /

【イベント大成功】小学生向け!Geminiを使った夏休み企画を開催してきました🌻✨

  • Geminiを使った小学生向け夏休みイベントを開催した
  • オリジナル絵本作りと説得チャレンジが主な企画、Geminiのクリエイティビティと子どもたちの発想力が融合
  • AIの楽しさを伝える活動として、子どもたちの創造性を引き出す手法が注目される

@bonyan /

DWHとは?分析基盤の全体像を理解する ~Snowflake・dbt・Power BIで実現するモダンDWH~(第1回)

  • DWHは分析に必要なデータを集約・蓄積する基盤で、ETL/ELTとBIツールと連携する
  • ETLはデータ加工後に取り込み、ELTはデータをDWHに取り込んでから加工する。Snowflakeとdbtを組み合わせてDWH構築する
  • DWH設計ではデータ品質と統一された集計ルールが重要で、複数システムのデータを統合する際の課題を解決する

@colum2131 /

Databricks の Declarative Automation Bundles を用いた機械学習データセット作成基盤の構築

  • DatabricksのDeclarative Automation Bundles(DAB)を活用してデータセット作成基盤を構築し、運用効率を向上させた
  • DABでジョブ定義や依存パッケージをコードで管理し、Serverless Computeで高速なデータ処理を実現、MosaicML StreamingDataset(MDS)をデータ形式に採用
  • Serverless Computeの制約に対応するため、依存パッケージの事前取得やDataFrameのmaterialize機能を導入し、リトライ制御を実装する必要がある。