Scraps 最終更新 2026/11/16 11:31

#データ分析

@nktm0511 /

その中間テーブル、本当に必要?Power BIの容量を大きく削減できた話

  • Power Queryの中間テーブルの読み込みを解除することでモデル容量を半分に削減
  • 中間テーブルは後続クエリから参照されていてもモデルに読み込まない設定に変更、不要な列や自動日付テーブルも削除
  • 中間テーブルがモデルに読み込まれていないか確認し、読み込みを解除することで容量削減が可能

@Ryosuke Hata /

[DataRobot] アプリに依存しているデプロイを探す

  • DataRobotで停止中のアプリに関連するデプロイをAPIで検出できる仕組みを構築した
  • Custom Application APIとLineage APIを組み合わせて、Deployment IDを取得し、依存関係をグラフでたどる
  • 停止候補の判定には他のアプリからの参照も考慮するが、外部システムからの直接利用は検出できない

@たきこみ /

Horizon Contextによるメタデータ管理:App Runtimeをデータリネージュに加える

  • SnowflakeのHorizon Contextで外部リネージュを登録できる機能が追加された
  • メタデータコネクターとOpenLineageイベントによるリネージュ登録、APIエンドポイントと画面ノードのマッピング
  • OpenLineageのcolumnLineageファセットでカラムレベルリネージュを表示できるが、スキーマ情報が必要で、その他のファセットは無視される

@tya-guin /

jpstatで始めるe-Stat API入門

  • Rでe-Stat APIを使うためのjpstatパッケージの使い方が解説されている
  • estat()でメタデータ取得、activate()で分類選択、collect()で実データ取得、特殊値の扱いに注意
  • APIキーは.Renvironに保存し、コードに直接書かないこと

@Lauren Forristal /

FloqerのAIエージェントがB2B営業チームの顧客リサーチを自動化

  • FloqerはAIエージェントで営業チームの顧客リサーチを自動化する
  • AIエージェントが100以上のサードパーティデータソースから情報を収集し、変更を継続的にモニタリングする
  • 顧客情報の更新に70%の時間短縮が可能で、企業は自社でデータをホスティングしたい要望がある

@Takaki Ihara /

【SWTT 2026】Snowflake Well-Architected Frameworkで実現する実践的なデータマネジメント

  • データマネジメントはDMBOKで診断し、Snowflake WAFで治療する3ステップで進められる
  • DMBOKの11領域で現在地を評価し、WAFの5つの柱に治療策を当てはめる、自社の意思決定で仕分ける
  • 診断で見つけた弱点をWAFで改善する際、組織のルールや他システムとの連携は自社の意思決定が必要

@koki takeishi /

Helix Foundry~顧客データがつながるオントロジーをローカルで作るOSS

  • Helix Foundryはローカルで動作するデータワークスペースで、複数のデータソースを統合してオントロジーを作成できるOSS
  • DB、SaaS、REST API、CSVなどからデータを取り込み、一意性や値の一致をもとにオントロジーを提案し、AIで説明を補完する
  • 実際のDB接続情報やAPIキーを入力する際は、アクセス先やデータの送信先を確認し、セキュリティに注意する必要がある

@Theresa Loconsolo, Anthony Ha, Rebecca Bellan, Sean O'Kane /

AmazonがデータセンターのNDAを廃止、AIエージェントがクレジットカードを求める

  • AmazonがデータセンターのNDAを廃止し、AIエージェントがクレジットカードのアクセスを求める
  • データセンターのNDA廃止と、AIエージェントがウェブサイトを通じて個人情報にアクセスする動きが進む
  • データセンターの透明性向上が地域の反発を減らす可能性があるが、AIエージェントの個人情報収集には注意が必要

@Ryusei.Taniguchi /

SAP BDCナレッジ集:SAP Analytics Cloudの非対称レイアウトを試してみた

  • SAP Analytics Cloudで非対称レイアウトが導入され、実績と予測を1つの表で連続して表示できるようになった
  • 実績は基準月まで、予測は基準月の翌月から年末までをそれぞれ表示する設定が可能で、Dynamic Date Rangeと組み合わせて使用
  • 基準月を実績の最終月として設定する必要があり、Date型の日付ディメンションが必要でカスタム日付型はストーリーごとに1つしか使えない制約がある

@ながぬ~ /

OneLake のショートカットは「リンク」。作る・読む・消すで挙動を確かめる

  • OneLakeのショートカットはリンクとして動作し、中のファイルを削除すると参照先も消える
  • ショートカットの中のファイルを消すと参照先の実体も消え、ショートカットそのものを消すと参照先は残る
  • 中のファイルを消すと参照先も消えるため、削除操作には注意が必要

@レトリバ広報 /

in silico オフターゲット解析に向けた近似文字列探索の高速化

  • in silicoオフターゲット解析の近似文字列探索を高速化する手法が提案された
  • 双方向FM-indexとバッチ処理、プリフェッチを組み合わせて、ハミング距離とレーベンシュタイン距離の両方で検索を高速化
  • ハミング距離ではバックトラッキングより10.7倍高速、レーベンシュタイン距離では6.8倍高速で、延伸回数も半分に削減された

@Y_uuu /

Snowpipe + Stream + Task とは?Snowflakeで「取り込み」と「加工」を自動化する基本パターン

  • Snowpipe + Stream + Task を使ってS3のファイルを自動で取り込み加工する仕組みを構築できる
  • SnowpipeでS3のファイルを自動取り込み、Streamで変更データを追跡、TaskでSQLを定期実行して加工
  • Taskは実行条件を指定しないと無駄に実行されるため、SYSTEM$STREAM_HAS_DATAで条件をつけること

@Masaki Hara /

JSONはシンプルで明快な仕様が魅力ですが、そんなJSONでも微妙な実装差異が生じる罠がいくつかあります。本稿はこうした機微を実装の比較を通

  • JSONの実装差異が数値の扱い、サロゲートの処理、オブジェクトキーの重複と順序性で生じる
  • 数値の整数と小数の区別、孤立サロゲートのエスケープ処理、オブジェクトキーの重複時の後勝ち/前勝ちの挙動
  • JavaScriptは数値を浮動小数点数として扱い、Goは整数型で受け取る場合に孤立サロゲートをエラーにする

@maskot1977 /

耳で聞く!Python で学ぶ マクロ経済学 入門 24

  • 政府の赤字が民間の黒字を生む仕組みをPythonでシミュレーションした
  • セクターバランスの等式、国債発行のシミュレーション、マネタリーベースとマネーストックの違い
  • 政府支出が民間の預金を増やす仕組みを理解するためには税や国債の順序を正しく把握する必要がある

@Dataiku NTTDATA Consulting /

Dataiku初心者が公式Learning Pathを一通り学んでみた ― 認定資格5つの学習ロードマップと到達点

  • Dataikuの公式Learning Pathを学ぶことで、データ準備から生成AIまでを扱える広範なプラットフォームであることが分かる
  • Core Designerでデータ処理の基本、ML Practitionerで機械学習、MLOps Practitionerでモデル運用、Generative AI Practitionerで生成AI活用を学ぶ
  • GUIで処理できるが、統計や機械学習の知識がないと意味が理解できないため、基礎知識の補完が必須

@kamo-shika /

Databricks で個人情報をマスクするなら「見せない・消す・見つける」で考える(Free Edition で検証)

  • Databricksで個人情報をマスクする際には「見せない・消す・見つける」の3つのアプローチを区別する
  • カラムマスクとABACポリシーで読み取り時にマスク、ai_mask()でデータを書き換える、Data ClassificationでPIIを検出する
  • カラムマスクはタイムトラベルやDelta Sharingでは使えない、ai_mask()は英語向けで日本語の崩れたテキストでは一部しかマスクできない

@Issei Naruta /

Aurora PostgreSQL から Databricks Delta Lake テーブルにクエリする

  • Aurora PostgreSQL から Databricks Delta Lake テーブルにクエリできることが確認された
  • Iceberg REST Catalog API 経由で Glue catalog federation を利用し、S3 に保存された Delta Lake テーブルを Aurora から SELECT できる。ARRAY / MAP / STRUCT 型は非対応で、prepared statement でデータ更新が反映されない現象が確認された
  • Aurora のロールに S3 アクセス権を付与する必要があり、Unity Catalog の row filter や column mask は適用されない。データの鮮度を気にする場合は prepared statement の使用に注意が必要

@Hiromu Ogawa /

BigQuery 会話分析 データエージェント超入門【利用編】

  • BigQueryデータエージェントは検証済みクエリと指示を元に質問に回答し、予測機能は設定によって制限される
  • 検証済みクエリが使われた場合は「Verified Query」表示、予測機能は指示で断る設定が可能、データポータルからアクセスする際の権限設定が必要
  • 予測結果の信頼性を確認するにはSQLと実績データを照合し、データポータルでのアクセスにはIAM権限とプロジェクト設定が必要