Scraps 最終更新 2026/11/16 11:31

#データベース

@rniki /

S3のParquet、そのままSnowflakeで分析しても遅くない?Parquet Directを検証

  • Parquet DirectでS3のParquetを直接参照してもプルーニングが働いた
  • 同一ファイルを参照した場合、スキャン数とスキャンバイト数が管理Icebergと一致し、日付絞り込みでは1/992にまで絞れた
  • スキャン範囲を確認するにはQuery ProfileのTableScan統計をチェックし、データ配置に応じたプルーニング効果を評価する

@mmsbox /

source は「源流」だった ── ER図を川の流れで読んで、中間テーブルと through を理解する

  • ER図の線は川の流れで読むことで、中間テーブルと through がどうコードに反映されるかが分かる
  • 1対多は || と o{ の線で、多対多は中間テーブルで合流する、through は湖を経由する船旅、source は源流を指定する
  • 中間テーブルのモデルを作らなければ validates が書けないため、has_many :through を使うのが一般的

@ktdatascience /

エラーは出ないのに数字が間違っている——データ分析で間違えやすい8つのポイントと見つけ方

  • データ分析でよく起きる8つの間違いのパターンとその見つけ方を紹介している
  • JOINで行が増える、月の途中と丸1か月を比べる、平均の平均を出す、タイムゾーンのずれ、結果で切ったグループを比べる、全体と内訳で逆になる
  • 集計の前後に行数を比べたり、同じ指標を2通りで計算したりすることで間違いを防げる

@Takumi /

Getting Started with SnowflakeにあるクイックスタートをVer.10.36でやってみた - 前編 -

  • Snowflake Ver.10.36でUIが大きく変更され、Getting Startedのガイドが使えない
  • WorksheetsとDashboardsが廃止され、WorkspaceとStreamlitに置き換えられ、DatabasesはCatalogからアクセス
  • UI変更によりガイド通りに操作できないため、新しいタブや機能の使い方を確認する必要がある

@ryo0427 /

【Rails】bin/rails generate scaffoldコマンド実行時にPendingMigrationErrorで処理が中断されてしまう問題について

  • bin/rails generate scaffoldコマンド実行時にPendingMigrationErrorが発生
  • rails_helper.rbのrescue文でexit 1が実行され、テスト実行中にマイグレーション未実行を検知
  • テスト環境でマイグレーションを実行しない場合、マイグレーションファイルの生成後に処理が中断される

@r.kaino /

Snowflake CoCo × PODBで、都道府県別の地価推移アプリを作ってみた

  • SnowflakeのAIコーディングエージェントCoCoを使って、都道府県別の地価推移アプリを作成した
  • PODBの地価データをビューで読み込み、Streamlitアプリで可視化。中央値をグラフに、緯度経度を地図に使用
  • データの年度ごとの地点数の変化や用途の変更による影響に注意が必要。アプリのコストはコンピュートプール利用に依存

@yushibats /

【Oracle × Snowflake】Data Transformsで ADB の表を AICAT 管理の Iceberg テーブルに全量・差分ロードする

  • Oracle ADB の表を Data Transforms で Apache Iceberg テーブルに全量・差分ロードできる
  • 全量ロードは append スナップショット、差分ロードは増分追加と増分マージで処理、Iceberg REST カタログ経由でデータを管理
  • 増分列に TIMESTAMP を使うと秒未満の値が処理に影響し、スナップショットの上限値が切り捨てられる

@なずな /

dbt と Cloud DLP で面接の文字起こしから氏名を消す実装ガイド

  • Cloud DLP と dbt を組み合わせて面接の文字起こしの氏名をマスクする仕組みを構築した
  • DLP の inspect template と deidentify template を Terraform で管理し、BigQuery remote function から Cloud Run Functions にリクエストを送信して処理する。増分処理では id とハッシュ値で再マスクが必要な行を判定
  • DLP のクォータを引き上げて初回バックフィルを完了させ、実データのサンプルで検出結果を確認するステップを推奨する

@komaba /

SQL初心者の基本のキ

  • SQLの基本命令4つが解説されている
  • SELECTでデータ抽出、INSERTでデータ追加、UPDATEでデータ更新、DELETEでデータ削除の仕組み
  • WHEREで条件を指定しないと全データを操作する可能性がある

@kobadain /

PostgreSQLで遅いSQLの実行計画を自動で取得しNew Relicで確認する - auto_explainの活用方法

  • PostgreSQLでauto_explainを設定し、New Relicで実測情報付き実行計画を確認する方法を紹介
  • auto_explainで実行時間の閾値を超えたSQLの実行計画をログに記録、New RelicのLogs機能で解析
  • auto_explainの設定でDB負荷が増えるため本番環境ではサンプリングレートを調整する

@s_moriyama /

DynamoDB の S3 エクスポートにフィルターが来た!特定データだけ切り出して新テーブルを作る

  • DynamoDB の S3 エクスポートにフィルターが追加され、特定のデータだけを切り出せるようになった
  • key condition expression でパーティションキーを絞り込み、filter expression は読み取り後に適用される
  • エクスポートはリストアではないため、Import from S3 で新しいテーブルを作成する必要がある

@mino_sota /

シャーディングなし、無停止で増強 ― アプリボットの TiDB 導入と本番運用

  • アプリボットはシャーディングなしで無停止スケーリングを実現するためTiDBを採用した
  • TiDBはMySQL互換でシャード間トランザクションが可能、手動スケーリングで負荷テストを実施
  • スケーリングに5分、適用待ち1時間で本番環境でも無停止運用が可能

@gamonges /

おーい磯野、Closure Tableと権限の非正規化やめようぜ(自分で入れた設計を全部剥がした話)

  • Closure Tableと権限の非正規化を削除し、再帰CTEと読み時合成でシンプルに解決
  • 再帰CTEで階層をたどり、読み時合成で権限をリアルタイム計算、非正規化データを削除
  • 正本と派生データを分離していたことで、設計変更を安全に実施可能

@aki /

【2026/10/8 アップデート】GuardDuty RDS Protectionのデータ流出・破壊の検出について調べた

  • Amazon GuardDuty RDS ProtectionがAuroraおよびRDSデータベースのデータ流出とデータ破壊を検出可能に
  • ログイン後のクエリパターンを機械学習で異常検知、SELECT/DELETE/ DROP文の行数と回数を比較
  • データの中身は見ないでSQLの実行回数と行数の変化で検出、抑制ルールは狭い条件で作成する