Scraps 最終更新 2026/11/16 12:01

#データベース

@むーさん /

DynamoDBでベクトル検索を導入する際は既存のGSIの射影タイプの確認が大事だと思った

  • DynamoDBでベクトル検索を導入する際、既存GSIの射影タイプを確認しないと書き込みコストが4倍になる
  • GSIの射影タイプがALLの場合、ベクトルデータがGSI4本とベクトルインデックスに複製される。同居と分離の比較でWCUが24と6に差が出る
  • GSIの射影タイプがALLでベクトルを問題アイテムに同居すると、採点時のWCUが4倍になるため、ベクトルを別アイテムに分離する設計が有効

@J-T_ky2g /

【SQL】テーブル作成、テストデータ投入(bulk)、データクエリ、テーブルドロップのメモ

  • SQLでテーブル作成、テストデータ投入、クエリ、ドロップの基本文法を確認した
  • uuid型のカラム作成とgen_random_uuid関数、int4型の指定、プライマリキーの設定が含まれる
  • テストデータ投入にはvalues節に複数のレコードを記述する方法が必要で、ドロップはコメントで行うのが一般的

@Hiroshi Ito /

AIだけで作ったOLAP DB:アーキテクチャと、規律の与え方

  • AIが自律的に設計・実装したOLAPデータベースが、DuckDBやPolarsと同等のパフォーマンスを発揮
  • 階層を構造として持つ設計、BESSビットマスクストレージ、5つの集約エンジンの切り替え
  • 疎データ処理でDuckDB比185倍の高速化を実現し、階層の扱いがパフォーマンスに大きく影響

@yu_asa /

FlywayでDDLを管理する ― VとRの使い分けと、ビュー・トリガーの扱い

  • FlywayでDDLを管理する際、Vは1回だけ実行されるマイグレーション、Rは中身が変わるたびに再実行されるマイグレーションとして使い分けられる
  • Vはテーブル作成などの積み上げ変更に、Rはビュー作成やトリガー定義などの作り直し可能なオブジェクトに使用する。ビューはCREATE OR REPLACE VIEWでRに記述する
  • Vファイルは適用後は変更不可で、Rファイルは中身の変更に応じて自動再実行されるため、ビューとトリガーはRで管理する

@Yuzuki-ki /

UUIDとは?「ただのランダムな文字列」だと思っていたUUIDをまとめてみる

  • UUIDのバージョンは特に理由がなければv4、DBの主キーに使うなら順序性のあるv7を検討するのがおすすめ
  • v4はランダム生成でインデックス効率が悪いがv7はタイムスタンプを含み順序性がある
  • v4はインデックス断片化のリスクがあるため、大量データ処理時はv7の採用を検討すべき

@sasaki_s_sci /

エムハブの技術的思想とJSONSchemaful Database

  • エムハブは製造業向けのソフトウェアプラットフォームで、jsdbはJSONSchemaを活用したデータベースとして設計されている
  • 責任分離による再利用性と、JSONSchemaのメタスキーマをコードに固定する仕組み、エンドポイント単位の認可管理
  • jsdbは運用中にスキーマが変更可能なデータベースで、開発ではなく運用の操作として扱える

@塚本 /

データマート導入でDBパフォーマンスの手綱を握る

  • BigQueryのビューでJOINした際のパーティションプルーニング不具合をデータマート導入で解決
  • ビューのJOINでパーティションプルーニングが効かない、データマートで事前結合した実テーブルを用意
  • ビュー経由のJOINはパーティションプルーニングが効かず、データマートで事前結合することでスキャン量を170分の1に削減

@nolanlover0527 /

SQL構文は日本語で例えると理解しやすい

  • SQL構文を日本語の文順に変換して理解する方法が説明されている
  • SELECTは「何を」、FROMは「どこから」、WHEREは「〜という条件で」、GROUP BYは「〜ごとにまとめて」、HAVINGは「まとめた後でさらに条件を絞る」、ORDER BYは「〜順に並べて」、LIMITは「〜件だけ」と比喩されている
  • WHEREとHAVINGの使い分けや、書く順序と実行順序の違いに注意する必要がある

@虎の穴ラボ技術ブログ /

書評「SQLアンチパターン 第2版」

  • SQLアンチパターン第2版はデータベース設計の失敗パターンを解説し、実務で使える設計手法を提示している
  • キーレスエントリ、EAV、ポリモーフィック関連の3つのアンチパターンと、クラステーブル継承、STIなどの解決策が紹介されている
  • 外部キーの使い方やEAVの代替案を検討する際には、それぞれのメリット/デメリットを考慮する必要がある

@arimo /

PostgreSQL歴1年の人間がSnowflake研修で驚いた4つの違い

  • PostgreSQLとSnowflakeの構成・構文・権限・保管の4つの違いを解説
  • 仮想ウェアハウスとストレージの分離、ファイルのオブジェクト管理、VARIANT型の半構造化データ対応、Zero-Copy CloningとTime Travel機能
  • Snowflakeではスキーマ指定やロール階層の理解が必須で、PostgreSQLの延長線上では正しく操作できない

@ReQ_HY /

dbt + DuckDB で学ぶ Spotify 式 Context Layer - 正確なKPI集計と自由なデータ探索を両立する Text-to-SQL 設計論

  • SpotifyのVedder設計思想を参考に、DuckDB + dbt-duckdb + Gemini 3.7 Flashで4つの検証パターンを比較した
  • Context LayerとSemantic Layerの違い、Ratioメトリクスの確定SQL生成、AI Routerによる自動ルーティングが主な実装
  • 定型KPIはSemantic Layerで非定型探索はContext Layerに自動分岐する仕組みをローカル環境で実装可能

@もりた /

デカルト積問題って知っとるか〜? 気軽にJOINでメモリ爆発するアレのヤバさ実測すぞ!

  • JOINクエリでデカルト積が発生するとメモリ使用量が急激に増加する
  • 連鎖クエリは10万レコードで128MB、デカルト積クエリは64万レコードで156MBのメモリ使用量を記録した
  • エンティティ数が増えるとオブジェクト展開時のメモリ使用量が増加するため、1レコードあたりのデータ量に注意が必要

@けびん /

dbt と Snowflake と tag

  • dbtとSnowflakeで利用する3種類のタグが紹介されている
  • dbt tag、Snowflake Query Tag、Snowflake Object Tagの3種類があり、それぞれの設定方法と利用目的が記載されている
  • Query Tagはセッションレベルで設定され、Object TagはオブジェクトにKey-Valueを付与してコスト管理や権限管理に利用できる

@Hiroto Ryushima /

メモリに載らないGROUP BYをDuckDBはどう処理するのか

  • DuckDBはメモリに載らないGROUP BYを外部ハッシュ集約で処理し、メモリとディスクを交互に使う
  • 外部ハッシュ集約ではデータを分割してディスクに書き出し、その後読み戻して集計する。hash tableとALLOCATORのメモリ使用量を監視できる
  • memory_limitを250MB以下にするとOut of Memoryエラーが発生する可能性があり、スレッド数に応じた余裕を持った設定が必要