Scraps 最終更新 2026/11/16 11:40

#データベース

@草 /

TiDBでベクトル検索する

  • TiDBでベクトル検索を実装する方法が解説されている
  • ベクトル計算にはgemini embeddingモデルを使用し、VEC_COSINE_DISTANCE関数で距離を計算する。事前バッチ処理と検索クエリのベクトルを別々に処理する
  • 検索クエリとドキュメントのembeddingモデルと次元数を一致させることが重要で、モデル変更時にカラムで管理する

@asahide /

Aurora Serverless の「1 秒で 16 ACU」を、ゼロスケール再開直後で測り直す

  • Aurora Serverlessのスケールアップ開始前の2.0 ACU維持時間が変更されていない
  • スケールアップ開始前の2.0 ACU維持時間は8接続で48〜50秒、128接続で77〜184秒で、前回の測定と比較して短縮されていない
  • ゼロスケール運用では2.0 ACU維持時間の長さを前提に設計する必要があり、突発的なアクセスには事前に最小ACUを設定しておくべき

@Issei Naruta /

Aurora PostgreSQL から Databricks Delta Lake テーブルにクエリする

  • Aurora PostgreSQL から Databricks Delta Lake テーブルにクエリできることが確認された
  • Iceberg REST Catalog API 経由で Glue catalog federation を利用し、S3 に保存された Delta Lake テーブルを Aurora から SELECT できる。ARRAY / MAP / STRUCT 型は非対応で、prepared statement でデータ更新が反映されない現象が確認された
  • Aurora のロールに S3 アクセス権を付与する必要があり、Unity Catalog の row filter や column mask は適用されない。データの鮮度を気にする場合は prepared statement の使用に注意が必要

@waday /

SREインターンが挑んだ「AIエージェントの高速化」と「AIによるSQLレビューの品質向上」

  • SREエージェントの高速化とAIによるSQLレビューの品質向上に取り組んだ
  • SREエージェントClioneの処理遅延改善と、AWS Lambda、Terraform、Bytebaseを活用したSQLレビュー実装
  • 処理遅延の原因を特定し、エラー時の対応を改善することで応答時間を短縮した

@detaneeee /

dbt checkを触ってみた & GitHub Actionsで動かしてみた

  • dbt checkでプロジェクトのメタデータルールを検証できる機能を試した
  • info_schemaマクロでDuckDBにアクセスし、モデルの説明やデータテストの有無をチェック、GitHub ActionsでCIに組み込める
  • dbt checkの重大度をwarnに設定すると実行失敗にならないため、CIではerrorに設定する必要がある

@shirok /

oracle-ai-ready-data Skill 第3回:ANNOTATIONSとDomainの意味情報を可視化し、Select AIで確認してみてみた

  • Oracle AI Databaseのv0.4.0でAnnotationとDomainの意味情報を可視化し、Select AIで確認できるようになった
  • Annotationでコード値と業務意味を対応付ける、Domainで共通定義を再利用する、Skillでレポート生成する
  • Annotationの登録状況や継承元を確認し、Select AIのプロンプトに含める設定が必要

@Takahiro Kume / 久米隆大 /

【AWS】Aurora MySQLのメトリクスを読み解く ― 第2回 パージ処理関連のメトリクス

  • Aurora MySQLのInnoDBパージ処理に関連するCloudWatchメトリクスを検証した
  • RollbackSegmentHistoryListLength、PurgeBoundary、PurgeFinishedPoint、TruncateFinishedPointの4つのメトリクスを確認し、長時間トランザクションがパージ処理をブロックすることを実証した
  • 長時間トランザクションがあるとPurgeBoundaryが進まず、パージが遅延するため、トランザクションの管理が重要になる

@Yasui Michitaka /

Spanner Direct Connectivityの効果と仕組み

  • Spanner Direct ConnectivityはGFEをバイパスして直接通信することでレイテンシーを短縮する機能
  • GFEバイパスとクライアントサイドでのルーティング解決、フォールバック用コネクションプールの保持
  • クライアントのメモリ消費量が10MB弱増加するため、コンテナのメモリ上限に注意が必要

@koki takeishi /

NebulaGraph Community版の簡易検証

  • NebulaGraph Community版v3.8.0をDocker Composeで構築し、グラフデータを投入してクエリを実行した
  • ADD HOSTSでStorageホストを登録、GO文とopenCypher互換のMATCH文でクエリを実行、パーティションの状態確認にSHOW STATSを使った
  • 初期クエリは5秒程度かかったが、定常状態では3ミリ秒程度に改善し、クラスタの状態がレイテンシに大きく影響する

@jqit-yukiono /

同一人物がApple/Googleどちらでログインしても同じアカウントにする ― Firebase純正のlink(with:)を使わなかった理由

  • Firebase純正のlink(with:)を使わず、バックエンド独自のauth_identitiesテーブルでアカウント連携を実装した
  • Firebaseのcredential-already-in-useエラー対応が破壊的で複数ステップ、auth_identitiesテーブルで1 User : N firebase_uidを管理
  • コンフリクト解決は1つのDBトランザクションに閉じ込め、失敗時ロールバックで詰み状態を回避

@koki takeishi /

NebulaGraphのアーキテクチャとユースケースのリサーチ

  • NebulaGraphは計算・ストレージ分離と固定ハッシュパーティショニングで大規模プロパティグラフを実現
  • 計算/ストレージ分離、固定ハッシュパーティショニング、双方向エッジ配置、Multi Group Raftを組み合わせた設計
  • ミリ秒応答はクエリの形とハードウェアに強く依存し、スーパーノード対策が必要

@yutannihilation /

Parquet の仕様にも入った ALP (Adaptive Lossless floating-Point) とは何なのか

  • Parquet 2.14.0でALPという浮動小数点数の圧縮方式が導入された
  • ALPはZSTDと比較して処理速度が速く、eとfのパラメータでデータを圧縮する仕組み
  • ALPは10進数のデータに最適だが、センサーや計算結果のような2進数データでは圧縮率が低下する可能性がある