@ippei / 53日前 B+ツリーが速いのはディスクのI/O単位に形を合わせたから B+ツリーはディスクI/Oを減らすために設計されているノード1つが8kBのページに収まり、283個のエントリを持つことで分岐数を増やし、木の高さを3段に抑える1000万件のデータ検索でI/O回数を4回に抑えることで、キャッシュ効率を高めている #データベース#インフラ#アーキテクチャ
@むーさん / 55日前 DynamoDBでベクトル検索を導入する際は既存のGSIの射影タイプの確認が大事だと思った DynamoDBでベクトル検索を導入する際、既存GSIの射影タイプを確認しないと書き込みコストが4倍になるGSIの射影タイプがALLの場合、ベクトルデータがGSI4本とベクトルインデックスに複製される。同居と分離の比較でWCUが24と6に差が出るGSIの射影タイプがALLでベクトルを問題アイテムに同居すると、採点時のWCUが4倍になるため、ベクトルを別アイテムに分離する設計が有効 #データベース#クラウド#DevOps・CI/CD
@asahide / 57日前 Autonomous AI Database から Jev を呼んでみた Oracle Autonomous AI Database から Jev を呼び出す方法が確認されたSEND_REQUEST は bearer:// スキームで Bearer 認証を指定し、UTL_HTTP は SET_HEADER で Authorization ヘッダーを直接設定したSEND_REQUEST で Bearer 認証を使う場合は URI を bearer:// にし、UTL_HTTP では SET_HEADER で認証を付ける必要がある #クラウド#データベース#DevOps・CI/CD
@J-T_ky2g / 58日前 【SQL】テーブル作成、テストデータ投入(bulk)、データクエリ、テーブルドロップのメモ SQLでテーブル作成、テストデータ投入、クエリ、ドロップの基本文法を確認したuuid型のカラム作成とgen_random_uuid関数、int4型の指定、プライマリキーの設定が含まれるテストデータ投入にはvalues節に複数のレコードを記述する方法が必要で、ドロップはコメントで行うのが一般的 #バックエンド#データベース#DevOps・CI/CD
@Hiroshi Ito / 58日前 AIだけで作ったOLAP DB:アーキテクチャと、規律の与え方 AIが自律的に設計・実装したOLAPデータベースが、DuckDBやPolarsと同等のパフォーマンスを発揮階層を構造として持つ設計、BESSビットマスクストレージ、5つの集約エンジンの切り替え疎データ処理でDuckDB比185倍の高速化を実現し、階層の扱いがパフォーマンスに大きく影響 #バックエンド#クラウド#データベース
@yu_asa / 58日前 FlywayでDDLを管理する ― VとRの使い分けと、ビュー・トリガーの扱い FlywayでDDLを管理する際、Vは1回だけ実行されるマイグレーション、Rは中身が変わるたびに再実行されるマイグレーションとして使い分けられるVはテーブル作成などの積み上げ変更に、Rはビュー作成やトリガー定義などの作り直し可能なオブジェクトに使用する。ビューはCREATE OR REPLACE VIEWでRに記述するVファイルは適用後は変更不可で、Rファイルは中身の変更に応じて自動再実行されるため、ビューとトリガーはRで管理する #DevOps・CI/CD#データベース#アーキテクチャ
@502_ / 60日前 VectorDBにはダッシュボードがなくてGUIで操作できないと思っていませんか? VectorDBにGUIツールAttu v3が登場スキーマ設計やベクトル検索、AIエージェントが使える。自然言語での検索やデータの可視化が可能Attu v3はMilvus 3.0に完全対応し、開発体験を向上させる #バックエンド#クラウド#データベース
@ibm_tk / 60日前 さわってみよう Db2 AI エディション #18 〜Db2 Genius Hub v1.1.5新機能編 Part#1〜 Db2 Genius Hub v1.1.5でデータベース管理機能とエージェント型AI機能が強化されたHashiCorp Vault統合、日本語対応のAIアシスタント、Vertex AIとのGeminiモデル対応セキュリティ強化と運用効率向上が図られ、AIアシスタントの使い勝手が改善されている #AIエージェント#クラウド#データベース
@Yuzuki-ki / 61日前 UUIDとは?「ただのランダムな文字列」だと思っていたUUIDをまとめてみる UUIDのバージョンは特に理由がなければv4、DBの主キーに使うなら順序性のあるv7を検討するのがおすすめv4はランダム生成でインデックス効率が悪いがv7はタイムスタンプを含み順序性があるv4はインデックス断片化のリスクがあるため、大量データ処理時はv7の採用を検討すべき #生成AI・LLM#バックエンド#データベース
@sasaki_s_sci / 61日前 エムハブの技術的思想とJSONSchemaful Database エムハブは製造業向けのソフトウェアプラットフォームで、jsdbはJSONSchemaを活用したデータベースとして設計されている責任分離による再利用性と、JSONSchemaのメタスキーマをコードに固定する仕組み、エンドポイント単位の認可管理jsdbは運用中にスキーマが変更可能なデータベースで、開発ではなく運用の操作として扱える #バックエンド#クラウド#データベース
@塚本 / 61日前 データマート導入でDBパフォーマンスの手綱を握る BigQueryのビューでJOINした際のパーティションプルーニング不具合をデータマート導入で解決ビューのJOINでパーティションプルーニングが効かない、データマートで事前結合した実テーブルを用意ビュー経由のJOINはパーティションプルーニングが効かず、データマートで事前結合することでスキャン量を170分の1に削減 #バックエンド#クラウド#データベース
@nolanlover0527 / 62日前 SQL構文は日本語で例えると理解しやすい SQL構文を日本語の文順に変換して理解する方法が説明されているSELECTは「何を」、FROMは「どこから」、WHEREは「〜という条件で」、GROUP BYは「〜ごとにまとめて」、HAVINGは「まとめた後でさらに条件を絞る」、ORDER BYは「〜順に並べて」、LIMITは「〜件だけ」と比喩されているWHEREとHAVINGの使い分けや、書く順序と実行順序の違いに注意する必要がある #バックエンド#データベース
@mfsungeun / 62日前 Cutting 39% Off Our Monthly Snowflake Pipeline Costs Snowflakeのデータパイプラインを最適化して月額コストを39%削減したS3データエクスポートの最適化とdbtテスト範囲の再構築、非効率なサブクエリやソート処理の削除非効率なサブクエリやソート処理を削除し、ハッシュ関数を使ったデータチャンク化で実行時間を75%短縮した #クラウド#データベース#DevOps・CI/CD
@虎の穴ラボ技術ブログ / 63日前 書評「SQLアンチパターン 第2版」 SQLアンチパターン第2版はデータベース設計の失敗パターンを解説し、実務で使える設計手法を提示しているキーレスエントリ、EAV、ポリモーフィック関連の3つのアンチパターンと、クラステーブル継承、STIなどの解決策が紹介されている外部キーの使い方やEAVの代替案を検討する際には、それぞれのメリット/デメリットを考慮する必要がある #データベース#アーキテクチャ#バックエンド
@arimo / 65日前 PostgreSQL歴1年の人間がSnowflake研修で驚いた4つの違い PostgreSQLとSnowflakeの構成・構文・権限・保管の4つの違いを解説仮想ウェアハウスとストレージの分離、ファイルのオブジェクト管理、VARIANT型の半構造化データ対応、Zero-Copy CloningとTime Travel機能Snowflakeではスキーマ指定やロール階層の理解が必須で、PostgreSQLの延長線上では正しく操作できない #クラウド#データベース#DevOps・CI/CD
@ReQ_HY / 65日前 dbt + DuckDB で学ぶ Spotify 式 Context Layer - 正確なKPI集計と自由なデータ探索を両立する Text-to-SQL 設計論 SpotifyのVedder設計思想を参考に、DuckDB + dbt-duckdb + Gemini 3.7 Flashで4つの検証パターンを比較したContext LayerとSemantic Layerの違い、Ratioメトリクスの確定SQL生成、AI Routerによる自動ルーティングが主な実装定型KPIはSemantic Layerで非定型探索はContext Layerに自動分岐する仕組みをローカル環境で実装可能 #バックエンド#クラウド#データベース
@もりた / 66日前 デカルト積問題って知っとるか〜? 気軽にJOINでメモリ爆発するアレのヤバさ実測すぞ! JOINクエリでデカルト積が発生するとメモリ使用量が急激に増加する連鎖クエリは10万レコードで128MB、デカルト積クエリは64万レコードで156MBのメモリ使用量を記録したエンティティ数が増えるとオブジェクト展開時のメモリ使用量が増加するため、1レコードあたりのデータ量に注意が必要 #バックエンド#データベース#DevOps・CI/CD
@けびん / 66日前 dbt と Snowflake と tag dbtとSnowflakeで利用する3種類のタグが紹介されているdbt tag、Snowflake Query Tag、Snowflake Object Tagの3種類があり、それぞれの設定方法と利用目的が記載されているQuery Tagはセッションレベルで設定され、Object TagはオブジェクトにKey-Valueを付与してコスト管理や権限管理に利用できる #クラウド#データベース#DevOps・CI/CD
@ENGINEER TECH BLOG / 66日前 ウインドウ(分析)関数のフレーム句使ってますか? SQLのウィンドウ関数でフレーム句を指定して、集計範囲を自由に制御できるROWSは行数で範囲を指定、RANGEは値の差で範囲を指定、UNBOUNDED PRECEDINGやCURRENT ROWなどのキーワードで範囲の端点を設定ROWSとRANGEの違いに注意し、現在行の扱いが異なる点を理解する #バックエンド#データベース#DevOps・CI/CD
@Hiroto Ryushima / 67日前 メモリに載らないGROUP BYをDuckDBはどう処理するのか DuckDBはメモリに載らないGROUP BYを外部ハッシュ集約で処理し、メモリとディスクを交互に使う外部ハッシュ集約ではデータを分割してディスクに書き出し、その後読み戻して集計する。hash tableとALLOCATORのメモリ使用量を監視できるmemory_limitを250MB以下にするとOut of Memoryエラーが発生する可能性があり、スレッド数に応じた余裕を持った設定が必要 #バックエンド#データベース#DevOps・CI/CD