#データベース — Scraps（4ページ目）

@むーさん / 32日前

OLTP脳でBigQueryに入門してみた（PostgreSQL・DynamoDB経験者向け）

BigQueryは列指向ストレージと並列分散処理で高速集計を実現している
列指向ストレージで必要な列のみ読み込み、ツリー構造で並列処理する仕組み、パーティショニングでスキャン量を減らす設計
SELECT *はコストが跳ね上がるため、必要な列のみ指定するクエリ書き方が重要で、パーティショニングを活用する設計が必要

@jun110 / 33日前

Oracle Autonomous AI Database に Rerank モデルを組み込んで、Rerank 処理を In-DB で行う

Oracle Autonomous AI DatabaseにRerankモデルをIn-DBで実行できるようにした
ONNXフォーマットのモデルをデータベースに取り込み、外部APIを使わずRerank処理を実行、ベクトル化とRerank処理をデータベース内で完結
大量の処理でCPUリソースを消費する可能性があるためリソース管理が必要

@Nakada Hiroaki / 34日前

Google CloudでExadataを動かしてみた

Oracle Database@Google CloudでExadataを動かす構築方法と注意点が紹介された
ODB NetworkとOCIのNSG、Google CloudのCloud RouterとVLANアタッチメントの設定が重要
Google Cloudのネットワークリソースクォータに注意し、事前にサポートに相談する必要がある

@yu_asa / 36日前

【初心者メモ】DB設計の正規化を第1〜第5正規形まで、注文テーブルで整理してみた

注文テーブルを例に第1〜第5正規形までの正規化手順を説明している
1NFは1セル1値、2NFは複合キーの部分依存除去、3NFはキー以外の依存除去、4NFは無関係な多対多の分離、5NFは結合従属の除去が主なポイント
実務では3NFまでで十分な場合が多く、4NF・5NFは理論的な概念として理解しておくのが現実的である

@ssc-ksaitou / 36日前

mysqldump のダンプをPIIマスクしつつ高速ロードしよう〜 AIに複雑なツールを作らせる

mysqldumpのダンプをAIで高速ロードしPIIマスクする手法を実装
LOAD DATA文に変換し、INSERT文のパースとタブ区切りデータへの変換をAIに任せた
ストリーミング処理でINSERT文をパースし、タブ区切りデータに変換する実装が必要

@ENGINEER TECH BLOG / 36日前

「SQLite + xangi」で始める軽量RAG：個人利用から仕事利用へ広げるアプローチ

SQLiteとキーワード・ベクトル検索のハイブリッド方式でRAGを構築可能
ベクトル検索とキーワード検索を組み合わせ、差分インデックスで効率化
個人からチーム利用へ広げる際はセキュリティと運用ルールを事前に確認する必要がある

@mo__mo / 36日前

分散DBってなんだっけ、レプリケーション・シャーディング・分散SQLの解像度をあげたい人のメモ

レプリケーション・シャーディング・分散SQLが分散DBの主要な設計手法として紹介されている
レプリケーションはデータのコピーを複数場所に保つ、シャーディングはデータを分けて持つ、分散SQLは複数ノードにまたがるSQLを扱う
分割キーの選定や、処理の振り分け、障害時のデータ整合性の判断が設計の重要ポイントとなる

@tirkw / 37日前

TiDB Cloudへの移行記録

TiDB Cloudに移行する際のAUTO_INCREMENTの設定ミスやTTLの活用が説明されている
MySQL互換モードのAUTO_INCREMENTで4000飛ぶ現象とTTLによる自動削除の仕組み
MySQLクライアントで--commentsオプションを指定しないとTiDB固有のコメントが無視される点に注意が必要

@Takahiro Kume / 久米隆大 / 37日前

【AWS】Aurora MySQLのメトリクスを読み解く ― 第1回 BufferCacheHitRatioとMySQLキャッシュヒット率

Aurora MySQLのBufferCacheHitRatioはInnodb_buffer_pool_read_requestsとInnodb_buffer_pool_readsから計算されるキャッシュヒット率とほぼ一致
MySQLのキャッシュヒット率はInnodb_buffer_pool_read_requestsとInnodb_buffer_pool_readsの比で算出され、AuroraのBufferCacheHitRatioも同じ計算式で求められる
過渡的な負荷状態ではメトリクスに数ポイントの差が生じるが、定常状態ではほぼ一致するため、キャッシュミスの状況を反映している

@せとぅ / 37日前

Fabric Warehouse の queryinsights でクエリを監視&分析する

Fabric Warehouseのqueryinsightsでクエリ履歴と集計情報をT-SQLから参照できる
exec_requests_historyとlong_running_queriesなどのビューで履歴と集計を確認、クエリ形状単位の集計が可能
クエリ形状が同じ場合はフィルター条件に関係なく同一クエリとして扱うため、傾向分析に適している

@mo__mo / 38日前

ExaDB-XSの新機能「Automatic Failover(FSFO)」を試す - その2：フェイルオーバー

ExaDB-XSのData Guard GroupでAutomatic Failoverを試し、プライマリ障害時にスタンバイが自動昇格することを確認
FSFOとOCI管理Observerによる自動フェイルオバーや、ASYNCでのRedo転送によるデータ損失リスク、Physical Standbyの再参加手順
障害時のデータ損失が発生する可能性があり、再参加には手動の再構築が必要な点に注意

@nt_matsuda56 / 41日前

SQL初心者向け~参画までに覚えたいSQL構文10選~

SQL初心者が案件に参画するまでに覚えておきたい基本構文10選を紹介
SELECT・WHERE・ORDER BY・JOIN・GROUP BY・HAVING・INSERT・UPDATE・DELETE・COUNT・SUM・AVGの構文を解説
SELECTとWHEREはSQLの基本なので最優先で覚えること、JOINやGROUP BYも実務で頻繁に使う構文であること

@nt-izumi / 41日前

【SQL入門④】SSMSとは？SQL Serverを操作するための管理ツールを初心者向けに解説

SSMSはSQL Serverを操作するための管理ツールで、データベース確認やSQL実行が可能
SQL Serverへの接続、データベース確認、SQL作成・実行、実行結果確認が可能、インスタンス名で接続する
インスタンス名を指定して接続する際はサーバー証明書を信頼する設定が必要で、環境に応じて変更する

@ara_ara09 / 41日前

【SQL】「文」ではなく「式」として理解するCASE式の真価（達人に学ぶSQL徹底指南書第2版より）

CASE式を「式」として理解することでSQLの表現力が向上する
CASE式は値を返す式で、SELECTや集約関数に直接使える、検索CASE式が条件指定に柔軟
ELSEを省略すると予期せぬNULLが返って集計エラーの原因になる

@s_horikoshi / 42日前

RDS for PostgreSQL初期設計マスターユーザーを避けRoleを用途別に分ける

RDS for PostgreSQLでマスターユーザーを避け、Roleを用途別に分ける設計を推奨
マスターユーザーは初期設定に限定し、app_owner・app_user・app_readonlyなどのRoleを分離、sslmode=verify-fullでTLS検証を強制
RDSのパブリックアクセスを無効にし、セキュリティグループで通信元を制限、パスワードをSQLファイルに残さない

@umekikazuya / 42日前

【MySQL】「UUIDv7にすると速くなる」は本当。でも条件付きでテーブルサイズが大きくなる ~ InnoDB 1000万行を29回実測

UUIDv7のミリ秒内が単調かどうかで挿入速度とテーブルサイズに大きな差が出る
UUIDv7(ミリ秒内がランダム)はUUIDv4より速度は2.6倍だがテーブルサイズが2.88GBと悪化、UUIDv7(ミリ秒内が単調)はAutoIncrementに近い速度と1.55GBのサイズになる
UUIDv7を使用する際はミリ秒内を単調に生成する実装であるか確認し、カウンタのオーバーフロー対策を必ず行うことが重要である。