@菊地 / 75日前 BigQuery ストアドプロシージャ:SQLによるデータ処理の自動化・高度化 BigQueryでストアドプロシージャを導入することで、条件分岐やループ処理、動的SQLが可能になるIF文による条件分岐、WHILE文によるループ処理、EXECUTE IMMEDIATEによる動的SQL生成が可能、変数と一時テーブルの利用もサポートストアドプロシージャの実行時間は最大6時間で、ループ処理はコスト高騰のリスクがあるため、バッチの粒度を設計する際の注意が必要 #バックエンド#クラウド#データベース
@wxy_zzz / 76日前 dbt で認定済みタグを管理し、Databricks 上のデータの信頼性を示す Databricksの認定済みタグをdbtで管理する方法が紹介されているdbt-databricksアダプターのdatabricks_tagsでタグを付与、削除はpost-hookで補うタグの削除はdbt設定からではなくpost-hookで行う必要がある #データベース#DevOps・CI/CD#クラウド
@uo / 76日前 Spannerのback joinを読み解く Spannerのback joinはindexにない列を取得するためにベーステーブルへ引き直す動作で、応答時間に影響するindexスキャン後にベーステーブルを引き直すDistributed Cross Applyと、STORINGでindexを広げる方法が主な対処法back joinの回数を減らすにはindexのキー列に条件やソート列を含め、LIMITの後に移すことでコストを抑えるのが効果的 #クラウド#データベース#アーキテクチャ
@ora_gonsuke777 / 76日前 Autonomous Database Serverless(ADB-S) で Private Endpoint同士の DBLINK を作成する(Oracle Cloud Infrastructure) ADB-SのPrivate Endpoint同士でDBLINKを設定できることが確認されたDBMS_CLOUDパッケージとDBMS_CLOUD_ADMINで認証情報とDBLINKを設定し、NSGのセキュリティルールを調整した接続先のPDB名を確認する際はV$PDBSビューを使用する必要があること、セキュリティルールの設定が必須であることが重要ポイント #データベース#クラウド#インフラ
@浅沼 敬 / 76日前 SupabaseのリードレプリカとOAuth 2.1 Serverで社内分析用リモートMCPを作ってみた PostgreSQLのリードレプリカと専用ロールでAIに本番DBを直接接続しない分析用MCPサーバを構築リードレプリカの物理的読み取り専用性と、analytics_roleの権限削減、RLSのロール束縛、列レベルGRANTでアクセス制御BYPASSRLSを許可しないマイグレーションチェックと、CIでの継続的回帰テストで権限逸脱を防止する運用が必要 #バックエンド#データベース#セキュリティ
@jus1730 / 77日前 【DynamoDB】GAされたベクトル検索、15,000件のデータで OpenSearch と比べてみた DynamoDBベクトル検索は通常の属性としてテーブルに格納され、Bedrockでベクトル化するベクトルは通常の属性として格納、Bedrockによるベクトル化、範囲フィルタ不可範囲フィルタが使えないため、価格帯や在庫数での絞り込みができないことに注意する #バックエンド#クラウド#データベース
@むーさん / 78日前 OLTP脳でBigQueryに入門してみた(PostgreSQL・DynamoDB経験者向け) BigQueryは列指向ストレージと並列分散処理で高速集計を実現している列指向ストレージで必要な列のみ読み込み、ツリー構造で並列処理する仕組み、パーティショニングでスキャン量を減らす設計SELECT *はコストが跳ね上がるため、必要な列のみ指定するクエリ書き方が重要で、パーティショニングを活用する設計が必要 #クラウド#データベース#DevOps・CI/CD
@jun110 / 79日前 Oracle Autonomous AI Database に Rerank モデルを組み込んで、Rerank 処理を In-DB で行う Oracle Autonomous AI DatabaseにRerankモデルをIn-DBで実行できるようにしたONNXフォーマットのモデルをデータベースに取り込み、外部APIを使わずRerank処理を実行、ベクトル化とRerank処理をデータベース内で完結大量の処理でCPUリソースを消費する可能性があるためリソース管理が必要 #AIエージェント#生成AI・LLM#データベース
@Nakada Hiroaki / 79日前 Google CloudでExadataを動かしてみた Oracle Database@Google CloudでExadataを動かす構築方法と注意点が紹介されたODB NetworkとOCIのNSG、Google CloudのCloud RouterとVLANアタッチメントの設定が重要Google Cloudのネットワークリソースクォータに注意し、事前にサポートに相談する必要がある #クラウド#データベース#インフラ
@yu_asa / 81日前 【初心者メモ】DB設計の正規化を第1〜第5正規形まで、注文テーブルで整理してみた 注文テーブルを例に第1〜第5正規形までの正規化手順を説明している1NFは1セル1値、2NFは複合キーの部分依存除去、3NFはキー以外の依存除去、4NFは無関係な多対多の分離、5NFは結合従属の除去が主なポイント実務では3NFまでで十分な場合が多く、4NF・5NFは理論的な概念として理解しておくのが現実的である #データベース#アーキテクチャ#DevOps・CI/CD
@ssc-ksaitou / 81日前 mysqldump のダンプをPIIマスクしつつ高速ロードしよう 〜 AIに複雑なツールを作らせる mysqldumpのダンプをAIで高速ロードしPIIマスクする手法を実装LOAD DATA文に変換し、INSERT文のパースとタブ区切りデータへの変換をAIに任せたストリーミング処理でINSERT文をパースし、タブ区切りデータに変換する実装が必要 #バックエンド#クラウド#データベース
@ENGINEER TECH BLOG / 82日前 「SQLite + xangi」で始める軽量RAG:個人利用から仕事利用へ広げるアプローチ SQLiteとキーワード・ベクトル検索のハイブリッド方式でRAGを構築可能ベクトル検索とキーワード検索を組み合わせ、差分インデックスで効率化個人からチーム利用へ広げる際はセキュリティと運用ルールを事前に確認する必要がある #AIエージェント#RAG#データベース
@mo__mo / 82日前 分散DBってなんだっけ、レプリケーション・シャーディング・分散SQLの解像度をあげたい人のメモ レプリケーション・シャーディング・分散SQLが分散DBの主要な設計手法として紹介されているレプリケーションはデータのコピーを複数場所に保つ、シャーディングはデータを分けて持つ、分散SQLは複数ノードにまたがるSQLを扱う分割キーの選定や、処理の振り分け、障害時のデータ整合性の判断が設計の重要ポイントとなる #データベース#アーキテクチャ#DevOps・CI/CD
@tirkw / 82日前 TiDB Cloudへの移行記録 TiDB Cloudに移行する際のAUTO_INCREMENTの設定ミスやTTLの活用が説明されているMySQL互換モードのAUTO_INCREMENTで4000飛ぶ現象とTTLによる自動削除の仕組みMySQLクライアントで--commentsオプションを指定しないとTiDB固有のコメントが無視される点に注意が必要 #データベース#クラウド#DevOps・CI/CD
@Takahiro Kume / 久米隆大 / 83日前 【AWS】Aurora MySQLのメトリクスを読み解く ― 第1回 BufferCacheHitRatioとMySQLキャッシュヒット率 Aurora MySQLのBufferCacheHitRatioはInnodb_buffer_pool_read_requestsとInnodb_buffer_pool_readsから計算されるキャッシュヒット率とほぼ一致MySQLのキャッシュヒット率はInnodb_buffer_pool_read_requestsとInnodb_buffer_pool_readsの比で算出され、AuroraのBufferCacheHitRatioも同じ計算式で求められる過渡的な負荷状態ではメトリクスに数ポイントの差が生じるが、定常状態ではほぼ一致するため、キャッシュミスの状況を反映している #クラウド#データベース#DevOps・CI/CD
@せとぅ / 83日前 Fabric Warehouse の queryinsights でクエリを監視&分析する Fabric Warehouseのqueryinsightsでクエリ履歴と集計情報をT-SQLから参照できるexec_requests_historyとlong_running_queriesなどのビューで履歴と集計を確認、クエリ形状単位の集計が可能クエリ形状が同じ場合はフィルター条件に関係なく同一クエリとして扱うため、傾向分析に適している #バックエンド#クラウド#データベース
@mo__mo / 83日前 ExaDB-XSの新機能「Automatic Failover(FSFO)」を試す - その2:フェイルオーバー ExaDB-XSのData Guard GroupでAutomatic Failoverを試し、プライマリ障害時にスタンバイが自動昇格することを確認FSFOとOCI管理Observerによる自動フェイルオバーや、ASYNCでのRedo転送によるデータ損失リスク、Physical Standbyの再参加手順障害時のデータ損失が発生する可能性があり、再参加には手動の再構築が必要な点に注意 #データベース#クラウド#インフラ
@nt_matsuda56 / 86日前 SQL初心者向け~参画までに覚えたいSQL構文10選~ SQL初心者が案件に参画するまでに覚えておきたい基本構文10選を紹介SELECT・WHERE・ORDER BY・JOIN・GROUP BY・HAVING・INSERT・UPDATE・DELETE・COUNT・SUM・AVGの構文を解説SELECTとWHEREはSQLの基本なので最優先で覚えること、JOINやGROUP BYも実務で頻繁に使う構文であること #バックエンド#データベース#DevOps・CI/CD
@nt-izumi / 87日前 【SQL入門④】SSMSとは?SQL Serverを操作するための管理ツールを初心者向けに解説 SSMSはSQL Serverを操作するための管理ツールで、データベース確認やSQL実行が可能SQL Serverへの接続、データベース確認、SQL作成・実行、実行結果確認が可能、インスタンス名で接続するインスタンス名を指定して接続する際はサーバー証明書を信頼する設定が必要で、環境に応じて変更する #バックエンド#データベース#DevOps・CI/CD
@ara_ara09 / 87日前 【SQL】「文」ではなく「式」として理解するCASE式の真価(達人に学ぶSQL徹底指南書 第2版より) CASE式を「式」として理解することでSQLの表現力が向上するCASE式は値を返す式で、SELECTや集約関数に直接使える、検索CASE式が条件指定に柔軟ELSEを省略すると予期せぬNULLが返って集計エラーの原因になる #バックエンド#データベース#DevOps・CI/CD