#データベース
@rniki /
- Parquet DirectでS3のParquetを直接参照してもプルーニングが働いた
- 同一ファイルを参照した場合、スキャン数とスキャンバイト数が管理Icebergと一致し、日付絞り込みでは1/992にまで絞れた
- スキャン範囲を確認するにはQuery ProfileのTableScan統計をチェックし、データ配置に応じたプルーニング効果を評価する
@mmsbox /
- ER図の線は川の流れで読むことで、中間テーブルと through がどうコードに反映されるかが分かる
- 1対多は || と o{ の線で、多対多は中間テーブルで合流する、through は湖を経由する船旅、source は源流を指定する
- 中間テーブルのモデルを作らなければ validates が書けないため、has_many :through を使うのが一般的
@ktdatascience /
- データ分析でよく起きる8つの間違いのパターンとその見つけ方を紹介している
- JOINで行が増える、月の途中と丸1か月を比べる、平均の平均を出す、タイムゾーンのずれ、結果で切ったグループを比べる、全体と内訳で逆になる
- 集計の前後に行数を比べたり、同じ指標を2通りで計算したりすることで間違いを防げる
@北野 /
- 読みやすいDB設計はAI開発コストを1.9倍に抑える
- 命名・コメント・外部キーの明確さがAIのターン数とトークン数に影響
- 実際のDBを確認する回数が増えることでコストが上昇する
@Takumi /
- Snowflake Ver.10.36でUIが大きく変更され、Getting Startedのガイドが使えない
- WorksheetsとDashboardsが廃止され、WorkspaceとStreamlitに置き換えられ、DatabasesはCatalogからアクセス
- UI変更によりガイド通りに操作できないため、新しいタブや機能の使い方を確認する必要がある
@ryo0427 /
- bin/rails generate scaffoldコマンド実行時にPendingMigrationErrorが発生
- rails_helper.rbのrescue文でexit 1が実行され、テスト実行中にマイグレーション未実行を検知
- テスト環境でマイグレーションを実行しない場合、マイグレーションファイルの生成後に処理が中断される
@r.kaino /
- SnowflakeのAIコーディングエージェントCoCoを使って、都道府県別の地価推移アプリを作成した
- PODBの地価データをビューで読み込み、Streamlitアプリで可視化。中央値をグラフに、緯度経度を地図に使用
- データの年度ごとの地点数の変化や用途の変更による影響に注意が必要。アプリのコストはコンピュートプール利用に依存
@yushibats /
- Oracle ADB の表を Data Transforms で Apache Iceberg テーブルに全量・差分ロードできる
- 全量ロードは append スナップショット、差分ロードは増分追加と増分マージで処理、Iceberg REST カタログ経由でデータを管理
- 増分列に TIMESTAMP を使うと秒未満の値が処理に影響し、スナップショットの上限値が切り捨てられる
@m-nishikawa /
- 5つの手法のスキャン方式が読み取り性能に与える影響をEXPLAIN ANALYZEで確認した
- 隣接リスト+再帰CTEは再帰UnionでSeq Scanを繰り返し、nested setは整数範囲検索で高速
- 索引が効くのは結果が少数行に絞れるときで、多数行を返すクエリではSeq Scanの方が早い
@なずな /
- Cloud DLP と dbt を組み合わせて面接の文字起こしの氏名をマスクする仕組みを構築した
- DLP の inspect template と deidentify template を Terraform で管理し、BigQuery remote function から Cloud Run Functions にリクエストを送信して処理する。増分処理では id とハッシュ値で再マスクが必要な行を判定
- DLP のクォータを引き上げて初回バックフィルを完了させ、実データのサンプルで検出結果を確認するステップを推奨する
@komaba /
- SQLの基本命令4つが解説されている
- SELECTでデータ抽出、INSERTでデータ追加、UPDATEでデータ更新、DELETEでデータ削除の仕組み
- WHEREで条件を指定しないと全データを操作する可能性がある
@m-nishikawa /
- 多階層部署データの5手法のベンチマーク結果が公開された
- AdjList+CTEとClosureTreeが読み取りでは2〜3倍の差、移動では780倍の差、ltreeは移動で1桁ms
- 移動コストは総件数ではなく動かす部分木のサイズに依存し、小規模でも大きな枝の移動は遅い
@m-nishikawa /
- 5つの階層データ構造の比較と検証設計が公開された
- 隣接リスト・経路列挙・入れ nested set・閉包テーブル・ltreeの5手法を比較、読み書きの実測を実施
- サブツリー移動のコストは手法によって1000倍以上差があり、閉包テーブルは小規模でも遅い
@kobadain /
- PostgreSQLでauto_explainを設定し、New Relicで実測情報付き実行計画を確認する方法を紹介
- auto_explainで実行時間の閾値を超えたSQLの実行計画をログに記録、New RelicのLogs機能で解析
- auto_explainの設定でDB負荷が増えるため本番環境ではサンプリングレートを調整する
@s_moriyama /
- DynamoDB の S3 エクスポートにフィルターが追加され、特定のデータだけを切り出せるようになった
- key condition expression でパーティションキーを絞り込み、filter expression は読み取り後に適用される
- エクスポートはリストアではないため、Import from S3 で新しいテーブルを作成する必要がある
@長谷部一希 /
- 本番DBに不要なレコードが数千万件登録された
- 出荷明細の補足情報が再生成時に全件コピーされ、件数が指数関数的に増加
- データ修正時に荷主側のデータと比較し、キャンセル済みデータは業務状況に応じて削除方針を分ける必要がある
@mino_sota /
- アプリボットはシャーディングなしで無停止スケーリングを実現するためTiDBを採用した
- TiDBはMySQL互換でシャード間トランザクションが可能、手動スケーリングで負荷テストを実施
- スケーリングに5分、適用待ち1時間で本番環境でも無停止運用が可能
@yuki nomura /
- ドキュメントのメンテナンスはAIに任せられない
- カノニカルスペースでドキュメントを分類し、オーナーが定期的に見直す運用を導入
- AIが参照する情報の信頼性を保つためには人間の見直しが必要
@gamonges /
- Closure Tableと権限の非正規化を削除し、再帰CTEと読み時合成でシンプルに解決
- 再帰CTEで階層をたどり、読み時合成で権限をリアルタイム計算、非正規化データを削除
- 正本と派生データを分離していたことで、設計変更を安全に実施可能
@aki /
- Amazon GuardDuty RDS ProtectionがAuroraおよびRDSデータベースのデータ流出とデータ破壊を検出可能に
- ログイン後のクエリパターンを機械学習で異常検知、SELECT/DELETE/ DROP文の行数と回数を比較
- データの中身は見ないでSQLの実行回数と行数の変化で検出、抑制ルールは狭い条件で作成する