@nktm0511 / 29日前 その中間テーブル、本当に必要?Power BIの容量を大きく削減できた話 Power Queryの中間テーブルの読み込みを解除することでモデル容量を半分に削減中間テーブルは後続クエリから参照されていてもモデルに読み込まない設定に変更、不要な列や自動日付テーブルも削除中間テーブルがモデルに読み込まれていないか確認し、読み込みを解除することで容量削減が可能 #バックエンド#クラウド#データ分析
@Ryosuke Hata / 30日前 [DataRobot] アプリに依存しているデプロイを探す DataRobotで停止中のアプリに関連するデプロイをAPIで検出できる仕組みを構築したCustom Application APIとLineage APIを組み合わせて、Deployment IDを取得し、依存関係をグラフでたどる停止候補の判定には他のアプリからの参照も考慮するが、外部システムからの直接利用は検出できない #DevOps・CI/CD#クラウド#データ分析
@たきこみ / 31日前 Horizon Contextによるメタデータ管理:App Runtimeをデータリネージュに加える SnowflakeのHorizon Contextで外部リネージュを登録できる機能が追加されたメタデータコネクターとOpenLineageイベントによるリネージュ登録、APIエンドポイントと画面ノードのマッピングOpenLineageのcolumnLineageファセットでカラムレベルリネージュを表示できるが、スキーマ情報が必要で、その他のファセットは無視される #クラウド#データ分析#DevOps・CI/CD
@tya-guin / 31日前 jpstatで始めるe-Stat API入門 Rでe-Stat APIを使うためのjpstatパッケージの使い方が解説されているestat()でメタデータ取得、activate()で分類選択、collect()で実データ取得、特殊値の扱いに注意APIキーは.Renvironに保存し、コードに直接書かないこと #バックエンド#データ分析#OSS
@Lauren Forristal / 32日前 FloqerのAIエージェントがB2B営業チームの顧客リサーチを自動化 FloqerはAIエージェントで営業チームの顧客リサーチを自動化するAIエージェントが100以上のサードパーティデータソースから情報を収集し、変更を継続的にモニタリングする顧客情報の更新に70%の時間短縮が可能で、企業は自社でデータをホスティングしたい要望がある #AIエージェント#機械学習#データ分析
@Takaki Ihara / 32日前 【SWTT 2026】Snowflake Well-Architected Frameworkで実現する実践的なデータマネジメント データマネジメントはDMBOKで診断し、Snowflake WAFで治療する3ステップで進められるDMBOKの11領域で現在地を評価し、WAFの5つの柱に治療策を当てはめる、自社の意思決定で仕分ける診断で見つけた弱点をWAFで改善する際、組織のルールや他システムとの連携は自社の意思決定が必要 #クラウド#データ分析#インフラ
@koki takeishi / 36日前 Helix Foundry~顧客データがつながるオントロジーをローカルで作るOSS Helix Foundryはローカルで動作するデータワークスペースで、複数のデータソースを統合してオントロジーを作成できるOSSDB、SaaS、REST API、CSVなどからデータを取り込み、一意性や値の一致をもとにオントロジーを提案し、AIで説明を補完する実際のDB接続情報やAPIキーを入力する際は、アクセス先やデータの送信先を確認し、セキュリティに注意する必要がある #データ分析#OSS#インフラ
@Theresa Loconsolo / 37日前 Amazonと他社がデータセンター取引を秘匿しなくなった。信頼を構築できるか? Amazonがデータセンター取引で秘密保持契約をやめると発表した秘密保持契約を廃止し、Microsoftが今年始めた動きに続く地域政府との交渉で秘密保持契約をやめることで、地域社会の反発を和らげたい #クラウド#インフラ#データ分析
@Theresa Loconsolo, Anthony Ha, Rebecca Bellan, Sean O'Kane / 37日前 AmazonがデータセンターのNDAを廃止、AIエージェントがクレジットカードを求める AmazonがデータセンターのNDAを廃止し、AIエージェントがクレジットカードのアクセスを求めるデータセンターのNDA廃止と、AIエージェントがウェブサイトを通じて個人情報にアクセスする動きが進むデータセンターの透明性向上が地域の反発を減らす可能性があるが、AIエージェントの個人情報収集には注意が必要 #AIエージェント#データ分析
@taku namatame / 37日前 「業務管理」と「マスタデータ管理」は同じではない ― DAMA-DMBOKから考えるMDMの役割 「業務管理」と「マスタデータ管理」は異なる視点で同じ対象を扱う業務管理は業務プロセスを、MDMはデータ一貫性と共有を重視する業務プロセスとデータガバナンスを同時に設計しないとMDMは効果を発揮しない #データ分析
@Ryusei.Taniguchi / 39日前 SAP BDCナレッジ集:SAP Analytics Cloudの非対称レイアウトを試してみた SAP Analytics Cloudで非対称レイアウトが導入され、実績と予測を1つの表で連続して表示できるようになった実績は基準月まで、予測は基準月の翌月から年末までをそれぞれ表示する設定が可能で、Dynamic Date Rangeと組み合わせて使用基準月を実績の最終月として設定する必要があり、Date型の日付ディメンションが必要でカスタム日付型はストーリーごとに1つしか使えない制約がある #クラウド#データ分析
@ながぬ~ / 41日前 OneLake のショートカットは「リンク」。作る・読む・消すで挙動を確かめる OneLakeのショートカットはリンクとして動作し、中のファイルを削除すると参照先も消えるショートカットの中のファイルを消すと参照先の実体も消え、ショートカットそのものを消すと参照先は残る中のファイルを消すと参照先も消えるため、削除操作には注意が必要 #クラウド#インフラ#データ分析
@レトリバ広報 / 42日前 in silico オフターゲット解析に向けた近似文字列探索の高速化 in silicoオフターゲット解析の近似文字列探索を高速化する手法が提案された双方向FM-indexとバッチ処理、プリフェッチを組み合わせて、ハミング距離とレーベンシュタイン距離の両方で検索を高速化ハミング距離ではバックトラッキングより10.7倍高速、レーベンシュタイン距離では6.8倍高速で、延伸回数も半分に削減された #AIエージェント#機械学習#データ分析
@Y_uuu / 42日前 Snowpipe + Stream + Task とは?Snowflakeで「取り込み」と「加工」を自動化する基本パターン Snowpipe + Stream + Task を使ってS3のファイルを自動で取り込み加工する仕組みを構築できるSnowpipeでS3のファイルを自動取り込み、Streamで変更データを追跡、TaskでSQLを定期実行して加工Taskは実行条件を指定しないと無駄に実行されるため、SYSTEM$STREAM_HAS_DATAで条件をつけること #クラウド#データ分析#DevOps・CI/CD
@Masaki Hara / 42日前 JSONはシンプルで明快な仕様が魅力ですが、そんなJSONでも微妙な実装差異が生じる罠がいくつかあります。本稿はこうした機微を実装の比較を通 JSONの実装差異が数値の扱い、サロゲートの処理、オブジェクトキーの重複と順序性で生じる数値の整数と小数の区別、孤立サロゲートのエスケープ処理、オブジェクトキーの重複時の後勝ち/前勝ちの挙動JavaScriptは数値を浮動小数点数として扱い、Goは整数型で受け取る場合に孤立サロゲートをエラーにする #バックエンド#データ分析#DevOps・CI/CD
@maskot1977 / 43日前 耳で聞く!Python で学ぶ マクロ経済学 入門 24 政府の赤字が民間の黒字を生む仕組みをPythonでシミュレーションしたセクターバランスの等式、国債発行のシミュレーション、マネタリーベースとマネーストックの違い政府支出が民間の預金を増やす仕組みを理解するためには税や国債の順序を正しく把握する必要がある #バックエンド#クラウド#データ分析
@Dataiku NTTDATA Consulting / 45日前 Dataiku初心者が公式Learning Pathを一通り学んでみた ― 認定資格5つの学習ロードマップと到達点 Dataikuの公式Learning Pathを学ぶことで、データ準備から生成AIまでを扱える広範なプラットフォームであることが分かるCore Designerでデータ処理の基本、ML Practitionerで機械学習、MLOps Practitionerでモデル運用、Generative AI Practitionerで生成AI活用を学ぶGUIで処理できるが、統計や機械学習の知識がないと意味が理解できないため、基礎知識の補完が必須 #データ分析#機械学習#クラウド
@kamo-shika / 45日前 Databricks で個人情報をマスクするなら「見せない・消す・見つける」で考える(Free Edition で検証) Databricksで個人情報をマスクする際には「見せない・消す・見つける」の3つのアプローチを区別するカラムマスクとABACポリシーで読み取り時にマスク、ai_mask()でデータを書き換える、Data ClassificationでPIIを検出するカラムマスクはタイムトラベルやDelta Sharingでは使えない、ai_mask()は英語向けで日本語の崩れたテキストでは一部しかマスクできない #データ分析#クラウド#セキュリティ
@Issei Naruta / 45日前 Aurora PostgreSQL から Databricks Delta Lake テーブルにクエリする Aurora PostgreSQL から Databricks Delta Lake テーブルにクエリできることが確認されたIceberg REST Catalog API 経由で Glue catalog federation を利用し、S3 に保存された Delta Lake テーブルを Aurora から SELECT できる。ARRAY / MAP / STRUCT 型は非対応で、prepared statement でデータ更新が反映されない現象が確認されたAurora のロールに S3 アクセス権を付与する必要があり、Unity Catalog の row filter や column mask は適用されない。データの鮮度を気にする場合は prepared statement の使用に注意が必要 #クラウド#データベース#データ分析
@Hiromu Ogawa / 46日前 BigQuery 会話分析 データエージェント超入門【利用編】 BigQueryデータエージェントは検証済みクエリと指示を元に質問に回答し、予測機能は設定によって制限される検証済みクエリが使われた場合は「Verified Query」表示、予測機能は指示で断る設定が可能、データポータルからアクセスする際の権限設定が必要予測結果の信頼性を確認するにはSQLと実績データを照合し、データポータルでのアクセスにはIAM権限とプロジェクト設定が必要 #クラウド#バックエンド#データ分析