データ基盤
データベースの選定と運用、データレイク・ETL・分析基盤。Aurora・DynamoDB から Glue・Athena まで。
データ基盤の募集中の案件 7 件 · 75〜115 万円/月
案件をすべて見る →新着順15 本
-
技術記事 · データ基盤 · 2026/11/16
DynamoDB に S3 からの一括投入(Bulk Put Items)が付いた — 既存テーブルへ流す前に決める条件式・Streams・結果検証
Amazon DynamoDBの既存テーブルへ、S3のファイルを非同期ジョブで書き込めるBulk Put Itemsが一般提供になりました。レコード単位の条件式、条件スキップの記録方法、Streams・DAX・グローバルテーブルとの関係、バイト単位課金の要点を整理します。
Amazon DynamoDBAmazon S3
-
技術記事 · インフラ設計・構築 · 2026/11/11
Lambda の Kafka 連携に「キューモード」ができた — 順序保証を手放して並列度を取る前に決めておくこと
AWS LambdaのKafkaイベントソースマッピングに、Kafkaのシェアグループを使うキューモードが追加されました。パーティション数に縛られない並列処理と引き換えに失われる順序保証、冪等性・再試行・失敗先の設計、対象外の構成(Amazon MSKなど)を整理します。
AWS Lambda
-
AWS障害 · 運用・SRE · 2026/9/9
ログの出口が詰まった日 — 2024年7月 Kinesis内部障害に学ぶ、マネージドサービスの「見えない依存」
2024年7月30日、Amazon Kinesis Data Streamsの内部セルで発生した障害が、CloudWatch LogsやLambda、ECS、API Gatewayなど一見無関係な複数サービスを同時に不調にしました。AWS公式ポストモーテムをもとに、時系列と根本原因、そこから導ける設計上の学びを整理します。
Amazon KinesisAmazon CloudWatch
-
技術記事 · 生成AI・LLM · 2026/8/17
Bedrock の Claude Opus 5 は ZDR がデフォルト — それでも SCP で強制すべき理由
Claude Opus 5 が Amazon Bedrock でゼロデータ保持デフォルトで提供開始。ただし新規アカウントの既定値は inherit です。データ保持モードの解決順と、Bedrock Projects・SCP で組織的に強制する設計を公式情報から整理します。
Amazon BedrockAWS Organizations
-
技術記事 · 生成AI・LLM · 2026/8/16
ベクターDBを増やさない選択 — DynamoDBネイティブのベクター検索がRAG基盤の構成をどう変えるか
AWSは2026年8月5日、DynamoDBがベクター埋め込みをテーブル内にネイティブで保存・検索できる機能を発表しました。公式ドキュメントの記載に基づき、RAG基盤で専用ベクターDBを追加する構成とDynamoDB一系統に統合する構成の設計判断を整理します。
Amazon DynamoDBAmazon Bedrock
-
AWS障害 · 運用・SRE · 2026/8/10
DNSレコードが空になった日 — 2025年10月 DynamoDB障害に学ぶ自動化の排他制御
2025年10月19日から20日にかけてのUS-EAST-1 DynamoDB障害(公式ポストイベントサマリー準拠)を題材に、DNS PlannerとDNS Enactorのあいだで成立した競合状態がリージョナルエンドポイントのDNSレコードを空にした経緯を原文の記述に沿って追い、独立に動くアクターの排他制御と、単一エンドポイント依存が届く範囲という2つの設計論点を整理します。
Amazon DynamoDB
-
技術記事 · 生成AI・LLM · 2026/7/27
エージェントに最新情報をどう持たせるか — Managed KB / Web Search / 自前検索を"鮮度とリージョン"で使い分ける設計
社内に無い最新情報をエージェントに持たせるなら、知識源は鮮度とリージョンで決まります。特定リージョン要件ではWeb Searchが使えずKB、最新性が必須ならWeb Search。データの所在・ガバナンス・コストの形まで含めた使い分けの判断軸を、どれかを礼賛せず中立に整理します。
Bedrock AgentCoreAmazon Bedrock
-
技術記事 · 生成AI・LLM · 2026/7/6
本番RAGのベクトルストアをどう選ぶか — S3 Vectors / OpenSearch Serverless / pgvector をコスト×性能×運用×スケールで判断する
本番RAGのベクトルストアは S3 Vectors / OpenSearch Serverless / pgvector の3択です。違いの本質は機能でなくコスト構造(クエリ従量か容量課金かDB内包か)と運用・スケールの収まりにあります。規模・クエリ頻度・運用体制・連携の4軸から判断木で選ぶ考え方を整理します。額は2026年6月時点の参考値で、構成全体の費用試算は関連記事へ送ります。
S3 VectorsAmazon OpenSearch ServiceAmazon Bedrock
-
AWS障害 · 運用・SRE · 2026/7/2
東京リージョンのAZ障害(2019)に学ぶ — マルチAZを"本当に効かせる"信頼性設計
2019年の東京リージョン単一AZ障害(公式PES準拠)を題材に、AZ障害を前提としてマルチAZを"本当に効く"設計にする判断を整理します。AZの独立性、EBSの単一AZ依存、AZフェイルオーバー、回復局面の冪等性を、AWS批判ではなく設計の学びとして扱います。事実は当時のもので、設計原則は公式ドキュメントを典拠にします。
Amazon EBSAmazon RDS
-
技術記事 · 生成AI・LLM · 2026/7/1
本番RAGのアーキを選ぶ — Bedrock Managed KB / S3 Vectors / 自前の損得をTCOで比較する
本番RAGの構成は『全部任せる(Bedrock Managed KB)/自分で選ぶ(S3 Vectors)/自前で持つ(OpenSearch・pgvector)』の3択です。違いの本質は機能ではなく課金モデル=固定費か変動費か。東京リージョンの単価でTCOの損益分岐を机上計算し、規模別にどれを選ぶかを整理します。単価は2026年6月18日時点・東京・参考値で、公式pricingとPricing Calculatorでご確認ください。
Amazon BedrockS3 VectorsAmazon OpenSearch Service
-
AWS障害 · 運用・SRE · 2026/6/27
AWS US-EAST-1 大規模障害(2025年10月)に学ぶ — コントロールプレーン依存を断つ信頼性設計
2025年10月のUS-EAST-1 DynamoDB障害(公式PES準拠)で何が起き、どのサービスへ連鎖したかを簡潔に整理します。そのうえで、事象の解説より「単一リージョン・コントロールプレーン依存をどう切り離して影響を局所化するか」という設計判断に重心を置きます。AWS批判ではなく設計の学びとして読める内容です。
Amazon DynamoDB
-
技術記事 · インフラ設計・構築 · 2026/6/24
Graviton5世代(EC2 M9g/M9gd・RDS M9g)で何が変わったか — Arm世代更新をどのワークロードで取りに行くか
AWS Graviton5世代がEC2(M9g/M9gd)とRDS(M9g)で登場。Graviton4比の性能改善、対応エンジンバージョン、移行の進め方を整理し、どのワークロードでArm世代更新を取りに行くかを判断できるようにします。現時点では東京リージョン未提供のため、先行リージョンでの検証を前提に解説します。
Amazon EC2Amazon RDS
-
技術記事 · データ基盤 · 2026/6/21
S3のデータに業務文脈を持たせる — アノテーションでAIエージェント/RAGの「理解」を底上げし、Athenaで引く
Amazon S3 がアノテーションに対応し、オブジェクトに業務文脈のカスタムメタデータ(1オブジェクト最大1,000個・各1MB・合計1GB、JSON/XML/YAML)を後付けできるようになりました(GA・東京リージョン対応)。PutObjectAnnotationで付与し、S3 Metadataのアノテーションテーブル(Apache Iceberg自動インデックス)経由でAthena・SageMaker Unified Studio(自然言語検索)・S3 Tables MCPから横断クエリできます。既存タグとの違い、技術スパイン3段、S3 Vectorsとの併用設計、保存は割増なし・コストはクエリ可能化側という料金の考え方を、AWSフリーランス実務目線で整理します。併用や料金は公式の最新情報もご確認ください。
Amazon S3Amazon Athena
-
ニュース · データ基盤 · 2026/6/15
Amazon Aurora DSQL 入門 — 分散SQLの使いどころと移行前に押さえる制約5点
2025年5月にGAしたAmazon Aurora DSQLを、AWSフリーランス実務の視点で解説。サーバーレス分散SQL/PostgreSQL互換/マルチリージョン強整合の位置づけ、通常Auroraとの違い、DPUの料金、そして外部キー・トリガー非対応やOCCリトライ・3,000行制約など移行前に押さえる制約まで整理します。
Amazon Aurora
-
ニュース · 生成AI・LLM · 2026/6/15
Amazon S3 Vectors が GA — OpenSearchとの使い分けとRAGのコスト最適化
2025年12月にGAしたAmazon S3 Vectorsを、AWSフリーランス実務の視点で解説。ベクトルをネイティブ保存できる初のオブジェクトストレージの位置づけ、3要素の料金構造、次元数や制限、OpenSearchとの使い分け・ハイブリッド設計までRAG実装目線で整理します。
Amazon S3S3 VectorsAmazon OpenSearch Service