自前GPUで推論を回すべきか — Bedrockマネージドとの使い分けと、EC2 G7（Blackwell）の選び方
AI推論をBedrockマネージドで足すか、自前GPU（EC2 G7）で回すか。まず『Bedrockで足りるか』から考える判断軸を、自前GPUが要る典型条件、G7（Blackwell）の6サイズ選定、従量と専有のコスト、東京未提供という現在地まで、現行の公式仕様にそって整理します。
- #AWS
- #EC2
- #GPU
- #生成AI
- #推論
- #Bedrock
- #コスト最適化
生成AIの推論を本番に載せるとき、最初の分岐は「Bedrockのマネージドで呼ぶだけで足りるか、それとも自前のGPU（EC2 G7）で回すか」です。本記事は、この判断で迷う実務者に向けて、まず『Bedrockで足りるか』を問い、自前GPUが要る典型条件と、要るならG7をどう選ぶかを、東京未提供という現在地も正直に踏まえて整理します。対象は推論ホスティングの選定です。モデルの学習（トレーニング）用途や、レンダリングなどグラフィックス専用の使い方は本記事の対象外とします。
推論の”載せ方”には3つの層がある
推論をどこで回すかは、二択ではなく「マネージド度 × 制御/コスト」の連続として、3つの層で捉えると整理しやすくなります。
- Bedrock（フルマネージド）：用意されたモデルを「呼ぶ」層です。インフラの管理は不要で、課金はトークンやリクエストに応じた従量制です。
- SageMaker 推論エンドポイント（マネージド運用）：モデルを自分で選び、その配信をAWS側の補助を受けながら運用する層です。スケールや監視の一部を任せられる中間に位置します。
- EC2 G7 自前運用（フル制御）：GPUインスタンスを自分で建てて回す層です。制御は最大ですが、専有のコストと運用責任も自分で負います。
層が下がるほど制御は増え、その分だけコストと運用負荷も増えます。だからこそ出発点は「上の層で足りないか」を問うことです。
まず「Bedrockで足りるか」を問う — 自前GPUが要る典型条件
結論から言えば、多くのケースはまずBedrockで足ります。マネージドで呼べるなら、インフラを抱えずに済むからです。そのうえで、自前GPU（SageMaker推論エンドポイントやEC2 G7）が要るのは、次のような条件に当てはまるときです。
- 使いたいモデルがBedrockで提供されていない、またはカスタムモデルを自分でデプロイしたい。
- 常時高いスループットが見込め、従量課金より専有のほうが見合う可能性がある（損益の分岐は規模次第のため、ここでは原理として押さえます）。
- レイテンシ・データの所在・コンプライアンスなどの要件が、マネージドの前提を超える（これらはG7固有の数値ではなく、一般的な要件として検討します）。
- 動画・画像・音声の処理やグラフィックスなど、GPUの汎用的な処理能力そのものが目的になる。
なお、Bedrockで利用できるモデルやカスタムモデルのデプロイの詳細は変わり得るため、最新の対応は公式でご確認ください。マネージドで呼ぶ前提の作り込みは Bedrockで作る生成AIアプリ が、まずマネージドで足りるかの具体例は Bedrockのマネージドナレッジベース が参考になります。
ここで一つ線を引きます。自前GPUを選んだあとの運用設計やSLO、推論の最適化（チューニング）といった踏み込んだ設計は、本記事の範囲を超えます。これらはスペシャリスト向けの設計テーマとして別に扱います。本記事は、その手前の「どの層に載せるか」という選定の判断軸に集中します。
自前GPUと決めたら — EC2 G7をどう選ぶか
自前で回すと決めたら、次は世代とサイズの選定です。G7はNVIDIA RTX PRO 4500 Blackwell世代のGPUを搭載し、前世代のG6と比べてAI推論で最大4.6倍、グラフィックスで最大2.1倍とされています。ただしこれらは公式の「up to（最大）」表現であり、実際の伸びはワークロードに依存する参考値です。倍率を固定値として見積もらないよう注意します。
スペックの上限は、1インスタンスあたり最大8基のGPU（各32GBで合計256GB）、CPUはcustom Intel Xeon 6、ネットワークは最大700Gbps EFAです。サイズは次の6種類で、最小がg7.2xlargeである点（g7.xlargeは存在しない）に注意してください。
| サイズ | GPU数 | GPUメモリ | vCPU | システムメモリ |
|---|---|---|---|---|
| g7.2xlarge | 1 | 32 GB | 8 | 32 GiB |
| g7.4xlarge | 1 | 32 GB | 16 | 64 GiB |
| g7.8xlarge | 1 | 32 GB | 32 | 128 GiB |
| g7.12xlarge | 2 | 64 GB | 48 | 192 GiB |
| g7.24xlarge | 4 | 128 GB | 96 | 384 GiB |
| g7.48xlarge | 8 | 256 GB | 192 | 768 GiB |
GPUが1基で足りるなら下位の3サイズ、複数GPUでまとめたいなら上位、という積み上げで考えます。さらに大きな g7.metal は提供予定（coming soon）とされており、現時点では選べません。
GPUを使う処理でも、推論ではなくArmベースの汎用コンピュートで足りるなら、Graviton系という選択肢もあります。用途の住み分けは Graviton4の世代更新 や Graviton5世代（RDS/EC2 M9g） が参考になります。
コストの考え方 — 従量（マネージド）と専有（自前）
マネージドと自前は、課金の性質が根本的に異なります。
| 方式 | 課金の性質 | 向くケース |
|---|---|---|
| Bedrock（従量） | トークンやリクエストなど使った分だけ課金 | 利用が変動する・小〜中規模・運用を持ちたくない |
| 自前GPU（専有） | インスタンスの稼働時間で課金（使っていなくても課金される） | 常時高負荷で稼働率を上げきれる・制御が要る |
自前GPUの専有コストは、購入形態で動かせます。On-Demand は縛りがない代わりに割高、Savings Plans は1〜3年のコミットで単価を下げる、Spot は中断のリスクと引き換えに大きく下げる、という性質です。常時稼働で長期に使うなら Savings Plans、中断に耐えられる処理なら Spot、と組み合わせて考えます。
具体的な時間単価は変動し、リージョンやサイズによっても変わるため、本文では金額を示しません。最新の単価は公式のEC2料金ページでご確認ください。推論のコストを下げる考え方は Bedrock推論のコスト最適化、GPUのような高コスト資源を継続的に絞る取り組みは AWS FinOps Agent が参考になります。
現在地 — 今すぐ東京では使えない
選定の前に、提供リージョンの確認は欠かせません。EC2 G7の提供は、執筆時点で us-east-2（オハイオ）と us-west-2（オレゴン）の2リージョンのみで、東京（ap-northeast-1）では未提供です。東京での利用を前提にしている場合、現時点ではそのまま採用できません。
ただし、ここまで整理してきた「まずBedrockで足りるか→要件が超えたら何で回すか」という判断軸は、リージョンに依存しません。提供が東京に広がったときにすぐ動けるよう、判断そのものは今から進められます。提供リージョンは拡大する可能性があるため、採用前に公式の最新情報をご確認ください。
まとめ — 推論の載せ方チェックリスト
推論の載せ方は、上の層から順に問うのが基本です。
- まずBedrockで足りるか。 マネージドで呼べるなら、それが最も手間のかからない選択です。
- 足りなければSageMaker推論エンドポイント。 モデルを選びつつ、運用の一部を任せる中間策です。
- さらに要件が超え、自前で運用できるならEC2 G7。 最大の制御と引き換えに、専有コストと運用責任を負います。
そのうえで、性能倍率は参考値であること、料金は公式で確認すること、東京は未提供であること、という3つの現在地を忘れないことです。
自前GPUを選んだあとの運用設計・SLO・推論最適化といった踏み込んだ設計は、スペシャリスト向けの設計テーマとして別に扱います。まずは本記事のチェックリストで、自分のワークロードをどの層に載せるかを判断するところから始めてみてください。