Lambda の Kafka 連携に「キューモード」ができた — 順序保証を手放して並列度を取る前に決めておくこと
AWS LambdaのKafkaイベントソースマッピングに、Kafkaのシェアグループを使うキューモードが追加されました。パーティション数に縛られない並列処理と引き換えに失われる順序保証、冪等性・再試行・失敗先の設計、対象外の構成(Amazon MSKなど)を整理します。
- AWS Lambda
AI要約
- 自前運用のKafkaを対象に、ConsumptionModeにQueueが追加された(2026年11月2日発表)
- 並列度がパーティション数に縛られない代わりに、順序保証がなくat-least-onceになる
- 利用にはApache Kafka 4.2以上とシェアグループの有効化が必要で、Amazon MSKは現時点で非対応
- 関数の冪等化、再試行と失敗先、スケーリングモードの選択を先に決めておく
2026年11月2日、AWSはAWS LambdaのKafkaイベントソースマッピング(ESM)に「キューモード」を追加したと発表しました。対象は自前で運用しているApache Kafkaと、Confluent Cloudのようなマネージドの提供形態です。Amazon MSKは現時点で非対応で、キューモードではパーティション内の順序が保証されません。この記事では、従来方式との違い、利用の前提条件、導入前に決めておく設計項目を整理します。
背景 — 並列度の天井がパーティション数だった
イベントソースマッピング(ESM)は、Lambdaがイベントの供給元(Kafkaなど)からレコードを取得し、関数を呼び出す仕組みです。KafkaのESMでは、イベントポーラー(Kafkaからレコードを取得して関数を呼び出す、Lambda側のコンピュートリソース)が動きます。
従来のKafka ESMは、Kafkaのコンシューマーグループという仕組みを使っています。コンシューマーグループでは、1つのパーティションを同時に読めるコンシューマーは1つだけです。そのため、10パーティションのトピックでは同時に動けるコンシューマーは最大10に限られます。パーティションを増やせば上限は上がりますが、AWSのブログによれば、ブローカーの負荷増とリバランスの遅延を招き、1件の遅いレコードが後続を止める状態(ヘッドオブラインブロッキング)も残ります。AWSの発表によれば、並列度を上げたい場合はパーティションを過剰に増やすか、別のキューイングシステムへ移す必要がありました。画像・動画の変換、不正検知、通知配信のように、イベントが独立していて順序より処理速度が重要なワークロードでは、この制約が負担になります。
キューモードの仕組み
今回の発表で、Kafka ESMにConsumptionModeというパラメータが追加されました。値は次の2つです。
| 項目 | Stream(既定) | Queue |
|---|---|---|
| 仕組み | コンシューマーグループ | シェアグループ(Kafka 4.2以上) |
| 順序 | パーティション内の順序を保証 | 順序の保証なし |
| ポーラー1つあたりの同時実行 | 最大5 | 最大10 |
| スケーリングモード | オンデマンド / プロビジョンド | オンデマンド / プロビジョンド |
| 向く用途 | 順序が必要なイベント処理 | 順序が不要な高スループット処理 |
既定はStreamなので既存のESMは影響を受けず、同じトピックにStreamとQueueのESMを並べて動かすこともできます。
Queueモードが使うシェアグループは、複数のコンシューマーが同じパーティションを同時に読める仕組みです。Lambdaのドキュメントは、Amazon SQSがキューからメッセージを処理する方式に近いと説明しています。パーティション単位の割り当てがなくなるため、並列度はパーティション数と切り離されます。
レコードの状態と、成功・失敗時の動き
シェアグループでは、ブローカーがレコードを4つの状態で管理します。
- Available: 取得できる状態
- Acquired: ポーラーが取得した状態。ロック期間(record lock duration)という期限付きの貸し出し
- Acknowledged: 関数が成功し、処理済みとして確定した状態
- Archived: ブローカー側の配信回数が上限に達し、以後配信されない状態
関数の呼び出しが成功するとレコードは確定し、失敗するとAvailableに戻って別のポーラーが取得できます。呼び出しの実行中は、ポーラーがロックを更新します。この更新では配信試行の回数は増えません。
利用の前提条件 — 対象はKafka 4.2以上、MSKは対象外
Lambdaのドキュメントが示す最低要件は次のとおりです。
- Apache Kafka 4.2以上で、シェアグループが有効であること(
share.versionは既定で有効) - 自前運用のKafka(SMK)クラスターであること。Amazon MSKは現時点でキューモードに対応していません(MSKがKafka 4.2以上でシェアグループを有効にした時点で対応を追加するとドキュメントに記載)
- 利用できるのは、自己管理型Kafka ESMが使えるAWSの商用リージョン
なお、What’s Newは「Kafka 4.2でシェアグループがGA」、ブログは「4.0で導入」と書き方が異なりますが、いずれの資料もキューモードの利用条件はKafka 4.2以上としています。
Queueモードを有効にする設定は、ConsumptionModeをQueueにすることだけです。
導入前に決めておく設計項目
1. 関数を冪等にする(必須)
LambdaのESMはレコードを少なくとも1回(at-least-once)処理するため、重複処理が起こり得ます。Queueモードは順序も保証しないため、関数が冪等でないと二重計上や状態の不整合が起きる可能性があると、ドキュメントは明記しています。冪等とは、同じ入力を何回処理しても結果が変わらない性質のことです。
2. スケーリングモードを選ぶ
| 項目 | オンデマンド(既定) | プロビジョンド |
|---|---|---|
| 設定 | 追加設定なし | MinimumPollers(1〜200)とMaximumPollers(1〜2,000)を指定 |
| ポーラーの上限 | ESMあたり5 | 指定した最大値まで |
| スループット | ポーラー1つあたり最大1 MB/s。合計で最大5 MB/s | ポーラー1つあたり最大5 MB/s |
| 同時実行 | 合計で最大50(5ポーラー×10) | ポーラー1つあたり最大10 |
| 課金 | 通常のLambda呼び出し課金のみ | 通常のLambda課金に加えてEPU(Event Poller Unit)課金 |
| 低レイテンシ処理・スキーマレジストリのフィルタリング・ESMグルーピング | 利用不可 | 利用可 |
オンデマンドでは、Lambdaがコンシューマーラグ(未処理レコードの遅れ)を1分間隔で評価してポーラーを増減します。スパイクが大きい、あるいはレイテンシ要件が厳しいワークロードにはプロビジョンドが向きます。
プロビジョンドでは、ブローカー側のgroup.share.max.size(シェアグループの最大コンシューマー数)に注意が必要です。Kafka 4.2ではこの値が1,000までに制限されるため、AWSはMaximumPollersを1,000以下にすることを推奨しています。ポーラー数の見積もりは、取り込み速度を5 MB/sで割るか、同時実行が律速なら目標の同時実行数を10で割ります(ブログの例では、300の同時実行に最低30ポーラー)。
3. 再試行と失敗先を決める
失敗時の制御には、次の設定が関わります。
BisectBatchOnFunctionError: 関数がエラーを返したときバッチを半分に分け、問題のレコード(ポイズンピル)を切り分ける- on-failure destination: 再試行を使い切ったレコードの送り先。Queueモードのドキュメントが記載する送り先は、Kafkaトピック、Amazon SQS、Amazon SNSです
- ブローカー側の
group.share.delivery.count.limit: 配信を試みる最大回数。上限に達したレコードはArchivedになり、MaximumRetryAttemptsと合わせて再試行の挙動を決める
MaximumRetryAttemptsの既定値は、公式資料の間で記載が食い違っています。 AWSのブログは「0〜10,000で、既定は-1(無制限に再試行)」と記載し、Lambdaのドキュメントは「-1〜10,000で、既定は0(Queueモードでは、on-failure destinationを設定していない場合にKafkaブローカーが再試行する)」と記載しています。2026年11月時点では、どちらが正しいかを確認できていません。本番に入れる前に、コンソールまたはAPIで実際の値を確認し、必要なら明示的に指定しておくことを推奨します。
4. 使えない設定を把握する
MaximumBatchingWindowInSeconds(バッチング時間)は非対応で、指定するとAPIが検証エラーを返します。シェアグループのコンシューマーは、バッチ内の全レコードを明示的に確認応答してから次を取得する方式で、時間ベースのバッチングと両立しないためです。StartingPositionとStartingPositionTimestampも非対応です。Queueモードはシェアグループがコミットした位置から読み始めます。新しいシェアグループの読み始め位置は、ブローカー側のshare.auto.offset.resetで制御します。- EPUの共有はQueueモード同士に限られ、StreamモードのESMと同じ
PollerGroupNameを使うと検証エラーになります。
5. ブローカー側の設定を見直す
複数のポーラーが同じパーティションからレコードを取得するため、パーティションあたりの処理中レコード数が単一ポーラーのバッチサイズを超えることがあります。ブログは、この上限を決めるgroup.share.partition.max.record.locksを、想定する並列度に見合う値にするよう挙げています。ロック期間のgroup.share.record.lock.duration.msは、既定の30秒で足りるとされています。
まとめ
- Lambdaの自前運用Kafka向けESMに、シェアグループを使うキューモードが追加されました。並列度がパーティション数に縛られなくなる一方、順序は保証されず、処理はat-least-onceです。
- 利用にはApache Kafka 4.2以上とシェアグループの有効化が必要で、Amazon MSKは現時点で非対応です。
- 導入前に、関数の冪等化、スケーリングモード、再試行と失敗先を決めてください。
MaximumRetryAttemptsの既定値は資料により記載が異なるため、実際の値の確認が必要です。
出典
- AWS Lambda now supports queues for Apache Kafka in self-managed Kafka event sources(What’s New。2026年11月2日発表。自前運用Kafka・Confluent Cloud等が対象、Kafka 4.2以上・シェアグループ有効が前提、ポーラーあたり同時実行10、順序を保持しない旨、料金(通常のLambda料金・プロビジョンドはEPU課金)を記載。閲覧日: 2026年11月11日)
- Introducing queue consumption mode for Apache Kafka in AWS Lambda(AWS Compute Blog。2026年11月2日。コンシューマーグループの制約、レコード状態(Available・Acquired・Acknowledged・Archived)、ブローカー設定4種、オンデマンド/プロビジョンドのスケーリング、ポーラー数の見積もり例、
group.share.max.sizeの上限1,000、MaximumRetryAttemptsに関する記載を参照。閲覧日: 2026年11月11日) - Polling Kafka topics in Queue mode - AWS Lambda(Lambda開発者ガイド。最低要件、Stream/Queueの比較、Amazon MSK非対応、設定パラメータ、対応・非対応機能、スケーリングモードの上限値、EPU共有の制限、冪等性の注意を参照。閲覧日: 2026年11月11日)
- Capturing discarded batches for Amazon MSK and self-managed Apache Kafka event sources - AWS Lambda(Lambda開発者ガイド。on-failure destinationの設定方法と実行ロールに必要な権限を参照。閲覧日: 2026年11月11日)
For Freelancers
インフラ設計・構築の案件を募集しています
この記事の技術に近い、いま募集中の業務委託案件です。
インフラ設計・構築の記事
すべて見る →-
技術記事 · インフラ設計・構築 · 2026/11/12
ECS Managed Daemonsに「非クリティカル」ができた — 監視エージェントを落としても本番を止めない設計
-
技術記事 · インフラ設計・構築 · 2026/9/10
S3のFIPS対応がPrivateLinkだけで完結するようになった — 専用エンドポイントとDNS設計の要点
-
AWS障害 · インフラ設計・構築 · 2026/8/12
マルチAZ設計は、その一本の回線を守ってくれない — 2021年9月 東京リージョン Direct Connect障害に学ぶ
-
技術記事 · インフラ設計・構築 · 2026/8/9
ECS Service ConnectのAZ優先ルーティングがデフォルト化 — エンドポイントがAZ数の2倍を割ると静かに均等配信へ戻る