クラウドキャリアフリーランス
技術記事 インフラ設計・構築 2026/11/11

Lambda の Kafka 連携に「キューモード」ができた — 順序保証を手放して並列度を取る前に決めておくこと

AWS LambdaのKafkaイベントソースマッピングに、Kafkaのシェアグループを使うキューモードが追加されました。パーティション数に縛られない並列処理と引き換えに失われる順序保証、冪等性・再試行・失敗先の設計、対象外の構成(Amazon MSKなど)を整理します。

  • AWS Lambda

AI要約

  • 自前運用のKafkaを対象に、ConsumptionModeにQueueが追加された(2026年11月2日発表)
  • 並列度がパーティション数に縛られない代わりに、順序保証がなくat-least-onceになる
  • 利用にはApache Kafka 4.2以上とシェアグループの有効化が必要で、Amazon MSKは現時点で非対応
  • 関数の冪等化、再試行と失敗先、スケーリングモードの選択を先に決めておく
目次
  1. 背景 — 並列度の天井がパーティション数だった
  2. キューモードの仕組み
  3. レコードの状態と、成功・失敗時の動き
  4. 利用の前提条件 — 対象はKafka 4.2以上、MSKは対象外
  5. 導入前に決めておく設計項目
  6. 1. 関数を冪等にする(必須)
  7. 2. スケーリングモードを選ぶ
  8. 3. 再試行と失敗先を決める
  9. 4. 使えない設定を把握する
  10. 5. ブローカー側の設定を見直す
  11. まとめ
  12. 出典

2026年11月2日、AWSはAWS LambdaのKafkaイベントソースマッピング(ESM)に「キューモード」を追加したと発表しました。対象は自前で運用しているApache Kafkaと、Confluent Cloudのようなマネージドの提供形態です。Amazon MSKは現時点で非対応で、キューモードではパーティション内の順序が保証されません。この記事では、従来方式との違い、利用の前提条件、導入前に決めておく設計項目を整理します。

背景 — 並列度の天井がパーティション数だった

イベントソースマッピング(ESM)は、Lambdaがイベントの供給元(Kafkaなど)からレコードを取得し、関数を呼び出す仕組みです。KafkaのESMでは、イベントポーラー(Kafkaからレコードを取得して関数を呼び出す、Lambda側のコンピュートリソース)が動きます。

従来のKafka ESMは、Kafkaのコンシューマーグループという仕組みを使っています。コンシューマーグループでは、1つのパーティションを同時に読めるコンシューマーは1つだけです。そのため、10パーティションのトピックでは同時に動けるコンシューマーは最大10に限られます。パーティションを増やせば上限は上がりますが、AWSのブログによれば、ブローカーの負荷増とリバランスの遅延を招き、1件の遅いレコードが後続を止める状態(ヘッドオブラインブロッキング)も残ります。AWSの発表によれば、並列度を上げたい場合はパーティションを過剰に増やすか、別のキューイングシステムへ移す必要がありました。画像・動画の変換、不正検知、通知配信のように、イベントが独立していて順序より処理速度が重要なワークロードでは、この制約が負担になります。

キューモードの仕組み

今回の発表で、Kafka ESMにConsumptionModeというパラメータが追加されました。値は次の2つです。

項目Stream(既定)Queue
仕組みコンシューマーグループシェアグループ(Kafka 4.2以上)
順序パーティション内の順序を保証順序の保証なし
ポーラー1つあたりの同時実行最大5最大10
スケーリングモードオンデマンド / プロビジョンドオンデマンド / プロビジョンド
向く用途順序が必要なイベント処理順序が不要な高スループット処理

既定はStreamなので既存のESMは影響を受けず、同じトピックにStreamとQueueのESMを並べて動かすこともできます。

Queueモードが使うシェアグループは、複数のコンシューマーが同じパーティションを同時に読める仕組みです。Lambdaのドキュメントは、Amazon SQSがキューからメッセージを処理する方式に近いと説明しています。パーティション単位の割り当てがなくなるため、並列度はパーティション数と切り離されます。

Streamはパーティションごとにpollerが専有し順序を保証するが並列度の天井がパーティション数になる。Queueは複数のpollerが同じパーティションを読み、順序の保証がない代わりに並列度が縛られない。
図1: Stream モードと Queue モードの違い

レコードの状態と、成功・失敗時の動き

シェアグループでは、ブローカーがレコードを4つの状態で管理します。

  • Available: 取得できる状態
  • Acquired: ポーラーが取得した状態。ロック期間(record lock duration)という期限付きの貸し出し
  • Acknowledged: 関数が成功し、処理済みとして確定した状態
  • Archived: ブローカー側の配信回数が上限に達し、以後配信されない状態

関数の呼び出しが成功するとレコードは確定し、失敗するとAvailableに戻って別のポーラーが取得できます。呼び出しの実行中は、ポーラーがロックを更新します。この更新では配信試行の回数は増えません。

AvailableからAcquiredへ移り、成功でAcknowledgedになる。失敗やロック期限切れではAvailableへ戻り、配信回数が上限に達するとArchivedになる。
図2: シェアグループのレコード状態遷移

利用の前提条件 — 対象はKafka 4.2以上、MSKは対象外

Lambdaのドキュメントが示す最低要件は次のとおりです。

  • Apache Kafka 4.2以上で、シェアグループが有効であること(share.versionは既定で有効)
  • 自前運用のKafka(SMK)クラスターであること。Amazon MSKは現時点でキューモードに対応していません(MSKがKafka 4.2以上でシェアグループを有効にした時点で対応を追加するとドキュメントに記載)
  • 利用できるのは、自己管理型Kafka ESMが使えるAWSの商用リージョン

なお、What’s Newは「Kafka 4.2でシェアグループがGA」、ブログは「4.0で導入」と書き方が異なりますが、いずれの資料もキューモードの利用条件はKafka 4.2以上としています。

Queueモードを有効にする設定は、ConsumptionModeをQueueにすることだけです。

導入前に決めておく設計項目

1. 関数を冪等にする(必須)

LambdaのESMはレコードを少なくとも1回(at-least-once)処理するため、重複処理が起こり得ます。Queueモードは順序も保証しないため、関数が冪等でないと二重計上や状態の不整合が起きる可能性があると、ドキュメントは明記しています。冪等とは、同じ入力を何回処理しても結果が変わらない性質のことです。

2. スケーリングモードを選ぶ

項目オンデマンド(既定)プロビジョンド
設定追加設定なしMinimumPollers(1〜200)とMaximumPollers(1〜2,000)を指定
ポーラーの上限ESMあたり5指定した最大値まで
スループットポーラー1つあたり最大1 MB/s。合計で最大5 MB/sポーラー1つあたり最大5 MB/s
同時実行合計で最大50(5ポーラー×10)ポーラー1つあたり最大10
課金通常のLambda呼び出し課金のみ通常のLambda課金に加えてEPU(Event Poller Unit)課金
低レイテンシ処理・スキーマレジストリのフィルタリング・ESMグルーピング利用不可利用可

オンデマンドでは、Lambdaがコンシューマーラグ(未処理レコードの遅れ)を1分間隔で評価してポーラーを増減します。スパイクが大きい、あるいはレイテンシ要件が厳しいワークロードにはプロビジョンドが向きます。

プロビジョンドでは、ブローカー側のgroup.share.max.size(シェアグループの最大コンシューマー数)に注意が必要です。Kafka 4.2ではこの値が1,000までに制限されるため、AWSはMaximumPollersを1,000以下にすることを推奨しています。ポーラー数の見積もりは、取り込み速度を5 MB/sで割るか、同時実行が律速なら目標の同時実行数を10で割ります(ブログの例では、300の同時実行に最低30ポーラー)。

3. 再試行と失敗先を決める

失敗時の制御には、次の設定が関わります。

  • BisectBatchOnFunctionError: 関数がエラーを返したときバッチを半分に分け、問題のレコード(ポイズンピル)を切り分ける
  • on-failure destination: 再試行を使い切ったレコードの送り先。Queueモードのドキュメントが記載する送り先は、Kafkaトピック、Amazon SQS、Amazon SNSです
  • ブローカー側のgroup.share.delivery.count.limit: 配信を試みる最大回数。上限に達したレコードはArchivedになり、MaximumRetryAttemptsと合わせて再試行の挙動を決める

MaximumRetryAttemptsの既定値は、公式資料の間で記載が食い違っています。 AWSのブログは「0〜10,000で、既定は-1(無制限に再試行)」と記載し、Lambdaのドキュメントは「-1〜10,000で、既定は0(Queueモードでは、on-failure destinationを設定していない場合にKafkaブローカーが再試行する)」と記載しています。2026年11月時点では、どちらが正しいかを確認できていません。本番に入れる前に、コンソールまたはAPIで実際の値を確認し、必要なら明示的に指定しておくことを推奨します。

4. 使えない設定を把握する

  • MaximumBatchingWindowInSeconds(バッチング時間)は非対応で、指定するとAPIが検証エラーを返します。シェアグループのコンシューマーは、バッチ内の全レコードを明示的に確認応答してから次を取得する方式で、時間ベースのバッチングと両立しないためです。
  • StartingPositionとStartingPositionTimestampも非対応です。Queueモードはシェアグループがコミットした位置から読み始めます。新しいシェアグループの読み始め位置は、ブローカー側のshare.auto.offset.resetで制御します。
  • EPUの共有はQueueモード同士に限られ、StreamモードのESMと同じPollerGroupNameを使うと検証エラーになります。

5. ブローカー側の設定を見直す

複数のポーラーが同じパーティションからレコードを取得するため、パーティションあたりの処理中レコード数が単一ポーラーのバッチサイズを超えることがあります。ブログは、この上限を決めるgroup.share.partition.max.record.locksを、想定する並列度に見合う値にするよう挙げています。ロック期間のgroup.share.record.lock.duration.msは、既定の30秒で足りるとされています。

まとめ

  • Lambdaの自前運用Kafka向けESMに、シェアグループを使うキューモードが追加されました。並列度がパーティション数に縛られなくなる一方、順序は保証されず、処理はat-least-onceです。
  • 利用にはApache Kafka 4.2以上とシェアグループの有効化が必要で、Amazon MSKは現時点で非対応です。
  • 導入前に、関数の冪等化、スケーリングモード、再試行と失敗先を決めてください。MaximumRetryAttemptsの既定値は資料により記載が異なるため、実際の値の確認が必要です。

出典

For Freelancers

インフラ設計・構築の案件を募集しています

この記事の技術に近い、いま募集中の業務委託案件です。

インフラ設計・構築の記事

すべて見る →

For Freelancers

AWSフリーランス案件、お探しですか?

案件探しから単価交渉・契約手続き・参画後のフォローまで、専任コンサルタントが伴走します。 お名前・フリガナ・メールだけで、まずは無料でご相談いただけます。