このエントリは2023/09/27現在の情報に基づいています。将来の機能追加や変更に伴い、記載内容からの乖離が発生する場合があります。
問い合わせ
いつもの人から以下のような問い合わせが届いた。
Azure OpenAI Service (AOAI) をApplication GatewayやFront Doorの背後において、TPMを稼ぐため＆可用性を確保するために負荷分散をしているが、ロードバランサーのHealth probeを使ってAOAIのヘルスチェックをする方法はあるか？
確かにApplication GatewayやFront Doorから死活監視できなさそうに見えるが、どうすればよいのだろうか？
ヒント
AOAIのREST APIにアクセスすると、以下のようにResponseにapim-request-idというHeaderがついていることがわかる。つまり、Azure API ManagementがAOAIで使われている。であれば、API Managementのステータス監視の機能を使えそうな予測が立つ。
方法
単純にGETで /status-0123456789abcdef を呼び出すだけ。Front DoorとAPI Managementを組み合わせるときに参考にできるドキュメントにも記載がある。呼び出しにあたってはAPI KeyやBearer tokenは不要。
既定の配信元グループを更新する / Update default origin group
https://learn.microsoft.com/azure/api-management/front-door-api-management#update-default-origin-group
試してみる
Postmanから試してみた結果は以下の通り。
注意
これはAOAIで使っているAPI Managementの死活監視であり、このAPI Managementのバックエンドサービスについて調べているわけではないため、AOAI全体の死活監視ではない点には注意が必要。とはいえ、そもそもアクセスできないと使えないわけなので、簡易的に使うにはよいかと思われる。
Logico Inside 