こんにちは。ストックマークの森長です。 ストックマークでは、研究用途にGPUサーバ群を社内及びデータセンター(DC)で運用しています。 今まではリサーチャーのみが利用可能でしたが、開発メンバーもGPUを使ったLLM推論のアプリ検証やコーディングエージェント利用等の需要がでてきました。 そこで、今回は、研究用のGPUサーバ群で推論APIも提供するため構築した仕組みを紹介します。 モデルをアプリケーションや開発メンバーから利用できるようにするには、推論サーバを起動しておく必要があります。 ただ、提供するモデルが増えるたびにGPUを専有させると、リクエストが来ない時間もサービス用の容量を確保し続ける…