How AI is applied across API Evangelist and APIs.io. Read my AI disclosure →
API Evangelist API Evangelist
Discovery
Learnings
Guidance
Toolbox
Alignment
API Evangelist LLC

Slurmによる研究と推論サービスのGPU共有

calendar_today November 13, 2026 person stockmark_tech domain stockmark-co-jp

こんにちは。ストックマークの森長です。 ストックマークでは、研究用途にGPUサーバ群を社内及びデータセンター(DC)で運用しています。 今まではリサーチャーのみが利用可能でしたが、開発メンバーもGPUを使ったLLM推論のアプリ検証やコーディングエージェント利用等の需要がでてきました。 そこで、今回は、研究用のGPUサーバ群で推論APIも提供するため構築した仕組みを紹介します。 モデルをアプリケーションや開発メンバーから利用できるようにするには、推論サーバを起動しておく必要があります。 ただ、提供するモデルが増えるたびにGPUを専有させると、リクエストが来ない時間もサービス用の容量を確保し続ける…

open_in_new Read original post