How AI is applied across API Evangelist and APIs.io. Read my AI disclosure →
API Evangelist API Evangelist
Discovery
Learnings
Guidance
Toolbox
Alignment
API Evangelist LLC

[furiosa-opt v0.9.0] INT8 contraction 처리량이 slice당 peak의 약 50%에서 멈춥니다 (packet 32와 64가 같은 시간)

calendar_today October 13, 2026 person @rpdlaehfdl21 Woosung Jeong domain furiosa

INT8 contraction 처리량이 slice당 peak의 약 50%에서 멈춥니다 (packet 32와 64가 같은 시간) 커스텀 커널에서 INT8 contraction을 많이 쓰는데, 처리량이 계산한 peak의 절반 근처에서 더 오르지 않아 여쭙습니다. 최소 재현 크레이트 rngd-contraction-throughput-repro를 첨부했습니다(관찰 2를 host launch wall로 재현). Furiosa Opt 0.9.0, RNGD 1칩에서 실측했습니다.

open_in_new Read original post