LLM

「VRAM 12GB級で125Bのモデルが動く」という触れ込みの推論エンジン Strata を、RTX 4070 Ti Super（VRAM 16GB）と RAM 64GB の環境で実測しました。量子化の異なる3つのセットで、速度・メモリ・...