ローカルLLMGPU,llama.cpp,Ollama,SGLang,TITAN RTX,vLLM,ローカルLLM

Thumbnail of post image 182

TITAN RTX（Turing）で、Ollama/llama-server/vLLM/SGLang の 4 つの推論エンジンと 17 のモデルを比べました。Turing では FlashAttention 2 が使えず、llama. ...