ローカルLLMGPU,llama.cpp,Ollama,SGLang,TITAN RTX,vLLM,ローカルLLM

Thumbnail of post image 042

TITAN RTX（Turing）で、Ollama/llama-server/vLLM/SGLang の 4 つの推論エンジンと 17 のモデルを比べました。Turing では FlashAttention 2 が使えず、llama. ...

ローカルLLMGPU,HPE ProLiant,nvidia-smi,TITAN RTX,Ubuntu,ローカルLLM

Thumbnail of post image 034

ラックサーバ HPE ProLiant DL385 Gen10 に NVIDIA TITAN RTX を積み、ローカル LLM の推論サーバにしました。前編は、サードパーティ製ケーブルで補助電源を取るところと、電力上限をサーモラベルと ...