ローカルLLMGPU,HPE ProLiant,nvidia-smi,TITAN RTX,Ubuntu,ローカルLLM

Thumbnail of post image 139

ラックサーバ HPE ProLiant DL385 Gen10 に NVIDIA TITAN RTX を積み、ローカル LLM の推論サーバにしました。前編は、サードパーティ製ケーブルで補助電源を取るところと、電力上限をサーモラベルと ...