ローカルLLMGPU,llama.cpp,Ollama,SGLang,TITAN RTX,vLLM,ローカルLLM

Thumbnail of post image 060

TITAN RTX(Turing)で、Ollama/llama-server/vLLM/SGLang の 4 つの推論エンジンと 17 のモデルを比べました。Turing では FlashAttention 2 が使えず、llama. ...

ローカルLLMGPU,HPE ProLiant,nvidia-smi,TITAN RTX,Ubuntu,ローカルLLM

Thumbnail of post image 183

ラックサーバ HPE ProLiant DL385 Gen10 に NVIDIA TITAN RTX を積み、ローカル LLM の推論サーバにしました。前編は、サードパーティ製ケーブルで補助電源を取るところと、電力上限をサーモラベルと ...

AIOpsAIOps,Amazon Bedrock,Claude,LibreChat,MCP,zabbix,ローカルLLM

AIOps:障害の一次切り分けを AI に任せる
はじめに

前編では、Zabbix が障害を検知したら AI が機器に入って調べ、2 分で切り分けの結果を報告する仕組みの構成を紹介しました。

→ 【前編】構成と仕組み

後編は、作ってみて分かったことです。 ...

AIOpsAIOps,Amazon Bedrock,Ansible,Claude,LibreChat,MCP,NetBox,zabbix

AIOps:障害の一次切り分けを AI に任せる
はじめに

Zabbix が障害を検知したら、AI が自分でネットワーク機器にログインして config とログを調べ、切り分けた結果を報告してくれる仕組みを作ってみました。

人がやっていた一次切り分け ─ 「Zabbix を ...

勉強AWS,勉強,資格

Thumbnail of post image 117
はじめに

前回の記事でAWS Certified Advanced Networking – Specialty(ANS-C01)の受験体験記を書きました。

今回は、ANS-C01の出題範囲であるAWSネットワークサービスに ...

勉強AWS,勉強,資格

Thumbnail of post image 180
はじめに

2023年4月16日、AWS Advanced Networking(高度なネットワーキング 専門知識)を受験し合格しました。今回は試験のレポートです。

試験概要

AWS Advanced Networking(高度 ...

AWSAWS,Transit Gateway

Thumbnail of post image 188
はじめに

AWSのTrasit Gatewayを使ってAWSのネットワークサービスと接続してみます。

ケースは下記の4つ。それぞれ設定手順も記載します。

①Transit GatewayとVPCを接続する

AWSAWS,Fortigate,VPN

Thumbnail of post image 087
はじめに

AWSとオンプレ環境を安価に接続できるSit-to-Site VPNの構築について説明します。オンプレ側(カスタマー側)のVPN装置はFortigateです。FortigateはGUIではなくCLIで構築します。

...

SD-WANSD-WAN

Thumbnail of post image 012
はじめに

今回は後編です。後編ではSD-WANの主要機能について説明します。

 【前編】 SD-WANのコンポーネントや全体構成のイメージについて 【後編】 SD-WANの主要機能の詳細説明

※注意
これから説明するS ...

SD-WANSD-WAN

Thumbnail of post image 059
はじめに

SD-WANについて記事を書きます。特定のSD-WAN製品の説明ではなくSD-WANの全体構成のイメージや各機能について説明します。なお、記事を書いていたら意外と長くなりましたので、前編と後編の二部構成としました。

 【 ...