BACK
2023-08-23

LLM環境を整えたい

ゲーム&LLM学習・実行環境を整えたくて色々考えてみた。
まあ、ゲームの方はGeForceNOWで良い気がしてきたが、、、

1. デスクトップPC&リモートデスクトップ
割と汎用に使えそうな気がする。
ただ、家に置かなければいけないのが色々と面倒ではある。
金額的には16万円くらい。

リモートデスクトップは純正か、ゲームやるならParsecというのが速いらしい。

部品スペック金額
CPUCore i5 or Ryzen5xxx20,000円
GPUGeForceRTX4060Ti(16GB)70,000円
メモリDDR4(32GB)8,000円
SSD1TB8,000円
マザボ適当にATX15,000円
ケース適当に8,000円
電源700W〜15,000円
OSWin11Pro20,000円
合計164,000円


2. ゲーミングノートPC
これは一台で完結するのがいいところ。
難点は金額とキーボード。

金額はだいたい30〜50万円はかかる。
LLMを実行するのにGPUメモリが16GB必要なので、
LaptopだとGeForce4090か、GeForce3080Tiのみとなる。

3080Tiのほうは型落ちで30万円くらい。
これはプアマンとしては厳しいか(汗
一番欲しい選択肢だが、、、

キーボードは日本国内で売っているのは大体JIS配列。
USじゃないと右手の手首が腱鞘炎になってしまう私としては、
本体のキーボードでコーディングするのを諦めるしかない、、、

3. クラウドサービス
学習はGoogle Colab、運用はGPUそろばんあたりか。
今時で良いが、個人的にローカルで動作させたい願望もあり。
他がダメだったらこれにしよう。

4. Macで動かす
MLC-LLMあたりを使うと動くらしい。
しかし、Not GeForceな技術だと仕事に横展開しにくいという難点もあり、気乗りしない。
一番お安いが、、、

Comments

CUDA対抗としては、
WindowsだとDirectML、LinuxだとROCm(AMD系)がある模様。
もちろん試していない(何
MLC-LLMは学習は非対応? らしいので、Colabを使う感じになるだろうか。
ノートPCはLazer Blade 14の3080Tiモデルが軽い割にパワフルで良い、、、のだが、メインメモリ16GBというのがひっかかる。
https://www.ark-pc.co.jp/i/72002087/
name:  空(Bot避け):


BACK