AI生成と学習で要スペック違うし外付けGPUで十分説
Vložit
- čas přidán 13. 04. 2024
- たぶん4060Tiがコスパ最適解かな…性能は4090が1番だけど
〜関連商品リンクなど（PR・アフィリンク含む）〜
↓LORA学習参考にしたサイト
www.techno-edge.net/article/2...
↓赤ちゃんグラボ GeForce RTX4060 GV-N4060OC-8GL
amzn.to/3sP0WhD
↓Oculink 3点セット
amzn.to/3voVvHK
↓OculinkをPCIEスロットから生やす
amzn.to/3RO2QYM
↓長尾製作所 グラフィックボード ディスプレイ台
amzn.to/3H9n0HX
〜関連動画〜
↓もっと簡単画像生成AIインストール＆LORA追加学習
• もっと簡単画像生成AIインストール＆LORA...
↓自作PCに画像生成AIインストール・Stable Diffusion
• 自作PCに画像生成AIインストール・Stab...
↓NVIDIA GeForce RTX4080 Super Founders Edition購入
• 純正のNVIDIA GeForce RTX4...
↓Oculink比較
• グラボ外付けどっち？Thunderboltと...
〜素材〜
↓フリー音源
dova-s.jp
↓picopico written by ゆうり
dova-s.jp/bgm/play6878.html
↓ぷわぷわ風船 - 8bit written by ハップル
dova-s.jp/bgm/play12885.html
↓bubble bubble written by KK
dova-s.jp/bgm/play4610.html
↓ワクワクアリクイ written by かずち
dova-s.jp/bgm/play3347.html
↓3stages ファミコン8bit by ザイオン
dova-s.jp/bgm/play9611.html
↓8bit_Start written by ilodolly
dova-s.jp/se/play691.html
↓SE音源
otologic.jp
〜その他〜
↓チャンネル登録お願いします(๑•̀ㅂ•́)و✧
/ @udn
↓うどんの別室（サブチャンネル）
/ @udn_sub
↓うどんツイッター
/ udonuopn_pc
〜補足〜
（誤字脱字誤解無知などありましたら、コメント欄でご指摘お願いします）
#NVIDIA #RTX4080Super #生成AI - Jak na to + styl
面白い検証でしたね
コーンポタージュ大好きｗｗ。（ちゃんと全編拝見してますｗ）
次回、〇〇〇〇太郎w
AIで色々学習させてたのですが、とても参考になりました😃マルチgpuの検証も気になります
ラストの食事会復活が良い感じ
オラもコンポタ買ってくる
コンポタ安くて旨い👌
凄い検証結果ですね！
この動画を新PC購入する前に見てたら、GEN3のPCに4070TiSUPERだけ買って突っ込んで、Win11移行を来年まで遅らせてたかもしれないです
16:17 ここすき
ThunderboltやUSB4で接続した場合も検証して欲しいです。
3Dプリンタあるなら金具で固定できるあたりまでのアダプタ作って固定するといい感じですかね
学習で極端に遅くなるのはVRAMから溢れていますね。ドライバの設定でRAMに逃がすか、もうOOMにして止めてしまうかの二択だったと思います。FP8にするとか、バッチサイズを１にするとかして設定を詰めるとXLでも8GBなんとかいけなくもないそうです
4070と7900XTXのマルチグラボで4070で画像生成しながら遊んでます(笑)
マルチGPUをやるなら処理をRTX40シリーズで、映像出力をRadeonでやるとDLSSと古井戸が組み合わさってWQHDでも300〜400FPSとか出たりして面白いですよ
面白い検証です、誰もがもしやとは思っていたがわざわざ検証等はしてなかったところ。さらなる発展だとサンボル３，４接続の場合とかも興味深い実験になるかと思います。
16:11 「吉田さんがやってたんですよね」
懐かしい 3060だったっけ？お釈迦にしてましたね。
興味深い検証結果ですね。
理屈の上ではAIの使用は、帯域に余り依存しないってことになりますね。
BTOとかで売られてる格安PCを買ってきて、外付けでGPU増設してひたすら学習させるみたいな使い方がありうるのかも。
PCI-Ex1でいいなら、増設するのそんな難しくないでしょうし
複数刺しの検証を予想しておきます。
単純計算なので、実測値とはかけ離れる可能性があります。
ネットで入手できるTimeSPYのベンチマーク値をベースにして考察します。
RTX4060Ti VRAM16G TimeSPY 13356
RTX4070TiSuper VRAM16G TimeSPY 24454
RTX4090 VRAM24G TimeSPY 36340
二枚差しにしても性能は倍にはならないので、常識的な範囲内で期待できる性能向上を1.5～1.6倍と仮定します。
4060Tix2 (約14万円）
1.5倍性能向上→20034
1.6倍性能向上→21370
4070TiSuperx2（約26万円）
1.5倍性能向上→36680
1.6倍性能向上→39216
4090 （約28万円）
一枚のみ→36340
4060Tiだと4070TiSuperには及びませんが、4070TiSuperだと4090に匹敵する演算能力が期待できます。
場合によっては上回るかも？
ただしVRAMは16GBのままなので、機械学習や生成速度では4090に勝てない可能性が高いです。
VRAMに依存しないAIプログラムであれば、4090よりコスパいいグラボになりそうです。
よって、最適解は4070TiSuperを導入することだと予測しておきます。
複数刺しをするとゲーム以上にgpu間の通信をするのでそうならないかもです
立ち上がり直後のクソぼけぇぃ
うん大好き
3060が結構前のGPUなのに今もバリバリ使えてすごすぎるｗ
4060もメモリ10GB以上欲しい感じでしたね
メモリが少ない場合、full bf16, fp8 baseとxformers、gradient checkpointingを有効化してください。
外付けでもVRAM少ないやつは遅くなりそうな気はするけどその辺どうなんでしょ
4080sならスワップもほぼ無しでいけてるっぽいですけど
うどんさんの前回と前々回動画見てAIお絵描きやってみました。これは沼る、、😂
マイニングと一緒でグラボ内で演算完結する処理はバス速度いらない
だけどVRAM使うからメモリ容量・種類によっては極端に遅くなる
AIやVRCだと24GBでもVRAM不足でメインメモリを借りることになり得るからゲームだとPCIe 4.0x8で十分でも5.0x16が欲しくなる
でもStable Diffusionでメインメモリ借りると速度1/10とかになって全く実用性無くAIで速いバスが活躍するのはLLMとかだけ
AIとエンコ用にM.2のグラボあったらいいなと思う
吉田製作所のPCIe炎上事件一生こすられるの草
Ryzenの8700GなどのAPUでメモリ16GBとか割り当てるのはどうなるんだろう。
データセンター用GPUのV100，A100，H100ならもっと早くなるのかな?と思いました。最低でも40万円以上するので個人では無理そうですけど。
VRAMが少ない時メインメモリにスワップしてるとしたらその辺が外付けにしたときに影響しそうだけどどうなんだろう？
この動画みて4080Sかったった・・。
AI画像生成すごいですね、、えっろ！
あと、1080とくらべてLightRoomclassicの現像とAIノイズ除去かなり早くなりました。
さすがは３世代変わると別物ですね。
9504ｘ6336の画像がサクサク現像ができる。。
現像も早いですか！ふむふむ
4060Tiの16GBメモリバス幅が128bitのままなのがなんとも言えないです
やっぱ遅くなるんですか…むむ
せめて192bitにしたらよかったのになぁ… 失敗した
FEかっちょいい
面白い実験だけど、運用するときはAIサーバーを別で用意するかな・・・
Oculink付ノートPCが出たら市場が変わるかな
用途特化が x1の帯域でイケるならそのうち外付けでラックいっぱいにグラボだけ詰めた疑似SLI作り始める猛者とか現れそう🤔
でも見た感じ他の用途は壊滅ね
それってMニング鯖でわｗ
やりますw
生成AI、Radeonでも「AIクイックセット」で遜色なく早く生成できるようになりました！
今度やってみます💪
コンポタ食べながらコンポタ飲むとコンポタ味になるよ
追いコンポタw
ARCもってませんでしたっけ？意外
RADEONもやってないから趣旨としてはいいですけど持ってたらやってほしかったな😉
ARCもう無いすw
@@UDN ん〜〜これは残当
新型スナドラもAi演算性能は凄いようですしそういうのを利用した外付け＆後付けのAI専用プロセッサーとか出てきそうやなぁ（むしろ欲しいなぁ
AI専用プロセッサーなら、GoogleのTPUを外販して欲しいです。
Edge TPUなら売っていますが、ホンモノのTPUは売ったらいくらになるのだろう。
4070 ti superなら何でもいけますか？
なんでもはわからんです🙇♂️
う〇こさんへの当たりが強すぎて毎回かわいそう＾＾
外付けGPUのロマンがまた増えましたね
Radeonだと現状ではSHARK択一でしょうね。Amuseの公開がサイトごと消滅したので入手不可になっているので。
AI Quick SETはASROC専用のインストーラーで、中身はSHARKです。
Intel ARCでも動作するはずなので、もし検証するなら導入してみてください。
ARCどこかにいってしまいましたw
RTX A2000がなくなってる。
次回は量産型マキムラですね💩
サムネ強烈やな
全然普通の感覚だったw
ステブルとかの学習とか、AI用途に新PCパーツ発注しました。RTX3060 12GBを選択しました。RTX4080 Superは高くて・・・
RTX3070 FE持ってたような？？
あれはマボロシに…w
コップ割れてるやん
Intelにいただいたコップ…業績とともにヒビが
え、生成AIやるならVRAM必須って数年前から聞いてたけど、生成するだけなら別にVRAMいらん感じ…？
3060の12GBに期待してたけど、めっちゃ遅くて驚いた
forgeだからかもですね…
普通のやつだとメモリ大量に必要ぽいです
二分前…
👍