Je viens de remplacer ma RTX 3070 par une 3090. Les 8Go de VRAM me limitaient horriblement pour mes travaux sur les #LLM. Maintenant, 24Go c'est hallucinant.
Je n'avais pas besoin que ça aille plus vite, j'avais besoin que ça supporte un gros modèle en terme de taille.
Point compliqué, je voulais coupler avec ma 3070, y'a pas la place sur ma vieille carte mère. C'est dommage, llama-cpp auraient eut 32Go pour s'amuser.
Et donc, qu'à cela ne tienne j'ai relancé #CopmyUI pour lancer un gros workflow de création d'image. Avant, avec 8Go, ça splitait le jobs sur le CPU avec la RAM du PC. Soit c'était lent, soit je débordais et le PC devait être rebooté. Les modèles étaient quasiment tout le temps swappé et partiellement chargés sur la carte graphique.
Là... J'arrive à faire tenir 20Go dans la VRAM en cumulant des modèles façon bourrin. C'est dingue, tout est chargé sans split.
Et donc, en 2 jours de tests, j'ai pu faire des tests que je ne pouvais pas lancer depuis des mois. En 2 jours, j'ai éliminé des mois de limitation et de frustrations.
Carte d'occasion, bien entendu.
Et toujours sur mon vieux coucou qui va sur ces 14 ans.
