Allez, petit article qui va bien, tapé à l'arrache, mais qui peut vous intéresser. Comment j'ai utilisé une #IA, locale, pour générer de la data fictive.
Code fourni en bas de l'article. Et n'hésitez pas à réagir dans la section commentaire !
https://www.metal3d.org/blog/2024/comment-jai-g%C3%A9n%C3%A9r%C3%A9-un-dataset-avec-lia/
@julien_leicher pas encore testé. En fait là je suis en train de me battre avec mon vieux coucou pour utiliser `ctransformers` afin d'utiliser le modèle directement.
@metal3d j'avais testé GPT4all aussi, le modèle mistral fonctionnait bien et ça permet d'avoir un script tout en un 😁
@julien_leicher yep, chez moi ça ne passait pas pour X raisons.
Le gros souci, pour vieux machin, c'est que les CPU ne supportent pas AVX2, juste AVX. Et apparement les modèles GGUF utilisent un truc bien loudringue qui force les instruction CPU. Je tente plein de choses. Si ça passe, je ferai un autre article (et je te citerai en remerciement si une de tes pistes m'a sorti du sable 🙂 )
@metal3d j'avais des soucis aussi sous Windows avec GPT4all, sous mac c'était impec'. Bon je suis pas un expert du tout, mais ça me semblait être sacrement la jungle dans toutes les libs/modèles dispo.
@julien_leicher Je suis sur Linux, ça marche sur mon laptop mais pas sur mon poste fixe qui a plus de 13 ans. Il est puissant hein, et il a une RTX 3070, mais les CPU ne prennent pas les instructions nécessaires (parce que c'est une archi bien chiante les modèles GGUF). Je tourne en rond pour le moment, là c'est un souci de lib CUDA apparement...
@metal3d Très intéressant ! Est-ce que ollama ne pourrait pas remplacer LM studio et palier le côté non open-source ? À priori il possède aussi une API compatible openai.