l'avenir de l'ia locale s'inscrit dans un m.2: ainsi fonctionne ce "ssd" qui fonctionne ilms
Imagine que tu te retournes ordinateur et que, sans avoir besoin d'une carte graphique en face à face, vous pouvez parler à une intelligence artificielle qui répond instantanément et ne se connecte pas à Internet. Ceci est déjà possible grâce à un appareil de la taille d'un disque dur qui est placé dans la fente M.2 de toute plaque de base.
Le fabricant d'Unigen a créé le Bareti E1.S, un petite module qui ressemble à un SSD normal mais qui cache 32 Go de mémoire ultra-rapide et un accélérateur IA capable de déplacer des modèles jusqu'à 20 milliards de paramètres. Seulement 10 watts, dissipez la chaleur avec un dissipateur passif et, si votre assiette a plusieurs M.2, vous pouvez en adapter plusieurs pour travailler en équipe et ajouter de la puissance.
Comment un "pill" peut transformer votre PC en un cerveau artificiel ?
Les Astuce est à l'intérieur : Unige a mis son accélérateur SAKURA-II au format E1.S, tout comme les disques NVMe. Lors de la connexion, le PC détecte un nouvel appareil qui offre Puissance 60 TOPS et une bande passante de 68 Go / s Avec ces chiffres, vous pouvez exécuter des workflows généraux IA ou des agents locaux sans perturber le processeur ou le graphique.
En outre, le module porte 32 Go mémoire intégré (il y aura aussi une version de 16 Go moins cher), assez pour stocker le modèle et les données dont le LLM a besoin. Le résultat est une réponse presque immédiate, sans latence ni risque de confidentialité, parce que tout reste chez vous.
Une carte graphique n'est pas nécessaire: l'IA est installé comme un jeu
Jusqu'à présent, montez IA Local Cela signifiait investir dans un puissant GPU. Avec ce système, il suffit de une prise M.2 libre, quelque chose qui a la plupart des plaques de ces dernières années. Le processus est aussi simple que de mettre un SSD: vous le branchez, visser le dissipateur et prêt. La consommation de 10 W est inférieure à celle de nombreux ventilateurs de châssis, il n'est donc pas nécessaire de changer la source.
Et si un seul module est court, vous pouvez empilage de plusieurs en série; chacun ajoute son TOPS et sa mémoire, permettant des modèles plus grands ou plusieurs agents travaillant en même temps. C'est comme mettre plus de "cerveaux" sur votre PC sans ouvrir le portfolio pour un graphique à la pointe de la technologie.
De laboratoire à chambre : le saut de l'IA qui n'a pas besoin de nuage
Les géants industrie ils annoncent des accélérateurs pour les centres de données, mais cela ne change pas la vie des utilisateurs domestiques. Au lieu de cela, un appareil qui rentre dans la paume de la main et qui transforme n'importe quel ordinateur en un Machine hors ligne AI C'est un vrai changement. Les enseignants, les étudiants ou les créateurs peuvent former des modèles, créer des assistants ou automatiser les tâches sans payer d'abonnements ou partager des données avec quiconque.
Avec la montée de agents locaux de l'AI, ce type de modules peut devenir la norme pour ceux qui veulent une puissance non compliquée. Le Bareti E1.S arrivera en 16 Go et 32 Go, et plusieurs fabricants sont déjà en train de concevoir des plaques avec plusieurs fentes M.2 conçues pour accueillir plusieurs de ces "mini-cerveaux" travaillant en équipe.