Ant Group libère son IA Ling-3.1-flash pour tous les développeurs

Résumé

Ant Group publie les poids de Ling-3.1-flash, un modèle de 560 milliards de paramètres conçu pour le code, les agents et les longs documents.

Les faits

Ant Group a publié les poids de Ling-3.1-flash, permettant aux développeurs de déployer le modèle sur leur propre infrastructure. Le modèle compte environ 560 milliards de paramètres au total, dont environ 25 milliards sont activés pour chaque jeton, et prend en charge une fenêtre de contexte pouvant atteindre un million de jetons. Cette publication intervient après une première présentation du modèle. Elle comprend une prise en charge du déploiement via des infrastructures d’inférence telles que SGLang et vLLM. Ling-3.1-flash vise le codage, les flux de travail fondés sur des agents et les tâches professionnelles nécessitant le traitement de documents longs ainsi que l’interaction avec des outils externes. L’équipe a également développé une méthode de déploiement en précision mixte. Celle-ci réduit les besoins en mémoire des poids du modèle d’environ 534 Go à 292 Go. Dans la configuration de processeurs graphiques Hopper indiquée, le besoin de déploiement passe ainsi de huit processeurs graphiques à quatre.

Pourquoi c’est important

La publication des poids donne aux développeurs la possibilité d’exécuter Ling-3.1-flash sur leur propre infrastructure, plutôt que de limiter son utilisation à un accès distant. La prise en charge de SGLang et de vLLM facilite son intégration dans des environnements de déploiement existants. La réduction de la mémoire nécessaire aux poids, d’environ 534 Go à 292 Go, diminue également la configuration matérielle indiquée pour un déploiement sur processeurs graphiques Hopper, de huit à quatre processeurs graphiques. Le modèle combine par ailleurs une capacité totale d’environ 560 milliards de paramètres avec l’activation d’environ 25 milliards de paramètres par jeton et une fenêtre de contexte d’un million de jetons.

Questions fréquentes

Qu’est-ce que Ling-3.1-flash ?

Ling-3.1-flash est un modèle d’IA d’Ant Group dont les poids ont été publiés pour permettre un déploiement sur une infrastructure propre.

Combien de paramètres le modèle possède-t-il ?

Le modèle compte environ 560 milliards de paramètres au total et en active environ 25 milliards par jeton.

Quelle fenêtre de contexte prend-il en charge ?

Ling-3.1-flash prend en charge une fenêtre de contexte pouvant atteindre un million de jetons.

À quels usages le modèle est-il destiné ?

Il cible le codage, les flux de travail fondés sur des agents et les tâches professionnelles traitant de longs documents ou utilisant des outils externes.

Quelle réduction matérielle est annoncée ?

Une méthode de précision mixte réduit la mémoire des poids d’environ 534 Go à 292 Go et le besoin indiqué de huit à quatre processeurs graphiques Hopper.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.