Xiaomi dévoile une IA qui localise les sons dans l'espace

Résumé

Xiaomi publie MiDashengLM-Spatial sous licence Apache 2.0, un modèle audio capable d’identifier les sources sonores et leur position dans l’espace.

Les faits

Xiaomi a publié en open source MiDashengLM-Spatial, un modèle audio-langage qui associe compréhension générale des sons et perception spatiale. L’entreprise a mis à disposition les poids du modèle ainsi que le code d’inférence sous licence Apache 2.0. Fondé sur le modèle audio MiDashengLM de Xiaomi, le système traite des signaux audio binauraux pour identifier les sources sonores, puis raisonner sur leur position et leurs relations spatiales. MiDashengLM-Spatial conserve plusieurs capacités de sa base technologique, dont la reconnaissance vocale, la génération de descriptions audio et la réponse à des questions sur les sons environnementaux et la musique. Xiaomi prévoit d’intégrer cette technologie à des produits pour la maison intelligente et aux habitacles de véhicules. Les appareils pourraient ainsi réagir à ce qu’ils entendent, mais aussi à l’endroit d’où provient le son.

Pourquoi c’est important

Cette publication élargit le rôle des modèles audio : au-delà de l’identification du contenu sonore, MiDashengLM-Spatial cherche à comprendre l’environnement acoustique dans lequel ce contenu apparaît. Le traitement binaural apporte une dimension supplémentaire en reliant les sons à leur position et à leurs relations dans l’espace. Les applications envisagées par Xiaomi placent cette capacité dans des environnements directement exploitables, comme la maison intelligente et l’habitacle automobile. La publication des poids et du code d’inférence sous licence Apache 2.0 facilite par ailleurs l’examen et la réutilisation du modèle dans ces contextes.

Questions fréquentes

Quel modèle Xiaomi a-t-il publié en open source ?

Xiaomi a publié MiDashengLM-Spatial, un modèle audio-langage combinant compréhension des sons et perception spatiale.

Sous quelle licence le modèle est-il distribué ?

Les poids du modèle et le code d’inférence sont distribués sous licence Apache 2.0.

Comment MiDashengLM-Spatial localise-t-il les sons ?

Le système traite des signaux audio binauraux pour identifier les sources sonores et raisonner sur leur position et leurs relations spatiales.

Quelles capacités le modèle conserve-t-il ?

Il conserve la reconnaissance vocale, la description audio et la réponse à des questions sur les sons environnementaux et la musique.

Dans quels produits Xiaomi prévoit-il de l’utiliser ?

Xiaomi prévoit de l’intégrer à des produits pour la maison intelligente et aux habitacles de véhicules.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.