Mistral AI, un acteur majeur dans le domaine des modèles linguistiques (LLM) open source, a récemment dévoilé son dernier modèle, Mistral 8x7B. Conçu pour offrir une intelligence artificielle polyvalente et naturelle, ce modèle utilise une combinaison de techniques expertes pour générer des réponses fluides en interaction avec l'input humain. Guillaume Lample, cofondateur et scientifique en chef de Mistral AI, a dévoilé des benchmarks suggérant que le modèle 8x7B surpasse à la fois Llama 2 70B et GPT 3.5.
Very excited to release our second model, Mixtral 8x7B, an open weight mixture of experts model.
Mixtral matches or outperforms Llama 2 70B and GPT3.5 on most benchmarks, and has the inference speed of a 12B dense model. It supports a context length of 32k tokens. (1/n) https://t.co/WdGTSARKC1 pic.twitter.com/LQhXSlZ9jO— Guillaume Lample @ #NeurIPS2023 (@GuillaumeLample) December 11, 2023
En rompant avec la tradition dominée par l'OpenAI, Mistral AI propose un modèle open source, le Mixtral 8x7B, positionné pour surpasser le GPT 3.5 d'OpenAI dans de nombreuses références. Disponible sous licence Apache 2.0, la version 0.1 du modèle suscite l'admiration des premiers utilisateurs pour sa rapidité et sa précision. Basé sur la structure SMoE (Sparse Mixture of Experts), ce modèle peut traiter jusqu'à 32 000 jetons de contexte et fonctionne dans plusieurs langues, générant même du code.
L'une des caractéristiques notables du Mixtral 8x7B est sa faible empreinte numérique. Contrairement à d'autres modèles qui nécessitent un matériel puissant, ce modèle peut fonctionner efficacement sur des PC à petite échelle, sans GPU distinct. Cependant, il se distingue également par l'absence de "garde-corps de sécurité" traditionnels présents dans d'autres LLM, comme les filtres de contenu stricts d'OpenAI et Llama 2. Bien que cela offre une flexibilité, cela pourrait également soulever des préoccupations en matière de régulation.
Mistral AI explore d'autres projets liés à l'IA pour renforcer sa position dans la communauté des LLM. Outre le Mistral 8x7B, des développements tels que Mistral-medium via l'API d'HyperWrite suggèrent des avancées futures dans la création de modèles plus vastes et stables, adaptés à des projets de génération de contenu plus complexes.
La sortie du Mistral 8x7B représente une avancée significative dans le domaine des LLM, offrant une alternative ouverte et performante. Que vous l'expérimentiez via le chatbot de HuggingFace ou que vous l'exécutiez nativement sur votre PC avec LM Studio, Mistral AI se profile comme une force à surveiller pour les amateurs de grands modèles de langage.
