Olala mini : le modèle 7B d'OVH et comment l'utiliser aujourd'hui
Le 17 novembre 2026, OVHcloud a annoncé Olala, sa première famille de modèles de langage et le premier membre de cette famille : Olala mini 7A1B. Le lancement officiel a lieu à l'OVHcloud AI Summit le 19 novembre, les poids sont déjà sur Hugging Face sous licence Apache 2.0 et OVH affirme que le modèle est assez petit pour tourner sur un ordinateur portable.
Ce dernier point est le plus intéressant. Olala mini n'est pas un fine-tuning d'un modèle américain ou chinois. C'est une architecture inédite, entraînée de zéro en Europe sur des supercalculateurs publics et assez rapide sur du matériel modeste pour être un assistant local crédible. Qwant l'utilise déjà en production pour ses réponses flash, avec des réponses 20 % plus rapides et des coûts d'exploitation divisés par trois par rapport au modèle précédent.
Ce qu'OVH a réellement publié
La famille publiée est plus large qu'un seul modèle. OVHai LLM a mis en ligne le modèle de base pré-entraîné, le point de contrôle après supervision, le modèle final post-entraîné et deux variantes spécialisées pour le résumé et la traduction. L'ensemble est sous Apache 2.0, avec le rapport technique et le résumé public du contenu d'entraînement exigé par le règlement européen sur l'IA.
Les caractéristiques principales :
| Olala mini 7A1B | |
|---|---|
| Paramètres | 6,8 milliards au total, environ 1 milliard activés par token |
| Architecture | 36 couches : 29 Mamba-3 et 7 couches d'attention, chacune suivie d'un bloc mixture-of-experts |
| Experts | 256 experts routés par couche, 6 actifs, plus 1 expert partagé |
| Contexte | 32 768 tokens (entrée et sortie) |
| Licence | Apache 2.0 |
| Formats | Safetensors (BF16) |
| Entraînement | 12 800 milliards de tokens, sur JUPITER, Jean Zay et MeluXina |
L'architecture explique la vitesse. Seul un milliard de paramètres environ est sollicité à chaque token et 7 des 36 couches seulement conservent un cache KV : la mémoire reste basse et le cache grossit bien plus lentement avec la longueur du contexte que dans un transformeur dense. OVH annonce 160 tokens par seconde sur une RTX A4500 et même 50 tokens par seconde sur un simple processeur. Une réserve toutefois : en BF16, les poids pèsent à eux seuls 13,6 Go, donc le chiffre de 8 Go de GPU du communiqué suppose une version quantifiée, pas les poids BF16 complets.
Peut-on l'utiliser avec Ollama ?
Réponse courte : pas aujourd'hui et un Modelfile ne vous sauvera pas.
Ollama embarque llama.cpp et fournit son propre moteur d'exécution, qui ne charge que les architectures qu'il connaît. olala est une architecture toute neuve — attention hybride Mamba-3 et Differential-TPA, 256 experts par couche — et elle n'est pas encore dans llama.cpp amont. Les moteurs officiels llama.cpp, vLLM et mlx-lm ne peuvent pas le charger non plus. Importer les poids avec ollama create échoue au chargement, car l'architecture est inconnue du moteur.
Le support arrivera le jour où l'architecture sera intégrée à llama.cpp amont et où Ollama rebasera son moteur dessus. Aucune date n'a été annoncée. En attendant, deux façons d'utiliser le modèle : une API hébergée ou la bibliothèque Transformers.
L'utiliser via une API hébergée
OVHcloud sert Olala mini sur AI Endpoints, une API compatible OpenAI hébergée en Europe. Quelques requêtes par minute fonctionnent sans clé ; au-delà, créez une clé AI Endpoints. Le nom du modèle est Olala-v1.0-mini-7A1B et l'URL de base est https://oai.endpoints.kepler.ai.cloud.ovh.net/v1.
curl -s https://oai.endpoints.kepler.ai.cloud.ovh.net/v1/chat/completions \
-H "Authorization: Bearer $OVH_AI_ENDPOINTS_KEY" \
-H 'Content-Type: application/json' -d '{
"model": "Olala-v1.0-mini-7A1B",
"messages": [{"role": "user", "content": "Comment fonctionne une pompe à chaleur ?"}],
"temperature": 0.8, "top_p": 0.9
}'
Deux réglages ne s'improvisent pas :
- Échantillonnage :
temperature=0.8,top_p=0.9,top_k=40. D'autres valeurs font entrer le modèle dans une boucle de répétition. - Effort de raisonnement :
disabled,low,medium(par défaut) ouhigh. C'est un argument du template de chat, donc à passer danschat_template_kwargssi votre client les expose.
Comme l'API est compatible OpenAI, Open WebUI, Continue, OpenCode et la plupart des frameworks d'agents peuvent l'interroger avec l'URL de base et le nom du modèle ci-dessus. Le raisonnement arrive dans reasoning_content, la réponse dans content et les appels d'outils dans tool_calls.
Le faire tourner avec Transformers
Les poids sont livrés avec leur propre code de modèle, donc la bibliothèque Transformers standard peut charger le modèle sans moteur supplémentaire :
pip install torch "transformers==5.8.*" accelerate einops
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "OVHaiLLM/Olala-v1.0-mini-7A1B"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
repo, trust_remote_code=True, dtype="bfloat16", device_map="cuda",
)
inputs = tok.apply_chat_template(
[{"role": "user", "content": "Comment fonctionne une pompe à chaleur ?"}],
add_generation_prompt=True, reasoning_effort="medium",
return_tensors="pt", return_dict=True,
).to(model.device)
out = model.generate(
**inputs, max_new_tokens=4096, use_cache=True, do_sample=True,
temperature=0.8, top_p=0.9, top_k=40,
)
print(tok.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=False))
C'est du code de recherche, pas une solution d'inférence prête pour la production. Le code du modèle tourne en PyTorch standard, donc une installation classique suffit, mais il est lent sans noyaux optimisés : sur un CPU de 64 cœurs, il génère environ 6 tokens par seconde. Utilisez un GPU avec assez de mémoire pour les 13,6 Go de poids BF16 si vous voulez une vitesse utilisable. Gardez use_cache=True, car la configuration le désactive par défaut. Envoyez une invite à la fois.
La sortie contient le raisonnement, la réponse et les éventuels appels d'outils dans des canaux séparés. Utilisez tokenizer.apply_chat_template() avec add_generation_prompt=True pour formater les messages automatiquement et réglez reasoning_effort sur disabled, low, medium ou high selon le temps de réflexion voulu.
Ce qu'il sait bien faire et ce qu'il ne sait pas
Olala mini obtient une moyenne de 68,0 sur les douze benchmarks publiés dans le rapport technique, soit 15,2 points de plus que son point de contrôle supervisé. Son point fort est le suivi d'instructions, exactement ce qu'on attend d'un petit modèle local pour agents ; son point faible, les mathématiques de compétition. Les appels d'outils font partie de son entraînement, même si le tableau publié laisse de côté le benchmark BFCL.
Les limites sont celles d'un modèle à un milliard de paramètres actifs, plus deux spécificités de cette sortie :
- Il stocke moins de connaissances factuelles qu'un gros modèle et OVH l'a conçu pour lire les données via des outils plutôt que pour répondre de mémoire. Fournissez-lui des sources ou des outils quand l'exactitude compte.
- Il réussit mieux les demandes courtes et ciblées que les longues tâches autonomes. Enchaînez des appels courts dans votre code et vérifiez chaque étape.
- La fenêtre de contexte est de 32K, entrée et sortie comprises.
- Un raisonnement long peut partir en boucle de répétition. Gardez l'échantillonnage recommandé et fixez une limite de tokens.
- Il n'a pas d'horloge et ses connaissances s'arrêtent début 2026 : donnez-lui la date et les faits récents.
- Il peut reproduire des biais et produire du contenu nuisible malgré son entraînement de sécurité : dans les tests d'OVH, 6,3 % des invites d'attaque réussissent encore et le modèle refuse environ une requête légitime sur dix. Ajoutez des filtres et une relecture humaine adaptés à votre application.
Si vous modifiez substantiellement le modèle ou si vous mettez sur le marché un produit sous votre nom, vous pouvez devenir fournisseur au sens du règlement européen sur l'IA, avec les obligations associées. C'est vrai de tout modèle à poids ouverts, mais OVH publie la documentation de conformité nécessaire pour démarrer.
Ce qui arrive ensuite
La version 1.1 est attendue d'ici la fin de l'année, avec une fenêtre de contexte de 128 000 tokens et de meilleures performances en raisonnement mathématique. La version 2.0 dépassera les 100 milliards de paramètres et visera trois domaines : l'agentique pour les entreprises, le DevOps cloud et la cybersécurité. OVH indique aussi qu'Olala alimentera à terme OVHai Workspace, dont la version chiffrée exige des modèles capables de tourner en local sur le poste de travail — le même besoin auquel ce modèle 7B répond déjà.
Le verdict
Olala mini est le premier modèle européen qui rend l'argument du local concret plutôt qu'idéologique : une architecture inédite, entraînée sur des supercalculateurs publics, publiée sous Apache 2.0, rapide sur un ordinateur portable et déjà en production chez Qwant. Ce n'est pas un remplaçant de ChatGPT et ce n'est pas encore un modèle Ollama.
Aujourd'hui, le plus simple est OVHcloud AI Endpoints, qui donne une API compatible OpenAI sans rien installer. Pour des expérimentations hors ligne, Transformers peut charger les poids, mais attendez-vous à des vitesses de recherche tant que l'architecture n'arrive pas dans les moteurs grand public. Et si vous attendiez ollama run olala, surveillez llama.cpp amont — c'est là que l'architecture doit d'abord arriver.
Cet article sera mis à jour dès qu'Olala mini sera disponible sur Ollama.