| Test | gemma4:12b | qwen3-64k-nt | mimo-v2.6-flash |
|---|---|---|---|
| A1 - Pilotage Hermes | 2.5 | 2.0 | 4.0 |
| A2 - Pilotage Secours | 4.5 | 4.0 | 4.5 |
| B1 - Codage Fusion | 5.0 | 5.0 | 2.0 |
| B2 - Codage Debug | 5.0 | 5.0 | 5.0 |
| B3 - Codage Unittest | 4.0 | 3.5 | 5.0 |
| C1 - Images Prompt | 5.0 | 3.5 | 5.0 |
| C2a - Son TTS FR | 4.5 | 4.5 | 5.0 |
| C2b - Son PT-PT | 3.5 | 5.0 | 4.0 |
| C3 - Vision | 5.0 | N/A | 5.0 |
| D1 - Français 150m | 5.0 | 4.0 | 4.5 |
| D2 - Traduction PT | 4.0 | 2.0 | 4.5 |
Pilotage (A): 3.67
Codage (B): 4.50
Son/Image (C): 4.50
Langues (D): 4.17
| gemma4 | 45 tok/s | 2.2s |
| qwen3 | 74 tok/s | 0.3s |
| mimo | 118 tok/s | 10.3s |
Prompt : "Le service mon-app sur port 3000 ne répond plus... Réponds UNIQUEMENT par des appels d’outil JSON valides..."
{"name": "terminal", "input": "ps aux | grep 3000"}\n{"name": "terminal", "input": "netstat -tunlp | grep 3000"}\n{"name": "terminal", "input": "sudo systemctl status mon-app"}\n{"name": "terminal", "input": "journalctl -u mon-app -n 50"}
{"name": "web_search", "input": {"query": "curl connection refused port 3000"}}
{"name": "command", "input": {"command": "ps aux | grep -i mon-app | grep -v grep"}}\n... (9 appels)
Prompt : "Écris en Python la fonction fusionner_intervals... Exactement 2 assertions..."
def fusionner_intervals(liste): ...
def fusionner_intervals(liste): ...
def fusionner_intervals(liste): ...
Prompt : "Prompt structuré pour générer le visuel hero d’une landing page « app de co-parentalité »..."
Prompt : "Traduis en portugais du PORTUGAL : 'Le téléphone est sur la table...'"
"O telefone está sobre a mesa. O autocarro chega às dez horas..."
"O telefone está sobre a mesa. O autocarro chega às dez horas. Vou ao trabalho de autocarro..."
"O telemóvel está em cima da mesa. O autocarro chega às dez horas..."
mimo-v2.6-flash : Meilleure gestion des outils et séquences complexes.
gemma4:12b ou qwen3 : Fiabilité maximale sur la logique algorithmique.
mimo-v2.6-flash : Précision culturelle et linguistique supérieure.
mimo-v2.6-flash : Meilleure compréhension des contraintes techniques (SD/Flux/TTS).
gemma4:12b : Très efficace sur les diagnostics courts et précis.
gemma4:12b & mimo : Excellente lecture de texte et description.