Les outils d’intelligence artificielle comme ChatGPT ou Claude ne proposent pas de réponses préétablies. Chaque texte est élaboré de manière séquentielle, unité par unité. Ces unités, nommées tokens, correspondent à des mots, des segments de mots ou des signes de ponctuation. Le système évalue la probabilité de chaque token possible pour déterminer la suite de la phrase.
Pour illustrer ce mécanisme, si une phrase commence par le chat dort sur le, le modèle attribue des scores de probabilité à différentes options comme canapé, tapis ou lit. Par défaut, le logiciel effectue un tirage aléatoire basé sur ces pourcentages. Cette méthode explique pourquoi une même requête peut engendrer des résultats divergents. Les éditeurs utilisent deux paramètres principaux pour encadrer ce comportement : la température et le top-p.
La température agit comme un curseur de hasard. Une valeur basse incite le modèle à privilégier quasi systématiquement le choix le plus probable, favorisant la stabilité. Une valeur élevée permet aux options moins probables d’apparaître plus souvent, augmentant ainsi la variété des réponses. Le top-p, ou échantillonnage nucléaire, consiste à restreindre les choix possibles en excluant les candidats dont la probabilité cumulée dépasse un certain seuil. Bien que la température zéro soit censée garantir une réponse identique, des tests réalisés en septembre 2025 par Horace He et ses collègues de Thinking Machines Lab sur le modèle Qwen3-235B ont montré des divergences sur 1000 essais, révélant que des variations dans le calcul des scores internes peuvent modifier le résultat final.
Par ailleurs, ces modèles de langage rencontrent des difficultés face à des situations concrètes. Le paradoxe de Moravec, décrit par Hans Moravec, Rodney Brooks et Marvin Minsky, souligne que les tâches aisées pour un humain, comme débarrasser une table ou conduire, restent complexes pour une machine, alors que le raisonnement abstrait est mieux maîtrisé. Yann LeCun, lauréat du prix Turing, critique la stratégie consistant à simplement accroître la taille des modèles. Selon lui, ces systèmes manquent d’une compréhension du monde physique. Pour pallier cette lacune, des recherches comme JEPA visent à créer un modèle latent du monde permettant des prédictions physiques. L’objectif est de dépasser la simple génération textuelle pour intégrer une perception sensorielle, essentielle pour des applications en robotique ou en conduite autonome.
— Caricat-media.org

