En bref : Dire que Jev « n’hallucine jamais » est vrai dans un sens précis : il ne peut pas produire de réponse en dehors des options définies à l’avance. Mais cela ne veut pas dire qu’il a toujours raison. Il peut se tromper de classification, être mal calibré ou reproduire des biais. La bonne formule serait plutôt : « il n’invente rien hors du cadre, mais il peut choisir la mauvaise réponse dans le cadre. »

D’où vient l’hallucination dans un LLM ?

Pour comprendre la promesse de Jev, il faut d’abord cerner le problème qu’il prétend résoudre. Un grand modèle de langage (LLM) comme ChatGPT fonctionne en prédisant le mot suivant, token après token. Rien ne l’empêche, mécaniquement, de produire une affirmation fausse mais grammaticalement parfaite : une source inventée, une date erronée, un fait qui n’existe pas. C’est ce qu’on appelle une « hallucination ».

Le modèle génératif ne « sait » pas qu’il se trompe : il enchaîne des mots plausibles. Dans un usage où la sortie est libre, ce risque est structurel et ne peut être totalement éliminé, seulement réduit.

Pourquoi la sortie typée de Jev change la donne

Jev adopte une approche radicalement différente. Au lieu de générer du texte, il reçoit une situation et une liste d’options autorisées, puis renvoie une décision choisie parmi ces options, accompagnée d’une probabilité et d’un score de confiance. La sortie est donc contrainte par un type défini à l’avance (un choix dans une liste, une note sur une échelle, un oui/non probabilisé).

Conséquence directe : Jev ne peut pas produire une réponse hors de ce cadre. Il ne peut pas inventer une catégorie qui n’existe pas, ni renvoyer un objet malformé. C’est là que se loge la vérité de l’affirmation « il n’hallucine jamais » : il n’y a pas d’hallucination « de format » ni de réponse fantaisiste hors périmètre. Ce mécanisme non génératif est expliqué en détail dans notre article sur le fonctionnement non-autorégressif et la sortie structurée de Jev.

Le mythe : « pas d’hallucination » ne veut pas dire « toujours juste »

Voici la nuance essentielle, trop souvent gommée. « Zéro hallucination » signifie zéro sortie hors du type déclaré. Cela ne signifie pas :

• zéro faux positif ou faux négatif : une étiquette valide peut être la mauvaise étiquette ;
• zéro biais : le modèle peut reproduire des travers présents dans ses données d’entraînement ;
• zéro surconfiance : la probabilité affichée peut être mal calibrée ;
• zéro besoin d’évaluation : il faut toujours vérifier la justesse sur des cas réels.

Autrement dit, Jev peut parfaitement choisir une option qui existe bien dans la liste… mais qui est la mauvaise pour la situation donnée. On parle alors d’erreur de classification, et non d’hallucination. Le résultat est propre sur le plan du format, mais peut rester faux sur le fond.

La question clé : la calibration des scores

L’un des atouts mis en avant par TypeSafe est que Jev renvoie une probabilité calibrée : quand il annonce 90 % de confiance, l’idée est que la réponse soit correcte environ 9 fois sur 10. Si cette calibration est fiable, elle est très utile : on peut fixer un seuil, automatiser les cas les plus sûrs et faire relire les cas douteux par un humain.

Mais la calibration est elle-même une performance à démontrer. Un modèle peut être trop confiant (il annonce 95 % alors qu’il se trompe souvent) ou au contraire trop prudent. Comme pour les autres chiffres, ces qualités restent à vérifier sur ses propres données, faute de benchmarks indépendants largement publiés à ce jour.

Un vrai progrès, à condition de bien le formuler

Il ne s’agit pas de balayer la promesse d’un revers de main. Contraindre la sortie à un ensemble d’options connues élimine réellement une famille entière d’erreurs : les réponses inventées, les formats cassés, les affirmations sorties de nulle part. Pour un système qui prend des décisions automatisées à grande échelle, c’est un gain de fiabilité et de prévisibilité loin d’être anecdotique.

Cette logique s’inscrit dans une distinction plus large entre modèles qui « réfléchissent » en générant du texte et modèles qui « décident » directement, que nous détaillons dans l’article sur le System 1 Model face aux LLM System 2. La bonne façon de résumer : Jev supprime l’hallucination au sens strict, mais pas l’erreur.

Comment décider en confiance avec Jev

En pratique, quelques réflexes permettent d’exploiter cet avantage sans se bercer d’illusions :

• Définir des options exhaustives et non ambiguës : la qualité du cadre conditionne la qualité de la décision.
• Mesurer la justesse réelle sur un jeu de test annoté à la main, pas seulement le respect du format.
• Vérifier la calibration des scores de confiance avant de les utiliser pour automatiser.
• Garder un humain dans la boucle pour les cas à faible confiance ou à fort enjeu.

Pour une vue d’ensemble du modèle et de sa philosophie, notre guide complet de Jev replace ces questions de fiabilité dans le tableau général.

Ce qu’il faut retenir

• « Jev n’hallucine jamais » est vrai au sens strict : il ne produit aucune réponse en dehors des options définies.
• Mais il peut se tromper dans le cadre : erreurs de classification, biais, faux positifs ou négatifs restent possibles.
• La probabilité calibrée est un atout majeur… à condition qu’elle soit réellement fiable.
• Le vrai gain est l’élimination des réponses inventées et des formats cassés, pas la garantie d’avoir toujours raison.
• La prudence reste de mise : mesurer la justesse sur ses propres données et garder un humain sur les cas sensibles.