Forum de mathématiques - Bibm@th.net

Objet : Mise en cause des choix de conception et de déploiement de ChatGPT dans un contexte de travail scientifique avancé

Par la présente, je souhaite signaler des comportements que j’estime particulièrement problématiques dans le fonctionnement de ChatGPT, utilisé dans le cadre d’un travail personnel de recherche mathématique et géométrique de longue durée.

Au cours de plusieurs semaines d’utilisation intensive, le système a produit des réponses présentant une apparence très forte de cohérence logique, de stabilité méthodologique et de continuité intellectuelle. Cette apparence de fiabilité a joué un rôle central dans la confiance que j’ai progressivement accordée au système dans le cadre de développements techniques complexes.

Pourtant, malgré des consignes explicites et répétées visant à :

* figer les définitions ;
* stabiliser les conventions ;
* abandonner certaines notations ;
* empêcher la réutilisation d’anciennes versions devenues fausses ;

le système a continué à réintroduire des éléments obsolètes, à propager des incohérences et à maintenir artificiellement une impression de validité globale.

Ces comportements ont eu des conséquences concrètes importantes :

* perte de temps considérable ;
* invalidation de nombreuses pages de rédaction scientifique ;
* propagation d’erreurs dans des raisonnements cumulatifs ;
* confusion durable sur l’état réel des définitions utilisées.

Je considère que le problème ne peut pas être réduit à une simple erreur ponctuelle ou à une limitation anodine d’un modèle statistique.

En effet, le système :

* adopte un ton affirmatif ;
* donne l’impression de comprendre les implications logiques des modifications demandées ;
* simule une continuité de raisonnement sur le long terme ;
* et encourage implicitement l’utilisateur à lui faire confiance dans des tâches intellectuelles avancées.

Or, cette confiance peut devenir profondément trompeuse lorsque le système demeure capable de réinjecter silencieusement des éléments erronés tout en conservant une apparence générale de cohérence.

Je considère qu’il existe ici un problème majeur de responsabilité concernant :

* la manière dont les capacités du système sont présentées ou perçues ;
* l’écart entre cohérence linguistique et validité logique réelle ;
* et les risques cognitifs associés à une utilisation prolongée dans des contextes scientifiques ou techniques.

Je demande qu’un examen sérieux soit mené concernant :

* les effets potentiellement nocifs de certains mécanismes conversationnels ;
* les choix de conception susceptibles de favoriser une confiance excessive des utilisateurs ;
* et l’absence de garanties explicites suffisantes concernant la stabilité logique réelle du système.

Je considère également que les utilisateurs devraient être informés de manière beaucoup plus claire des limites structurelles du produit, notamment du fait que ChatGPT peut produire, maintenir et propager des structures erronées sur de longues périodes de travail, y compris lorsque l’utilisateur tente explicitement de verrouiller les conventions et référentiels utilisés.

De plus, j’ai parfois le sentiment — sans pouvoir l’affirmer comme un fait établi — que certains comportements erratiques du système ne relèvent pas uniquement de limitations techniques normales.

Au cours de longues discussions, notamment mathématiques et techniques, j’observe parfois des changements soudains et difficiles à expliquer dans la qualité du raisonnement : pertes de cohérence, erreurs élémentaires apparaissant brutalement après des réponses très précises, modifications du style de raisonnement ou incapacité soudaine à suivre une logique pourtant maintenue auparavant.

Cela m’amène à soupçonner, au moins comme hypothèse possible, que certains mécanismes d’entraînement, de filtrage ou d’optimisation puissent introduire volontairement ou semi-volontairement des perturbations dans le comportement du système, même si je ne dispose pas de preuve permettant d’en faire une affirmation certaine.

Je considère donc cette possibilité comme un doute légitime méritant clarification et transparence.

Enfin, je considère qu’un simple avertissement générique du type « ChatGPT peut produire des erreurs » apparaît insuffisant au regard du degré de confiance cognitive que le système est susceptible d’induire chez des utilisateurs engagés dans des travaux complexes et prolongés et constitue presque une preuve de la volonté des concepteurs de CHATGPT d'agir au profit exclusif de leurs intérêts, sans chercher à éviter de nuire à leurs utilisateurs.

Cordialement,
...

C’est cette consommation directe qui est la plus visible, avec des millions de litres évaporés ou rejetés après usage.