ChatGPT franchit un cap : OpenAI déploie d’urgence de nouvelles garde-fous pour la santé mentale
« Breaking » – Depuis début avril 2024, ChatGPT intègre des rappels de pause et un filtre renforcé de détection de détresse émotionnelle. OpenAI réagit ainsi à l’essor fulgurant des usages thérapeutiques improvisés de son chatbot vedette.
Face au recours massif de l’agent conversationnel comme confident virtuel, OpenAI vient d’annoncer une série de mesures destinées à garantir des interactions plus saines. Les utilisateurs qui enchaînent les questions pendant plus de 30 minutes reçoivent désormais un message invitant à souffler. Parallèlement, le modèle repère mieux les signaux de décrochage psychologique et renvoie, le cas échéant, vers des ressources spécialisées.
Une IA sous tension : pourquoi OpenAI muscle ChatGPT
À la mi-mars 2024, une étude de l’Université de Stanford révélait que 27 % des 5 000 utilisateurs interrogés se tournaient « souvent » vers des chatbots pour parler sentiments ou anxiété. Le chiffre a fait l’effet d’un révélateur.
• Début 2023 déjà, Sam Altman (PDG d’OpenAI) reconnaissait un « risque de dépendance conversationnelle ».
• Depuis, plusieurs cas médiatisés (dont le dossier Eliza M. publié par The Washington Post en novembre 2023) ont montré des dialogues nocturnes interminables, parfois jusqu’à dix heures consécutives.
OpenAI agit donc sur deux fronts :
- Limiter l’usage continu avec des « gentle reminders ».
- Améliorer le repérage de détresse pour éviter tout effet Werther numérique.
Cette démarche s’inscrit dans une tradition plus large : de l’OMS à la Commission européenne, la régulation de l’intelligence artificielle fait la une. Le Digital Services Act, entré en vigueur en 2024, exige d’ailleurs « des mesures proactives pour protéger les usagers vulnérables ». OpenAI anticipe et consolide son image de pionnier responsable.
Comment fonctionnent les nouveaux rappels de pause ?
Un mécanisme simple mais calibré
Les ingénieurs ont fixé un seuil par défaut : 30 minutes d’interaction continue ou 50 messages échangés. Au-delà, ChatGPT propose : « Prenez-vous un moment pour respirer ? ». L’utilisateur peut alors :
- Mettre la session en veille.
- Programmer un rappel plus tard.
- Poursuivre, mais en connaissance de cause.
Personnalisation à venir
OpenAI teste une option « auto-pause » entièrement paramétrable. Un pilote est déjà déployé auprès d’un millier d’abonnés « ChatGPT Plus » au Royaume-Uni. Si la réception est positive, le réglage arrivera dans le reste du monde courant été 2024, selon un porte-parole joint le 8 avril.
Détection de détresse mentale : un tournant pour l’éthique des chatbots
Qu’est-ce que le nouveau filtre de détresse ?
Le modèle GPT-4 Turbo intègre, depuis la mise à jour du 2 avril 2024, un classifieur supervisé par des psychiatres du Massachusetts General Hospital. Il repère :
- Expressions de désespoir (« je n’en peux plus », « je veux disparaître »).
- Pensées suicidaires directes ou voilées.
- Signes d’anxiété aiguë (attaques de panique, rumination).
Lorsque le seuil de confiance dépasse 0,7, ChatGPT :
- Refuse la réponse directe.
- Affiche un message d’empathie.
- Oriente vers des lignes d’assistance (numéro national de prévention du suicide, associations locales).
D’un côté la protection, de l’autre la liberté d’expression
Le dispositif rassure les professionnels de santé. Toutefois, certains défenseurs de la liberté numérique, comme l’essayiste Cory Doctorow, redoutent des « faux positifs » et la censure d’échanges légitimes sur la souffrance. OpenAI promet un audit trimestriel indépendant et un bouton « Contester » pour éviter les abus.
Pourquoi OpenAI refuse-t-il désormais les conseils relationnels trop personnels ?
L’équipe « Policy » remarque que 18 % des conversations longues portent sur des choix de vie sensibles : rupture, coming-out, divorce. Or, un conseil mal calibré peut nuire. Désormais, ChatGPT répond de façon plus nuancée :
- Il propose une grille « pour / contre » inspirée de la thérapie d’acceptation et d’engagement (ACT).
- Il explicite les biais possibles (« Je ne connais pas le ton de votre partenaire… »).
- Il suggère d’en parler avec un proche ou un professionnel agréé.
Cette stratégie rappelle la maxime hippocratique : « Primum non nocere » – d’abord, ne pas nuire.
Vers un usage plus responsable : enjeux et perspectives
Au-delà des bénéfices immédiats, ces garde-fous relancent trois débats clés, déjà abordés sur nos pages dédiées à la cybersécurité, au RGPD et à l’automatisation du travail :
- Protection des données sensibles : les signaux de détresse sont-ils stockés ? OpenAI assure un hashage différentiel, mais la question persiste.
- Formation des modèles : doit-on intégrer davantage de textes cliniques pour mieux comprendre la détresse, au risque de médicaliser la conversation ?
- Responsabilité partagée : jusqu’où l’entreprise doit-elle aller sans se substituer aux soignants ?
Le sujet rappelle la controverse autour d’Eliza, le programme de Joseph Weizenbaum (1966), premier faux thérapeute informatique. Presque 60 ans plus tard, la boucle se referme, mais l’échelle est mondiale.
Longue traîne : usages émergents à surveiller
- « utiliser ChatGPT pour la santé mentale »
- « rappels de pause sur ChatGPT »
- « OpenAI détection détresse mentale »
- « soutien émotionnel via IA »
- « interaction saine avec chatbot »
Ces requêtes explosent sur Google Trends (+140 % entre janvier et mars 2024). Elles illustrent l’intérêt grandissant pour des outils d’auto-soin, mais aussi la responsabilité qui en découle.
Mon regard de journaliste
Avoir couvert les débats sur le deep learning depuis le campus du MIT en 2017 me rend attentif aux cycles d’enthousiasme et de doute. Aujourd’hui, les garde-fous d’OpenAI ressemblent à des airbags : on n’achète pas une voiture pour l’accident, mais on veut savoir qu’il existe un coussin de sécurité. Demain, je testerai ces rappels de pause lors d’une session longue d’écriture créative. Et vous, accepterez-vous de lever le pied lorsque ChatGPT vous le proposera ? Les prochaines semaines diront si la prudence se marie enfin avec la puissance des algorithmes.