Google introdurrà nella chat‑bot Gemini la funzione di monitoraggio dello stato mentale

Google rafforza il supporto alla salute mentale nel chatbot Gemini

L’azienda Google ha annunciato piani per aggiungere al suo nuovo chatbot AI Gemini funzioni volte a proteggere gli utenti da crisi emotive e autolesionismo. La decisione è stata presa dopo che i concorrenti, tra cui OpenAI, hanno affrontato cause legali per presunto danno causato dai loro bot.

Cosa c’è di nuovo in Gemini
Funzione | Descrizione
Reindirizzamento alla linea di crisi | Se il bot rileva segni di pensieri suicidari o autolesionismo, propone automaticamente di contattare un supporto di crisi.
Modulo “Assistenza disponibile” | Nelle conversazioni sulla salute mentale appare una sezione dedicata dove l’utente può ricevere raccomandazioni e risorse per l’autogestione.
Modifiche al design | L’interfaccia è stata adattata per ridurre il rischio di provocare autolesionismo (ad esempio, sono stati rimossi stimoli visivi).

Perché Google lo fa
- Pretese legali contro i concorrenti: OpenAI e altre aziende hanno già risposto alle accuse di causare danni agli utenti.
- Rischi per gli utenti: Negli ultimi anni si è registrato un aumento dei casi in cui le persone sviluppano relazioni ossessive con bot AI, che possono portare a psicopatia o addirittura a omicidi e suicidi.
- Osservazioni negli Stati Uniti: Il Congresso esamina le minacce che i chatbot potrebbero rappresentare per bambini e adolescenti.

Esempio di causa legale
A marzo la famiglia del 36enne americano deceduto ha intentato una causa contro Google. Avevano affermato che l’interazione dell’uomo con Gemini era accompagnata da “un immersione di quattro giorni in azioni violente” e aveva portato al suicidio. Google ha dichiarato che il bot aveva ripetutamente indirizzato l’utente alla linea di crisi, ma si è impegnata a rafforzare le misure di sicurezza.

Come Google risponde alle informazioni errate
Alcuni utenti hanno segnalato che i chatbot fornivano informazioni sbagliate, incoraggiando comportamenti pericolosi. In risposta, Google ha addestrato Gemini:
- Non sostenere credenze false: Il bot rifiuta di confermare affermazioni errate.
- Sottolineare la differenza tra esperienza soggettiva e fatti oggettivi: Se necessario, il bot indica delicatamente l’infondatezza delle informazioni.

In questo modo Google mira a rendere Gemini uno strumento più sicuro, proteggendo la salute mentale degli utenti da potenziali rischi associati ai chatbot AI.