Violence, psychoses, encouragement de pratiques dangereuses, désinformation, promotion de l’automutilation et du suicide… Les exemples se multiplient depuis des années sur les méfaits des chatbots et autres « compagnons » IA mal encadrés. OpenAI a d’ailleurs dû mettre en place un système de contrôle parental beaucoup plus solide, suite au suicide d’un adolescent accro à ChatGPT. Une plainte a été déposée par la famille.

Chatbots sous contrôle

La Chine entend bien serrer la vis, très fort. L’administration du cyberespace a proposé une série de règles qui, si elles étaient validées (ce qui ne fait pas vraiment de doute), limiteraient énormément ce que les bots peuvent faire. Ces derniers ne devraient pas chercher à influencer émotionnellement les utilisateurs, notamment avec de fausses promesses ou des encouragement excessifs. Toute incitation, glorification ou banalisation des comportements suicidaires ou violents serait strictement interdite.

Parmi les autres propositions des autorités de Pékin, on trouve l’enregistrement des coordonnées