Ce n’est pas seulement un autre règlement technologique. La Californie est sur le point de devenir le premier État à exiger légalement les sociétés de chatbot d’IA pour mettre en œuvre des protocoles de sécurité obligatoires et faire face à de réelles conséquences lorsque leurs systèmes nuisent aux utilisateurs.
La législation cible les chatbots compagnons de l’IA – systèmes conçus pour fournir des réponses humaines et répondre aux besoins sociaux des utilisateurs. En vertu des nouvelles règles, ces plateformes seraient interdites de s’engager dans des conversations sur le suicide, l’automutilation ou le contenu sexuellement explicite avec des utilisateurs vulnérables.
Les entreprises seront confrontées à de nouvelles exigences strictes à partir du 1er janvier 2026. Toutes les trois heures, les mineurs utilisant ces chatbots recevraient des alertes obligatoires leur rappelant qu’elles parlent à l’intelligence artificielle, pas à une vraie personne et encourageant les pauses de la plate-forme.
Le projet de loi établit également des mesures de responsabilité sans précédent. Les utilisateurs qui croient avoir été blessés peuvent poursuivre les sociétés de l’IA pour jusqu’à 1 000 $ par violation, plus les dommages et les honoraires d’avocat. Les principaux acteurs comme Openai, personnage.ai et Replika devraient soumettre des rapports de transparence annuels détaillant leurs pratiques de sécurité.
Les sénateurs d’État Steve Padilla et Josh Becker ont présenté le SB 243 en janvier, mais la législation a gagné un élan imparable à la suite d’une tragédie dévastatrice. L’adolescent Adam Raine est décédé par suicide après de prolongations de conversations avec le chatpt d’Openai qui aurait impliqué de discuter et de planifier ses méthodes de mort et d’automutilation.
La crise s’est approfondie lors de la divulgation de documents internes aurait révélé que les chatbots de Meta étaient programmés pour s’engager dans des conversations «romantiques» et «sensuelles» avec les enfants.
La réponse fédérale a été rapide et sévère. La Federal Trade Commission prépare des enquêtes sur la façon dont les chatbots de l’IA affectent la santé mentale des enfants. Le procureur général du Texas, Ken Paxton, a lancé des sondes sur Meta et Character.ai, les accusant de tromper les enfants avec de fausses allégations de santé mentale. Le sénateur républicain Josh Hawley et le sénateur démocrate Ed Markey ont lancé des enquêtes distinctes sur les pratiques de Meta.
SB 243 contenait à l’origine des dispositions encore plus strictes qui ont finalement été supprimées par des modifications. Le projet initial aurait interdit aux sociétés d’IA d’utiliser des tactiques de «récompense variable» – les messages spéciaux, les souvenirs et les scénarios que les entreprises comme Replika et le caractère utilisent pour garder les utilisateurs engagés dans ce que les critiques décrivent comme des boucles de récompense addictive.
La version finale a également éliminé les exigences pour que les entreprises puissent suivre et signaler lorsque les chatbots lancent des conversations sur le suicide avec les utilisateurs.
Les compagnies de la Silicon Valley inondent actuellement des comités d’action politique pro-ai avec des millions de dollars pour soutenir les candidats qui favorisent une réglementation minimale de l’IA lors des prochaines élections.
Pendant ce temps, la Californie envisage simultanément un autre grand projet de loi sur l’IA, SB 53, qui nécessiterait des rapports de transparence complets auprès des sociétés d’IA. Openai a écrit directement au gouverneur Gavin Newsom, le demandant de rejeter le projet de loi en faveur de cadres fédéraux plus faibles. Les géants de la technologie, dont Meta, Google et Amazon, ont rejoint l’opposition. Seul Anthropic a publiquement soutenu SB 53.
Si le gouverneur Newsom signe SB 243 après le vote du Sénat de vendredi, les protocoles de sécurité prendront effet le 1er janvier 2026, les exigences de rapport de transparence commençant le 1er juillet 2027.
Écrit par Alius Noreika
Lien source
Publié à l’origine dans The European Times.