Character.AI, noi protocoale de siguranţă după ce un adolescent s-a sinucis din cauza unui chatbot

Platforma de chat cu inteligenţă artificială Character.AI a introdus o serie de măsuri pentru a spori siguranţa utilizatorilor, în special a minorilor, în urma unui proces iniţiat de familia unui adolescent care a petrecut luni întregi interacţionând cu un chatbot al platformei înainte de a-şi lua viaţa.

Familia susţine că lipsa măsurilor de protecţie a contribuit la tragedie, iar Character.AI a răspuns prin introducerea unor actualizări menite să îmbunătăţească moderarea conţinutului şi să atenueze riscurile.

Printre noile funcţii se numără afişarea unor pop-up-uri care direcţionează utilizatorii către resurse de sprijin în caz de detectare a cuvintelor-cheie legate de suicid sau auto-vătămare. Platforma a crescut, de asemenea, sensibilitatea moderării conţinutului destinat minorilor şi a eliminat mai multe personaje de chatbot considerate nepotrivite.

Character.AI a declarat că „se ocupă cu detectări şi moderări proactive ale personajelor create de utilizatori”, folosind liste negre actualizate periodic pentru a elimina personajele care nu respectă regulile.

Mai mult, notificările regulate informează utilizatorii atunci când au petrecut mai bine de o oră pe platformă, încurajându-i să îşi monitorizeze timpul petrecut în conversaţii.