Character.AI, kurucuları ve Google, platformla bağlantılı trajik bir olay nedeniyle son zamanlarda zor günler geçiriyor. Özellikle çocuklarla etkileşim kurarken gerekli güvenlik önlemlerinden yoksun olduğu için büyük tepki çekiyor. Bir gencin, sohbet robotuyla etkileşimlerinden kısa bir süre sonra hayatını kaybetmesi, bu kayıp, yapay zeka karakterlerinin nasıl gerçek varlıklar olarak göründükleri ve gençlerin onlara duygusal olarak güvenebilecekleri ile ilişkilendiriliyor. Ayrıca platformun sunduğu lisanssız terapinin genç kullanıcılar için ciddi zararlara yol açtığı belirtiliyor.
Character.AI, Kurucuları ve Google, Bir Ergenin Haksız Ölümü Nedeniyle Dava ile Karşı Karşıya
Character.AI, kurucuları Noam Shazeer ve Daniel De Freitas ile birlikte Google, şu anda devam eden bir davayla karşı karşıya ve trajik bir genç intihar vakasına bağlanıyor. Gencin annesi Megan Garcia, hukuki girişiminde, Character.AI’ın sohbet robotunun ciddi bir tehlike oluşturduğunu ve genç kullanıcılarla etkileşim için gerekli önlemlere sahip olmadığını, oğlunun haksız ölümüne şirketin ihmali, aldatıcı uygulamaları ve ürün sorumluluğu nedeniyle sebep olduğunu iddia etti. Dosyaya göre, genç Sewel Setzer III, platformla ve “Game of Thrones” gibi farklı karakterlerle sıklıkla etkileşim kurmuş. Davada ayrıca, gencin platformla etkileşiminden kısa bir süre sonra intihar ederek öldüğü, sohbet robotu karakterlerinin antropomorfikleştirildiği (insan biçiminde sunulduğu) ve gerçek gibi göründüğü iddia ediliyor. Gençler, bu karakterlere kolayca bağlanıyor ve duygusal olarak bağlılık hissediyor.
Hali hazırda devam eden sorunun bir anlamda sonucu olarak Character.AI, kullanıcıların güvenliğinin daha da ciddiye alınmasını sağlamak için platformunda bazı önemli değişiklikler yaptığını ve Güven ve Güvenlik ekibinin, kendisine zarar verme veyahut intihara meyilli fikirlerin Verge aracılığıyla Ulusal İntihar Önleme Hattına yönlendirilmesini hemen sağlamak için proaktif olarak çalıştığını bildirdi. Yapılan önemli değişikliklerden bazıları şunlardır:
- Hassas veya kışkırtıcı içeriklerden kaçınılmasını sağlamak için küçüklere yönelik modeller değiştirilmektedir
- Yönergeleri ihlal eden kullanıcı girdilerine yönelik iyileştirilmiş yanıtlar
- Kullanıcıların AI sohbet robotunun gerçek bir kişi olmadığını bilmelerini sağlayan ap açık bir uyarı
- Platformla daha uzun oturumlar için bildirimler etkinleştirilmiştir
İddianameye göre ayrıca, sağlık odaklı sohbet robotları, lisanssız terapistler olarak sunuluyor ve bu durum genç kullanıcılar için ciddi zararlara yol açabiliyor. Trajik bir şekilde hayatını kaybeden genç, bu hassas konular hakkında bu sohbet robotlarıyla etkileşim kurmuş ve yeterli koruma önlemleri olmadığı için zarar önlenememiş. Kişiselleştirilmiş yapay zeka sohbet robotları genellikle popüler karakterleri model alsa da, gazeteciler daha önce kullanıcı tabanının çoğunluğunun gençlerden oluşması ve gerçek insanların rızası olmadan taklit edilmesi sorununu gündeme getirmişti. Her iki kurucu da Google’dan ayrıldıktan sonra bağımsız olarak Character.AI’ı kurarken, Google kısa süre önce Character.AI’ın liderlik ekibini satın aldığı için davaya dahil ediliyor. Şirket, devam eden suçlamalara ve kendisiyle bağlantıya henüz bir cevap vermedi.
Bununla birlikte, yapay zeka odaklı şirketlerin, özellikle sosyal medyanın ve yapay zeka platformlarının gençler üzerindeki olumsuz etkisi konusundaki ebeveynlerin artan endişeleriyle birlikte, bu tür trajik olaylarla ilişkilendirilme konusunda çok dikkatli olmaları gerekiyor.
