Tidak ada perusahaan yang dapat mengontrol apa yang dikatakan oleh chatbot karena mereka tidak berfungsi seperti filter kontrol orang tua di internet, sehingga bisa ada keterikatan yang tidak sehat dengan mesin-mesin ini.

Apa risiko chatbot AI?

Mozilla Foundation telah memperingatkan tentang risiko keamanan dan privasi yang dihadirkan oleh aplikasi pacar virtual AI. Dalam uji coba yang dilakukan, Mozilla menemukan bahwa 10 dari 11 aplikasi tersebut memiliki masalah serius terkait keamanan kata sandi.

Selain itu, aplikasi-aplikasi tersebut gagal memberikan keamanan, privasi, dan keselamatan yang memadai. Dalam satu aplikasi saja, terdapat 24.354 pelacak data dan data tersebut dikirimkan kepada perusahaan pemasaran termasuk Facebook.

Salah satu contoh aplikasi, RepliKa AI, diketahui memiliki kekurangan dalam hal privasi dan keamanan. Aplikasi ini merekam semua teks, foto, dan video yang diposting oleh pengguna dan data perilaku dapat dibagikan dan dijual kepada pengiklan.

Selain itu, aplikasi juga rentan terhadap peretasan karena memungkinkan penggunaan kata sandi yang lemah. Dalam tiga aplikasi, konten yang mengganggu, ilegal, atau pornografi dapat ditemukan dengan hanya lima klik dan 15 detik.

Mozilla Foundation menekankan bahwa meskipun aplikasi-aplikasi ini dipasarkan sebagai peningkatan kesehatan mental dan kesejahteraan, sebenarnya mereka berfungsi untuk mengumpulkan data pengguna sebanyak mungkin.