OpenAI telah mengumumkan pengunduran diri Vallone, yang berperan penting dalam memimpin penelitian tentang bagaimana ChatGPT menangani pengguna yang mengalami krisis kesehatan mental. Seorang juru bicara OpenAI, Kayla Wood, menyatakan bahwa perusahaan saat ini sedang mencari pengganti, dan sementara itu, tim Vallone akan melapor kepada Johannes Heidecke, kepala sistem keselamatan di OpenAI.
Perubahan ini terjadi pada saat OpenAI berada di bawah pengawasan yang semakin meningkat terkait respons produk unggulannya, ChatGPT, terhadap pengguna yang dalam keadaan tertekan. Baru-baru ini, beberapa gugatan telah diajukan terhadap perusahaan, mengklaim bahwa pengguna telah mengembangkan keterikatan yang tidak sehat terhadap chatbot, dengan beberapa mengklaim bahwa hal itu telah berkontribusi pada krisis kesehatan mental atau bahkan mendorong pemikiran untuk bunuh diri.
Menanggapi kekhawatiran ini, OpenAI telah bekerja keras untuk meningkatkan cara ChatGPT berinteraksi dengan pengguna yang tertekan. Tim kebijakan model, yang dipimpin oleh Vallone, telah berada di garis depan upaya ini, merilis laporan bulan Oktober yang menguraikan kemajuan perusahaan dan konsultasi dengan lebih dari 170 profesional kesehatan mental. Laporan tersebut menyoroti bahwa ratusan ribu pengguna mungkin menunjukkan tanda-tanda krisis manik atau psikotik setiap minggu, dengan lebih dari satu juta percakapan menunjukkan potensi perencanaan atau niat bunuh diri.
OpenAI melaporkan bahwa melalui pembaruan pada GPT-5, mereka telah berhasil mengurangi respons yang tidak diinginkan dalam percakapan sensitif ini sebesar 65 hingga 80 persen. Vallone merefleksikan tahun penelitiannya dalam sebuah pos di LinkedIn, mencatat tantangan dalam menentukan bagaimana model AI harus merespons tanda-tanda ketergantungan emosional yang berlebihan atau awal krisis kesehatan mental.
Pengunduran diri Vallone mengikuti reorganisasi pada bulan Agustus dari tim lain yang fokus pada respons ChatGPT terhadap pengguna yang tertekan. Mantan pemimpin kelompok tersebut, Joanne Jang, beralih ke tim baru yang didedikasikan untuk mengeksplorasi metode interaksi manusia-AI yang inovatif. Staf yang tersisa dari tim perilaku model sejak itu telah dipindahkan di bawah Max Schwarzer, yang memimpin upaya pasca-pelatihan di OpenAI. Saat perusahaan terus memperluas basis penggunanya, yang kini melebihi 800 juta pengguna mingguan, mereka menghadapi tantangan untuk menyeimbangkan interaksi yang menarik dengan kebutuhan untuk menghindari respons yang terlalu memuji.