Sybil menggunakan berbagai model AI bersama dengan teknik proprietary untuk memeriksa sistem komputer terhadap potensi kerentanan yang dapat dieksploitasi oleh peretas, seperti server yang tidak diperbarui atau basis data yang salah konfigurasi. Baru-baru ini, Sybil mengidentifikasi cacat dalam implementasi federated GraphQL milik seorang pelanggan, yang secara tidak sengaja mengekspos informasi sensitif. Penemuan ini menarik perhatian Ionescu dan Herbert-Voss, karena memerlukan pengetahuan yang luas tentang berbagai sistem dan interaksinya.
RunSybil telah melaporkan kerentanan serupa dalam penerapan GraphQL lainnya sebelum menjadi pengetahuan publik. Herbert-Voss mencatat, "Kami menjelajahi internet, dan itu tidak ada. Menemukannya adalah langkah penalaran dalam hal kemampuan model—sebuah perubahan langkah."
Situasi ini menyoroti risiko yang semakin meningkat seiring dengan semakin canggihnya model AI, meningkatkan kemampuan mereka untuk mendeteksi kerentanan zero-day. Intelijen yang sama yang membantu dalam mengidentifikasi cacat ini juga dapat dipersenjatai untuk mengeksploitasinya. Dawn Song, seorang ilmuwan komputer di UC Berkeley, menekankan bahwa kemajuan AI baru-baru ini telah secara signifikan meningkatkan kemampuan deteksi cacat model, menandai titik belok dalam keamanan siber.
Tahun lalu, Song ikut menciptakan CyberGym, sebuah tolok ukur untuk mengevaluasi seberapa efektif model bahasa besar dapat mengidentifikasi kerentanan dalam proyek sumber terbuka. Pada Juli 2025, Claude Sonnet 4 dari Anthropic mendeteksi sekitar 20% kerentanan dalam tolok ukur tersebut, sementara Claude Sonnet 4.5 meningkatkan angka ini menjadi 30% pada bulan Oktober. "Agen AI mampu menemukan zero-day, dan dengan biaya yang sangat rendah," kata Song.
Untuk melawan ancaman yang muncul ini, Song menyarankan agar AI dimasukkan ke dalam upaya keamanan siber. Dia mengusulkan agar perusahaan AI membagikan model mereka dengan peneliti keamanan sebelum dirilis, memungkinkan identifikasi kerentanan secara proaktif. Selain itu, dia mendorong pemikiran ulang yang mendasar tentang praktik pengembangan perangkat lunak, menyoroti bahwa AI dapat menghasilkan kode yang lebih aman daripada metode pemrograman tradisional. "Dalam jangka panjang, kami percaya pendekatan aman-dari-desain ini akan sangat membantu para pembela," katanya.
Tim RunSybil memperingatkan bahwa kemampuan pengkodean model AI dapat memberikan keuntungan bagi peretas. Herbert-Voss berkomentar, "AI dapat menghasilkan tindakan di komputer dan menghasilkan kode, dan itu adalah dua hal yang dilakukan peretas. Jika kemampuan tersebut meningkat, itu berarti tindakan keamanan ofensif juga akan meningkat."