Datadog, pemimpin dalam observabilitas untuk infrastruktur kompleks, telah mengadopsi AI untuk meningkatkan alur kerja tinjauan kodenya. Integrasi ini memungkinkan pemimpin teknik untuk mengidentifikasi risiko sistemik yang mungkin terlewat oleh peninjau manusia, terutama dalam sistem terdistribusi besar di mana keseimbangan antara kecepatan penyebaran dan stabilitas operasional sangat penting.
Dalam hal kegagalan sistem, klien bergantung pada Datadog untuk mendiagnosis masalah, yang memerlukan tingkat keandalan yang tinggi sebelum perangkat lunak diterapkan. Namun, mempertahankan keandalan ini menjadi tantangan, terutama saat tim berkembang dan proses tinjauan kode tradisional menjadi kurang efektif. Insinyur senior sering kesulitan untuk mengikuti banyaknya pengetahuan kontekstual yang diperlukan untuk meninjau seluruh basis kode.
Untuk mengatasi masalah ini, tim Pengalaman Pengembangan AI Datadog (AI DevX) telah menerapkan Codex dari OpenAI untuk mengotomatiskan identifikasi risiko yang mungkin diabaikan oleh peninjau manusia. Meskipun alat otomatis telah digunakan dalam tinjauan kode selama beberapa waktu, efektivitasnya di masa lalu terbatas, sering kali hanya menangkap kesalahan sintaksis yang dangkal tanpa memahami arsitektur sistem yang lebih luas.
Alat AI yang dikembangkan oleh Datadog melampaui deteksi kesalahan sederhana. Alat ini terintegrasi ke dalam alur kerja salah satu repositori mereka yang paling sibuk, secara otomatis meninjau setiap permintaan tarik. Sistem ini menilai niat pengembang terhadap kode yang sebenarnya, menjalankan tes untuk memvalidasi fungsionalitas daripada hanya memeriksa pelanggaran gaya.
Untuk menunjukkan nilai AI, Datadog menciptakan "alat pemutaran insiden" untuk menguji alat tersebut terhadap pemadaman historis. Dengan merekonstruksi permintaan tarik masa lalu yang menyebabkan insiden, mereka menemukan bahwa AI menandai lebih dari 10 kasus—sekitar 22% dari insiden—di mana umpan baliknya dapat mencegah kesalahan yang terlewat oleh peninjau manusia. Bukti ini telah menggeser diskusi internal tentang efektivitas alat tersebut, menekankan bahwa mencegah insiden lebih penting daripada sekadar meningkatkan efisiensi.
Penerapan teknologi AI ini telah mengubah budaya tinjauan kode di Datadog. Alih-alih menggantikan peninjau manusia, AI bertindak sebagai mitra pendukung, mengurangi beban kognitif dalam memahami ketergantungan kompleks dalam kode. Insinyur melaporkan bahwa AI secara konsisten mengidentifikasi masalah yang tidak segera terlihat, meningkatkan kemampuan mereka untuk fokus pada evaluasi arsitektur dan desain. Akibatnya, proses tinjauan kode berkembang menjadi sistem keandalan inti yang memperkuat kepercayaan pelanggan terhadap platform Datadog.