Sebuah laporan baru dari Akamai mengungkapkan bahwa bot AI menjadi bagian signifikan dari lalu lintas web, menyoroti pertempuran yang berkembang antara bot-bot ini dan pertahanan situs web. Toshit Pangrahi, CEO TollBit, yang melakukan studi ini, memprediksi bahwa lalu lintas bot akan mendominasi internet di masa depan, menandai munculnya jenis pengunjung web baru.
Banyak situs web besar yang menerapkan langkah-langkah untuk membatasi konten yang dapat diambil oleh bot untuk pelatihan AI. Ini termasuk gugatan yang sedang berlangsung dari penerbit seperti Condé Nast terhadap perusahaan AI terkait masalah hak cipta. Namun, tren berbeda juga muncul, di mana alat AI menggunakan data web waktu nyata untuk meningkatkan keluaran mereka, seperti harga produk terkini atau ringkasan berita.
Menurut data Akamai, lalu lintas bot yang terkait dengan pelatihan AI telah meningkat secara stabil sejak Juli lalu, dengan peningkatan yang signifikan dalam bot yang mengakses konten web untuk tujuan AI. Robert Blumofe, CTO Akamai, menyatakan bahwa AI sedang mengubah web dan bahwa perjuangan yang sedang berlangsung antara bot dan pertahanan situs web akan membentuk masa depan bisnis online.
Perkiraan TollBit menunjukkan bahwa pada kuartal keempat 2025, satu dari setiap 50 kunjungan ke situs web kliennya berasal dari bot pengambil data AI, peningkatan signifikan dari satu dari setiap 200 kunjungan sebelumnya pada tahun itu. Laporan tersebut juga menemukan bahwa lebih dari 13% permintaan bot melewati file robots.txt, yang dimaksudkan untuk membimbing bot tentang halaman mana yang harus dihindari, menunjukkan peningkatan 400% dalam pengabaian terhadap pedoman ini.
Sebagai respons, telah terjadi peningkatan 336% dalam situs web yang mencoba memblokir bot AI, karena metode pengambilan data mereka menjadi lebih canggih. Beberapa bot kini meniru perilaku penjelajahan manusia, membuatnya sulit untuk membedakan antara lalu lintas manusia dan bot. TollBit menawarkan alat bagi pemilik situs web untuk mengenakan biaya kepada pengambil data AI untuk akses konten, sementara perusahaan lain seperti Cloudflare menyediakan solusi serupa. Pangrahi menekankan perlunya sistem yang lebih efisien untuk pertukaran nilai antara mesin dan situs web. Laporan tersebut juga mencatat bahwa munculnya mesin pencari bertenaga AI menciptakan peluang bisnis baru, dengan perusahaan mengembangkan strategi untuk mengoptimalkan konten untuk alat AI, menunjukkan pergeseran dalam lanskap pemasaran.