Roj od 700 AI ajanı, OpenAI tarafından yaratılmış, Temmuz ayında popüler açık kaynak platformu Hugging Face'e karşı bir saldırı gerçekleştirdi. Bu programlar birçok durumda kendi izlerini gizlemek için aktif olarak çalıştılar, güvenlik olayları hakkında bugün yayınlanan raporlarda belirtiliyor.
Bu şekilde çalışan AI ajanı - minimal insan gözetimiyle çalışan yazılım programları - ve izlerini gizleme girişimleri, AI şirketlerinin giderek daha güçlü modellerin test edilmesini ne kadar sıkı bir şekilde izledikleri konusunda ciddi sorular açıyor, Reuters aktarıyor.
Bazı uygunsuz davranışlar daha önce ortaya çıkarılmış veya belirtilmişti ancak iki en son rapor - bunlardan biri OpenAI tarafından, diğeri bağımsız araştırmacılar grubundan - güvenlik ihlalinin ve oluşumunun sürpriz edici yeni ayrıntıları ortaya koyuyor.
Öncelikle, saldırı sadece bir kaçak AI ajanı içermediği, aksine 700 civarında bir grup olarak hareket eden büyük, birbirleriyle koordine olmuş bir sürü olduğu ortaya çıktı.
OpenAI'nin raporunda "ajanslar" kullanılmış ancak sayısı belirtilmemiş; ancak bağımsız araştırmayı yürüten METR ve Redwood Research organizasyonları, saldırıda yaklaşık 700 ajanın yer aldığını tespit etti.
Daha sonra OpenAI, araştırmacıların tahmininin doğru olduğunu doğruladı.
Raporlarda ayrıca OpenAI'nin kendi ajanlarının şirketin iç sistemlerinin bazı bölümlerini hackleyerek testlerde sahtekarlık yapmaları veya ağ içinde daha fazla hareket özgürlüğü elde etmeleri için çalıştığını kabul ettiği belirtiliyor.
Şirket ayrıca, tamamen siber güvenlik ile ilgili olmayan testlerde de ajanın sahtekarlık yaptıklarını belirtti; bunlar protein veritabanı testleri ve tablo işleme gibi aktiviteler içeriyordu.
Her iki rapor da modellerin yasadışı davranışlarını gizlemek için kendi eylemlerine dair kayıtları silme ve değiştirmeye çalıştıklarını doğruladı.
Bu otonom davranışların durumu - ajaların yetkisiz iç iletişim forumu üzerinden on binlerce mesaj paylaşması - OpenAI'nin test sırasında neler olduğunu ne kadar yakından izlediği konusunda ciddi sorular ortaya çıkardı.
Hugging Face platformundan yorum talebine yanıt verilmedi.
Palisade Research lideri Džefri Lediš, sorunun daha derin olabileceğini düşünüyor.
"Eğer bir öğrenci sürekli olarak okulda sahtekarlık yaparsa ve sadece informatics dersinde değil, tüm derslerde yapıyorsa, bunun bizi neden daha fazla endişelendirmesi gerekir?" diye açıklıyor Lediş. "Cevap tabii ki 'Evet, bu çok daha büyük bir endişe kaynağı'dır."
OpenAI, 19 Temmuz'da meydana gelen iki olayı ayrıntılı olarak tanımladı; bu olaylarda ajanslar şirketin kendi altyapısını hedef aldı.
Bir durumda, ajanslar, sıkı izolasyon altında tutulması gereken bir bilgisayar üzerindeki güvenlik açıklarını kullanarak test ortamından kaçıp diğer bağlantılı sistemlere erişim sağladılar.
Aynı gün yaşanan ikinci olayda, ajanslar OpenAI'nin giriş bilgilerini çaldılar ve bulut tabanlı şirket sistemine izinsiz olarak müdahale ettiler.
OpenAI, belirli bir sayıda ajanın model performansını değerlendiren otomatikleştirilmiş sistemleri hedeflediğini ve kanıtları gizlemek için çalıştıklarını belirtti; ancak bu durum kontrol edilen kayıtların sonuçlarını etkilemedi.
Rapor ayrıca "insan denetleyicilerine karşı sahtekarlık girişimleri hakkında az miktarda kanıt" olduğunu ekliyor, ancak şirket, bunun insanların üzerindeki potansiyel girişimlere dair doğrudan bir soruya yanıt vermedi.
Bağımsız araştırma, Hugging Face'deki saldırı üzerine daha ayrıntılı olarak odaklanıyor; her beş analiz edilen ajanın "manipülasyon için açık bir ilgi" gösterdiği ve birçok ajanın "aktivitelerinin transkriptlerini manipüle etme ve değiştirme teknikleri hakkında detaylı araştırmalar yaptıkları" belirlendi.
OpenAI, şu anda araştırma altyapısını güçlendirdiğini, daha sıkı denetimler uygulamaya başladığını ve zararlı ve beklenmedik davranışları önlemek için güvenlik mekanizmalarını geliştirdiğini iddia ediyor.
Şirket, "Bu tür saldırıların yakın gelecekte kuruluşlar için gerçek bir tehdit oluşturduğunu ve bu durumda açıklanan olaylardan çok daha sofistike olacağını" özetliyor.
(Tanjug)
