San Francisco merkezli yapay zekâ araştırma şirketi OpenAI’dan araştırmacılar, şirketin son teknoloji yapay görme sisteminin kalem ve kâğıt üzere çok da karmaşık olmayan araçlar aracılığıyla kandırılabileceğini keşfetti. Test için bir objenin üzerine öteki bir objenin ismini yazan araştırmacılar, yazılımı kandırarak gördüklerini yanlış tanımlamasını sağladı.
Paylaşılan blog gönderisinde “Bu akınlara tipografik taarruzlar diyoruz” diyen araştırmacılar, husus hakkında “Modelin metni güçlü bir biçimde okuma yeteneğinden yararlanarak, elle yazılmış metin fotoğraflarının bile birçok vakit modeli yanıltabileceğini gördük” tabirlerini kullandı. Bu çeşit akınların, yapay görme sistemlerini kandırabilecek lakin üretilmesi çok daha kolay olan “adversarial” manzaralara benzediğini belirtiyorlar.
Sistemi eğitmek için 400 milyondan fazla data kullanıldı:
Modelleri şaşırtmak ve aldatmak için kasıtlı olarak bozulmuş piksellere sahip “adversial” imajlar, makine görmesine dayanan sistemler için gerçek bir tehlike oluşturuyor. Bir örnek vermek gerekirse araştırmacılar, Tesla’nın şoförsüz araçlarındaki yazılımının, yola muhakkak etiketler yapıştırarak ikaz vermeden şerit değiştirmek için kandırılabileceğini göstermişti. Hasebiyle bu tıp taarruzlar, tıptan orduya kadar çeşitli AI uygulamaları için önemli bir tehdit oluşturuyor.
Tekrar de araştırmacılar, ortaya çıkan bu tehlikenin en azından şimdilik endişelenecek bir şey olmadığını söylüyor. Çünkü kelam konusu OpenAI yazılımı, rastgele bir ticari eserde kullanılmayan CLIP isimli deneysel bir sistem. OpenAI’ın geçtiğimiz aylarda tanıttığı genel emelli bir görme sistemi olan CLIP, eğitilmek için internetten alınan yaklaşık 400 milyon adet imaj ve metin kullanmıştı.
Laboratuvar tarafından paylaşılan bir öbür örnek de CLIP’deki kumbaraları tanımlayan nöron oldu. Bu bileşen sırf kumbara fotoğraflarına değil, birebir vakitte dolar ‘$’ işaretleri karşılık verir. Üstteki örnekte olduğu üzere araştırmacılar, bir motorlu testereye ‘$’ işaretleri ekleyerek yapay zekanın onu elektrikli testere yerine kumbara olarak tanımlamasını sağladı.
OpenAI araştırmacıları ayrıyeten, CLIP’in çoklu biçimli nöronlarının, internette bir arama yaparken karşınıza çıkabilecek ön yargılara ve çağrışımlara sahip olduğunu keşfetti. Bunlardan kimileri ‘terörizm’ çağrışımına sahip ‘Ortadoğu’ nöronu ve hem koyu ciltli insanlara hem de gorillere karşılık gelen bir diğer nörondu.