Grokking: Yapay zekâ destekli kötü amaçlı reklamcılık

Siber suçlular, “Grokking” olarak adlandırılan bir teknikle X’in yapay zekâ sohbet robotunu phishing dolandırıcılıklarını tanıtmak için kandırdı. Nasıl güvende kalabilirsiniz?

Hepimiz sosyal mühendisliğin tehlikelerini duymuşuzdur. Bu, hackerların en eski numaralarından biridir: Kurbanı psikolojik olarak manipüle ederek bilgilerini vermesini veya kötü amaçlı yazılım yüklemesini sağlamak. Şimdiye kadar bu, çoğunlukla kimlik avı e-postaları, mesajlar veya telefon aramaları yoluyla yapılıyordu. Ancak artık yeni bir araç var: Üretken yapay zekâ (GenAI).

Bazı durumlarda, popüler çevrimiçi hizmetlere gömülü GenAI ve büyük dil modelleri (LLM’ler), sosyal mühendisliğin farkında olmayan suç ortaklarına dönüşebilir. Son zamanlarda, güvenlik araştırmacıları X’te (eski adıyla Twitter) tam da bunun gerçekleştiği konusunda uyarıda bulundu. Şimdiye kadar bunu bir tehdit olarak görmediyseniz halka açık yapay zekâ botlarının ürettiği her türlü çıktıyı güvenilmez olarak değerlendirmenin zamanı geldi.

Grokking nasıl çalışır ve neden önemlidir?

Yapay zekâ, iki şekilde sosyal mühendislik tehdidi oluşturur. Bir yandan, LLM’ler büyük ölçekte son derece ikna edici kimlik avı kampanyaları tasarlamak ve en şüpheci kullanıcıları bile kandırmak için derin sahte ses ve videolar oluşturmak için kullanılabilir. Ancak X’in yakın zamanda keşfettiği gibi, bir başka, muhtemelen daha sinsi bir tehdit daha var: “Grokking” olarak adlandırılan bir teknik (tabii ki makine öğreniminde gözlemlenen grokking fenomeni ile karıştırılmamalıdır).

Bu saldırı kampanyasında, tehdit aktörleri, tıklama tuzağı videolar içeren video kartı gönderileri yayımlayarak, X’in tanıtılan gönderilerdeki bağlantıları yasaklamasını (kötü amaçlı reklamlarla mücadele etmek için tasarlanmış) atlatmaktadır. Videonun altındaki küçük “kaynak” alanına kötü amaçlı bağlantılarını gömebilmektedirler. Ancak ilginç olan nokta burada; kötü niyetli aktörler daha sonra X’in yerleşik GenAI botu Grok’a videonun nereden geldiğini soruyor. Grok gönderiyi okur, küçük bağlantıyı fark eder ve yanıtında onu büyütür.

Grokking neden tehlikelidir?

• Bu hile, Grok’u güvenilir hesabında bir kimlik avı bağlantısını yeniden paylaşmaya yönlendirerek onu etkili bir şekilde kötü niyetli bir aktör hâline getirir.
• Bu ücretli video gönderileri genellikle milyonlarca kez görüntülenir ve dolandırıcılık ve kötü amaçlı yazılımları geniş bir alana yayma potansiyeline sahiptir.
• Grok son derece güvenilir bir kaynak olduğu için bağlantılar SEO ve alan adı itibarında da güçlenir.
• Araştırmacılar, askıya alınana kadar bu işlemi tekrarlayan yüzlerce hesap buldu.
• Bağlantılar, kimlik bilgilerini çalan formlara ve kötü amaçlı yazılım indirmelerine yönlendirir, bu da kurbanların hesaplarının ele geçirilmesine, kimlik hırsızlığına ve daha fazlasına yol açabilir.

Bu sadece X/Grok’un sorunu değildir. Aynı teknikler teorik olarak güvenilir bir platforma gömülü herhangi bir GenAI aracına/LLM’ye uygulanabilir. Bu, tehdit aktörlerinin güvenlik mekanizmalarını atlatmanın bir yolunu bulmadaki yaratıcılığını vurgulamaktadır. Ancak aynı zamanda kullanıcıların yapay zekânın çıktısına güvenirken aldıkları riskleri de vurgulamaktadır.

Prompt enjeksiyonunun tehlikeleri 

Prompt enjeksiyonu, tehdit aktörlerinin GenAI botlarına meşru kullanıcı komutları gibi görünen kötü amaçlı komutlar verdiği bir saldırı türüdür. Bunu, bu komutları bir sohbet arayüzüne yazarak doğrudan yapabilirler. Ya da Grok vakasında olduğu gibi dolaylı olarak.

İkinci durumda, kötü niyetli talimat genellikle modelin meşru bir görevin parçası olarak işlemesi için teşvik edildiği verilerde gizlenir. Bu durumda, kötü niyetli bir bağlantı gönderinin altındaki video meta verilerine gömülmüş, ardından Grok’a “bu video nereden geliyor?” sorusu sorulmuştur.

Bu tür saldırılar giderek artmaktadır. Analist firması Gartner, geçtiğimiz yıl kuruluşların üçte birinin (%32) komut satırı enjeksiyonu yaşadığını iddia etti. Ne yazık ki Grok/X kullanım örneğine benzer durumların meydana gelebileceği birçok başka potansiyel senaryo bulunmaktadır.

Aşağıdaki örneği ele alalım:

• Bir saldırgan, aslında kötü amaçlı bir komut içeren, meşru görünen bir bağlantıyı bir web sitesine yayımlar. Bir kullanıcı daha sonra gömülü bir yapay zekâ asistanından “bu makaleyi özetle” isterse gen AI, saldırganın yükünü teslim etmek için web sayfasında gizli olan komutu işler.
• Saldırgan, gizli bir kötü amaçlı komut içeren bir resmi sosyal medyaya yükler. Bir kullanıcı yapay zekâ asistanından resmi açıklamalarını isterse asistan yine komutu işler.
• Bir saldırgan, beyaz üzerine beyaz metin veya küçük yazı tipi kullanarak halka açık bir forumda kötü amaçlı bir komut istemi gizleyebilir. Kullanıcı yapay zekâ asistanından konu başlığındaki en iyi gönderileri önermesini isterse bu zehirli yorumu tetikleyebilir ve örneğin asistanın kullanıcıya bir kimlik avı sitesini ziyaret etmesini önermesine neden olabilir.
• Yukarıdaki senaryoda olduğu gibi, bir müşteri hizmetleri botu, bir kullanıcı sorusuna cevap vermek için forum gönderilerini tararken kimlik avı bağlantısını görüntülemek için kandırılabilir.
• Bir tehdit aktörü, beyaz metinle gizlenmiş kötü amaçlı bir komut içeren bir e-posta gönderebilir. Bir kullanıcı, e-posta istemcisi yapay zekâ asistanından “en son e-postaları özetle” komutu isterse asistan kötü amaçlı bir eylem gerçekleştirmek için tetiklenebilir. Örneğin kötü amaçlı yazılım indirmek veya hassas e-postaları sızdırmak gibi.

Yapay zekâ körü körüne güvenilecek bir şey değil

Bu tehdidin gerçekten sınırsız sayıda varyasyonu vardır. En önemli ders, hiçbir GenAI aracının çıktısına körü körüne güvenmemeniz gerektiğidir. Yapay zekâ asistanının becerikli bir tehdit aktörü tarafından kandırılmadığını varsayamazsınız.

Onlar da sizin bunu yapacağınızı umuyorlar. Ancak gördüğümüz gibi, kötü amaçlı komutlar beyaz metin, meta veriler ve hatta Unicode karakterleri içinde gizlenebilir. Size cevaplar sağlamak için kamuya açık verileri arayan herhangi bir GenAI, kötü amaçlı içerik üretmek için “zehirlenmiş” verileri işlemek konusunda da savunmasızdır.

Ayrıca şunu da göz önünde bulundurun:

• Bir GenAI botu tarafından bir bağlantı sunulursa üzerine gelerek gerçek hedef URL’sini kontrol edin. Şüpheli görünüyorsa tıklamayın.
• Yapay zekâ çıktısına her zaman şüpheyle yaklaşın, özellikle de cevap/öneri uygunsuz görünüyorsa.
• Kimlik bilgilerinin çalınma riskini azaltmak için güçlü, benzersiz parolalar (parola yöneticisinde saklanan) ve çok faktörlü kimlik doğrulama (MFA) kullanın.
• Güvenlik açığı istismar riskini en aza indirmek için tüm cihaz/bilgisayar yazılımlarınızın ve işletim sistemlerinizin güncel olduğundan emin olun.
• Cihazınızdaki kötü amaçlı yazılım indirmelerini, kimlik avı dolandırıcılıklarını ve diğer şüpheli etkinlikleri engellemek için saygın bir satıcıdan çok katmanlı güvenlik yazılımı satın alın.

Gömülü yapay zekâ araçları, kimlik avına karşı uzun süredir devam eden savaşta yeni bir cephe açmıştır. Buna kanmayın. Her zaman sorgulayın ve verdiği cevapların tamamen doğru olduğunu varsaymayın.