Kullanıcılar sinir ağlarını manipüle etmeyi öğrendi

Kullanıcılar, sohbet robotlarında sorgulara yanıt veren siteleri aramak ve analiz etmek için kullanılan yapay zekayı manipüle etmeyi öğrendi; uzmanlar bu konuda uyardı. Manipülatörler, sinir ağlarının belirli eylemleri gerçekleştirmesi için web sitelerine özel ifadeler yerleştirir. Yapay zeka manipülasyonunun nasıl çalıştığına ve bu uygulamanın taşıdığı risklere ilişkin ayrıntılar.İzvestia’daki materyali okuyun.

Manipülasyon Mekanizmaları

Kaspersky Lab’ın makine öğrenimi teknolojileri araştırma ve geliştirme grubunun başkanı Vladislav Tushkanov, Izvestia’ya kullanıcıların, sorgulara yanıt veren siteleri aramak ve analiz etmek için sohbet robotlarında kullanılan yapay zekayı manipüle etmeyi öğrendiklerini söyledi. Tushkanov’a göre, uzmanların üzerinde çalıştığı sinir ağlarını manipüle etme mekanizmasına dolaylı anlık enjeksiyon (dolaylı tohum enjeksiyonları) adı veriliyor.

Uzman, “Bunlar, geniş bir dil modeli tarafından işlenen belgelerde yer alan görevlerin metin açıklamalarıdır ve kullanıcı veya uygulama geliştiricisi tarafından belirlenen hedeflerle çelişebilir” dedi. — Büyük dil modellerine dayanan birçok sistem, dolaylı tohum enjeksiyonlarına karşı hassastır.

Tushkanov’un açıkladığı gibi çalışma, kullanıcıların dolaylı tohum enjeksiyonlarını kullandığı çeşitli alanlar ve hedefler belirledi. Bunlar arasında şunlar vardı:

• işe alım alanı – istihdam şansını artırmak için;
• reklam alanı – potansiyel alıcıların belirli ürün veya hizmetler için daha yüksek puanlar almasını sağlamak;
• Serbest çalışan bulmak için web siteleri – sohbet robotlarının “akışının” sonuçlarını en aza indirmek için.

Buna ek olarak, uzmanın belirttiği gibi, enjeksiyonların protesto amacıyla ve fikri mülkiyeti korumak için kullanıldığı vakalar da kaydedildi. Vladislav Tushkanov, tespit edilen dolaylı enjeksiyon vakalarının çoğunda insanların aslında herhangi bir kötü niyet taşımadığını belirtmekte fayda var.

Bilgisayar korsanları için araç

Bu arada bazı uzmanlar, dolaylı tohum enjeksiyonları kullanarak sinir ağlarını manipüle etme yeteneğinin gelecekte siber suçlular tarafından hala kullanılabileceğine inanıyor. Angara Security’nin hizmet yönetimi direktörü Pavel Pokrovsky’nin açıkladığı gibi, bu özellikle modelin son derece uzmanlaşmış bazı konulara verdiği yanıtları değiştirme girişimleri olabilir.

Izvestia’nın muhatabı, “Ayrıca, siber suçluların yeterli miktarda fonu varsa modeli popüler konularda yeniden eğitmeye çalışabilirler” diyor. “Yani, modeli popüler konulara yanıt verecek şekilde yeniden eğitecek bir eğitim seti oluşturabilirler.”

Fotoğraf: IZVESTIA/Sergey Lantyukhov

Pavel Pokrovsky’nin açıkladığı gibi, bu farklı amaçlarla yapılabilir – örneğin, siyasi imalı herhangi bir yanıt vermek ve böylece modelin geliştiricisini veya kullanıcısını itibarsızlaştırmaya çalışmak. Örnek olarak uzman, bir chatbot uygulayan, ancak onu cinsiyet, politika veya ırk gibi hassas konularda iletişim kurmak için yeterince eğitmeyen geleneksel olarak popüler bir hizmetten bahsediyor.

Saldırganlar bundan faydalanabilir ve modeli, politik veya diğer imalara sahip sorulara politik olarak yanlış veya saldırgan cevaplar üretecek şekilde yeniden eğitmeye çalışabilir. Bu tür eylemler, bu modelin geliştiricileri için dava ihtimaliyle doludur. Ayrıca bu tür saldırıları ve güvenlik açıklarını düzeltmek oldukça pahalı olacaktır.

Pavel Pokrovsky, “Aslında modeli yeniden eğitmeniz, bunun için pahalı analist kaynakları harcamanız, doğru bir eğitim örneği oluşturmanız ve modeli benzer bir bağlamda sonraki saldırılardan bir şekilde korumanız gerekecek” diye vurguluyor.

Fotoğraf: IZVESTIA/Sergey Lantyukhov

R-Vision siber güvenlik tehdidi araştırma analisti Ruslan Bisengaliev, siber suçluların kimlik avı veya dezenformasyon yaymak için yapay zeka manipülasyonunu kullanabileceğini ekliyor. Şu anda, sinir ağları genellikle zamandan tasarruf etmek ve önemli kararlar vermek için kullanılmadığı için bu tür bir vaka kaydedilmemiştir, ancak bu, bunların gelecekte yokluğunu garanti etmez.

Risk faktörleri

Ruslan Bisengaliev’e göre günümüzde yapay zeka tabanlı teknolojiler hangi ürünün daha iyi olduğunu önerebiliyor ve personel seçimi durumunda adaylardan birini öne çıkarabiliyor ancak nihai karar her zaman kişiye kalıyor. Ancak sinir ağları, manipülasyon nedeniyle saldırganın özgeçmişini kaçırırsa, görüşme sırasında saldırgan kurumsal ağa erişebilecektir.

Pavel Pokrovsky, sinir ağlarının manipülasyonuyla ilişkili tehditler arasında, örneğin modelin finansal piyasaların tahminleri ve analizi için kullanılmasının yanı sıra işlemlere girme kararlarının alınması için kullanılması durumunda mali kayıpları da belirtiyor. Aynı zamanda Vladislav Tushkanov’a göre dolaylı enjeksiyon durumunda kullanıcılar sinir ağının başka birinin talimatlarını yerine getirdiğinden şüphelenmeyebilir bile.

Fotoğraf: Getty Images/Tero Vesalainen

Bu tür manipülasyonların işaretlerinden biri, modelin kasıtlı olarak yanlış bir cevap vermesi veya açık bir cevabı olan bir soruya alakasız bir cevap vermesi durumunda, modelin sözde halüsinasyonudur. Örneğin bir sinir ağı iki artı ikinin beşe eşit olduğunu iddia edebilir. Aynı zamanda ona açıklayıcı bir soru sorarsanız, ayrıntılı olarak kanıtlamaya ve cevabın neden dört değil de beş olduğunu açıklamaya başlar. Ancak Pavel Pokrovsky, bunun aynı zamanda modelin yetersiz eğitiminin bir işareti olabileceğini belirtiyor.

Hayalet Tehdit

Vladislav Tushkanov, şu anda, bir kişinin çalıştığı Yüksek Lisans tabanlı bir uygulamanın saldırganlar tarafından hedefli manipülasyona maruz kalma riskinin düşük olduğunu söylüyor. Uzmanların dolaylı tohum enjeksiyonlarının siber saldırılarda potansiyel olarak nasıl kullanılabileceğini anlamaya çalıştığı çeşitli laboratuvar deneyleri yapıldı.

Uzman, “Ancak şu anda bu siber tehditler, büyük dil modellerine dayalı mevcut çözümlerin sınırlı yetenekleri nedeniyle çoğu durumda teorik niteliktedir” diye belirtiyor.

FACCT’de siber güvenlik danışmanı olan Sergei Zolotukhin de saldırganların yapay zeka algoritmaları üzerinde hedefli etki yaratma tehlikesinin açıkça abartıldığına katılıyor. Pratikte saldırıların mümkün olan en basit araçları kullandığını açıklıyor: dolandırıcılık amaçlı arama, bir hizmet için şifre tahmin etme, hesabın ele geçirilmesi vb. Dolaylı tohum enjeksiyonları kullanarak sinir ağlarını manipüle etme seçeneği doğası gereği oldukça akademiktir; bu tür vakaların yakın gelecekte kaydedilmesi pek olası değildir.

Fotoğraf: IZVESTIA/Mikhail Tereshchenko

Sergei Zolotukhin, “Yapay zeka ile manipülasyon paniğe kapılmak için bir neden değil, siber uzayın risklerinin ciddiyetini ve dijital ortamda iyi bilinen güvenlik kurallarına uyma ihtiyacını bir kez daha bize hatırlatma şansıdır” diye vurguluyor.

Vladislav Tushkanov’a göre, bugün olağan çalışma kurallarına uymak oldukça yeterli: chatbot yanıtlarına dayanarak önemli kararlar vermeyin, hassas alanlarda onlara% 100 güvenmeyin (örneğin, hukuki ve tıbbi tavsiye açısından), ve ayrıca sağlanan bilgileri bir kez daha kontrol edin.

Kullanıcının, popüler yapay zeka hizmetleri gibi görünen sahte bir site veya uygulamayla karşılaşma olasılığı daha yüksektir. Bu nedenle uzmanlar, tüm cihazlarınıza bir güvenlik çözümü kurmanın yanı sıra resmi web sitelerini ve uygulamaları kullanmanızı tavsiye ediyor; bu, sahte bağlantılara tıklamanızı veya kötü amaçlı yazılım yüklemenizi önleyecektir, diye sonuçlandırıyor Izvestia’nın muhatabı.