Sinir ağlarındaki uyku tehditleri nelerdir ve nerede saklanıyorlar?

Siber suçlular, içindeki “uyuyan” tehditler sayesinde yapay zekaya saldırılar gerçekleştirebiliyor – uzmanlar bu konuda uyardı. Bu tür saldırılar ancak yapay zeka modelinin bilgisayar korsanlarından özel bir tetikleyici mesaj almasının ardından başlar, dolayısıyla bu tür risklerin önceden belirlenmesi zordur. İzvestia makalesinde sinir ağlarındaki etkin olmayan tehditlerin siber suçlular için nasıl tehlikeli bir araç haline gelebileceği hakkında daha fazla bilgi edinin.

Yapay zeka modellerinde gizli yer imleri

Yeni siber saldırılar hakkında söylenmiş HiddenLayer’dan araştırmacılar. Gizli yer imlerini makine öğrenimi modellerine eklemenize olanak tanıyan ShadowLogic tekniğini sundular. Kural olarak, yazılımdaki yer imleri, saldırganların verileri çalmak veya sabotaj gerçekleştirmek için sisteme erişmesine olanak tanır.

Ancak ShadowLogic tekniği durumunda durum farklıdır: yer imi, herhangi bir kod eklenmeden, sözde hesaplamalı grafik olan AI modelinin mantık düzeyinde uygulanır. Hesaplamalı grafik, bir yapay zeka modelinin nasıl çalıştığını gösteren, hem işlem sırasını hem de veri işleme sürecini tanımlayan bir diyagramdır. Grafik düzeyinde uygulanan yer imi, modele saldırılar gerçekleştirmenize ve çalışmasının sonuçlarını kontrol etmenize olanak tanır.

Böyle bir tehdidi etkinleştirmek ve bir sinir ağına saldırı gerçekleştirmek için siber suçluların yalnızca özel bir tetikleyici mesaj göndermesi gerekir. ShadowLogic tekniği tehlikelidir çünkü görüntü sınıflandırıcılardan metin işleme sistemlerine kadar her türden yapay zeka modelini etkiler. Bu tehdidi önceden tespit etmek zordur ve modelin ek eğitimi ile bile devam eder, bu da tehlikesini artırmaktan başka bir işe yaramaz.

HiddenLayer uzmanlarına göre ShadowLogic teknolojisi, siber suçlulara tıptan finansa kadar çeşitli alanlarda grafik tabanlı yapay zeka modellerini kullanarak dijital sistemlere saldırma fırsatları sunuyor.

Uygulama mekanizmaları

Solar Şirketler Grubu Siber Güvenlik Teknolojileri Merkezi Ar-Ge laboratuvarı başkanı Maxim Buzinov’un Izvestia ile yaptığı görüşmede söylediği gibi: AI modellerindeki gizli yer imleri öncelikle tehlikelidir çünkü klasik tehdit tarayıcılarıyla tespit edilmeleri neredeyse imkansızdır çünkü bu tür enjeksiyonlar bir makine öğrenimi algoritmasının parçası gibi görünmektedir.

Uzman, “Sonuç olarak, yalnızca bir ML model mimarı veya ML sürümü ve bütünlük kontrol aracı böyle bir yer işaretini tespit edebilir” diyor. — Saldırganlar, özellikle bir yer imi eklemek için jailbreak enjeksiyonlarını uygulayan modele yönelik ipuçları ve talimatlar (promt) mekanizmalarını kullanabilir.

Fotoğraf: IZVESTIA/Anna Selina

Maxim Buzinov’a göre bu tür enjeksiyonlar modeli “karıştırabilir” ve aynı zamanda hassas bilgiler elde etmek için de kullanılabilir. Yapay zeka modelinin çıktısı güvenlik açısından kontrol edilmezse saldırgan kendi özel komutunu “yerleştirebilir”. Sonuç olarak model, veri kaybına veya bozulmasına yol açabilecek kötü amaçlı kod üretecektir.

R-Vision sistem analisti Nikita Savilov, saldırganların model eğitimi aşamasında eğitim parametrelerini değiştirerek veya eğitim setine özel hazırlanmış veriler ekleyerek gizli yer imleri yerleştirebileceğini belirtiyor. Bu veriler, yer işaretini etkinleştirmek için tetikleyici görevi gören kötü amaçlı örneklerdir.

Uzman, “Örneğin, kötü niyetli bir geliştirici, daha sonra modelde istenmeyen davranışlara neden olacak görüntüleri veri setine sessizce ekleyebilir” diye açıklıyor.

Fotoğraf: IZVESTIA/Eduard Kornienko

Maxim Buzinov, yapay zeka model geliştiricilerinden oluşan bir ekipte, veri kümelerini veya açık kaynak kodunu kontrol etmeye yönelik bir süreç oluşturulduğu takdirde bu tür yer imlerinin hemen tespit edileceğini vurguluyor. Ancak böyle bir tehdidin yapay zeka modelinin müşteri veya kullanıcı tarafında uygulanması, özellikle modelin güncellenmemesi ve bakımının yapılmaması durumunda daha kolaydır.

Tetikleyiciler nelerdir?

Saldırganlar tarafından bir yapay zeka modeline yerleştirilen gizli bir yer işareti, model, kullanıcı tarafından fark edilmeyebilecek belirli bir tetikleyiciyle karşılaşana kadar devre dışı kalır. Modelin çalıştığı veri türüne bağlı olarak değişebilir. Örneğin, bir konuşma tanıma sistemindeki olası bir tetikleyici, belirli bir ifade veya tonlama olabilir; bundan sonra model, saldırgana yanlış bilgi sağlamaya veya veri aktarmaya başlayacaktır.Nikita Savilov açıklıyor.

Gazinformservice’in altyapı BT çözümleri koruma grubunun başkanı Sergei Polunin, “Aktivasyon, özel olarak oluşturulmuş bir mesaj kullanılarak da mümkündür” diye ekliyor. — Yapay zekadan belirli bir eylemi gerçekleştirmesini veya bir soruyu yanıtlamasını isteyebilirsiniz; sonuç, başka bir çalışma moduna geçiş olacaktır.

Fotoğraf: IZVESTIA/Dmitry Korotaev

T1 AI yönü (T1 Holding) başkan yardımcısı Evgeniy Grigoriev’e göre, görüntü işleme modellerinde tetikleyici belirli bir renkteki pikseller olabilir. Genel olarak, saldırganlar tetikleyiciyi ne kadar spesifik seçerse, model doğrulama sırasında güvenlik açığını tespit etmek de o kadar zor olacaktır.

Gizli yer imleri etkinleştirildikten sonra veri hırsızlığı, sabotaj ve yetkisiz erişim gibi çeşitli amaçlarla kullanılabilir. Nikita Savilov not ediyor. Ancak bunlar özellikle güvenlik, finansal sistemler, sağlık ve otonom ulaşım gibi kritik sektörlerde tehlikelidir. Örneğin, Washington Üniversitesi’nde bilgisayarla görme alanında yapılan bir araştırma, gizli yer imlerinin otonom araçlar için tehdit oluşturabileceğini ortaya çıkardı.

İzvestia’nın muhatabı, “Bilim insanları, insan gözünün zar zor fark ettiği desenlerin yol işaretlerine uygulanabileceğini ve bunun da otonom araç tanıma sisteminde arızalara neden olabileceğini gösterdi” diye açıklıyor. — Sonuç olarak araç hız sınırı tabelasını yanlışlıkla tanıyabilir veya hiç fark etmeyebilir, bu da kazalara yol açabilir.

Fotoğraf: IZVESTIA/Dmitry Korotaev

Bu örnek, gizli arka kapılara karşı etkili korumaya sahip olmadıklarında görev açısından kritik uygulamalardaki yapay zeka sistemlerinin güvenlik açığını vurgulamaktadır.

Savunma Teknikleri

Gizli yer imlerinin tehlikesi, herhangi bir makine öğrenimi modeline entegre edilebilmeleridir.diyor Evgeny Grigoriev. Günümüzde çeşitli endüstriler dijital dönüşümden geçiyor ve sinir ağı algoritmalarını aktif olarak uyguluyor; bu nedenle potansiyel olarak savunmasız alanların listesi oldukça kapsamlıdır.

İzvestia’nın muhatabı, “Örneğin, siber güvenlikte yer işaretleri güvenlik sistemlerini atlatmak ve gizli güvenlik açıkları oluşturmak için, finansta tahminleri ve raporlamayı çarpıtmak için ve sağlık hizmetlerinde teşhis ve testlerin yerini almak için kullanılabilir” diye açıklıyor.

Bu nedenle uzmanlar, yapay zeka modellerinde gizli yer imlerine karşı koruma sorununun bugün çok ciddi olduğunu söylüyor. Kaspersky Lab makine öğrenimi teknolojileri araştırma ve geliştirme grubunun başkanı Vladislav Tushkanov, bu tehditle mücadele etmek için modelin hesaplama grafiğini yüklerken kontrol etmenizi öneriyor.

Fotoğraf: IZVESTIA/Dmitry Korotaev

Uzmana göre genel olarak model düzeyinde saldırılara karşı korunmak için makine öğrenimi sistemlerinin (MLSecOps) güvenli geliştirilmesine yönelik uygulamaların takip edilmesi, modellerin yalnızca güvenilir kaynaklardan alınması, modellerin devreye alındıktan sonra izlenmesi gerekiyor. modern çözümler kullanarak ML altyapınızı koruyun.

— Otomasyonu uygulayın: MLflow ve ART gibi araçların kullanılması süreçlerin sistemleştirilmesine ve insan hatası riskinin azaltılmasına yardımcı olurMaxim Buzinov’a tavsiyede bulunuyor. – Ayrıca düzenli denetimler yapın; verileri, modelleri ve süreçleri kontrol etmek, güvenlik açıklarını zamanında tespit edip ortadan kaldırmanıza olanak tanır.

Uzmana göre, saldırılara karşı direnci artıran çekişmeli eğitim yöntemleri ve model topluluklarının kullanılması da önemli. IdM ve PAM sistemlerini kullanarak hak ve aktivite izlemenin farklılaştırılması, içeriden gelen tehditlerin ve veri sızıntılarının önlenmesine yardımcı olur.

Fotoğraf: IZVESTIA/Eduard Kornienko

Evgeny Grigoriev şu sonuca varıyor: “Tedarik zinciri denetimine dikkat etmek önemlidir: yazılım ve satıcıların yanı sıra modeli eğitmek için veri kaynaklarını kontrol etmek.” — Kritik altyapı tesisleriyle ilgili kuruluşlar da yalnızca yerli partner şirketlere güvenmelidir.