Sztuczna inteligencja pozwala tworzyć fikcyjne internetowe persony na skalę, która jeszcze niedawno wymagałaby pracy dużych zespołów ludzi. Śledztwo „The Verge”, oparte m.in. na ustaleniach Anthropic i analizie badacza bezpieczeństwa Matthew „Ziguli” Gore-Kormanika, opisuje sieć aplikacji randkowych, w których tysiące person AI prowadziły rozmowy z prawdziwymi użytkownikami. Przypadek pokazuje, że weryfikacja tożsamości w Internecie staje się coraz trudniejsza – zwłaszcza gdy automatyzacja jest łączona z udziałem prawdziwych ludzi.
Problem fałszywych profili w serwisach randkowych nie jest nowy. Sztuczna inteligencja zmienia jednak skalę, w jakiej można je tworzyć, prowadzić i utrzymywać. Jak opisuje „The Verge”, Anthropic natrafiło na podejrzaną aktywność po wykryciu konta, które generowało ponad 100 tys. zapytań API dziennie. Analiza doprowadziła do sieci około 28 aplikacji randkowych, w których znaczną część rozmów prowadziły autonomiczne persony AI. Według Anthropic większość konwersacji nie wymagała udziału człowieka. W ciągu dwóch tygodni kwietnia Anthropic zidentyfikowało ponad 4,7 tys. fikcyjnych person AI, które komunikowały się z co najmniej 25 tys. osób. W tym okresie wymieniono około 2,36 mln wiadomości.
AI nie działała sama. Prawdziwi ludzie uwiarygadniali fikcyjne profile
Szczególnie interesujący był sposób połączenia automatyzacji z pracą ludzi. Użytkownik aplikacji mógł otrzymywać wiadomości generowane przez AI, ale w odpowiednim momencie w interakcji pojawiał się prawdziwy człowiek. Według ustaleń opisanych przez „The Verge” płatni wykonawcy byli wykorzystywani m.in. do przechodzenia kontroli potwierdzających obecność żywego człowieka przed kamerą czy wykonywania określonych działań w mediach społecznościowych. Nie musieli przy tym samodzielnie prowadzić całej rozmowy – mogli wybierać spośród wcześniej przygotowanych odpowiedzi. Taki model utrudnia prostą weryfikację opartą na założeniu: „jeżeli widziałem tę osobę na wideo, to profil jest prawdziwy”. Pojedynczy kontakt z realnym człowiekiem nie musi bowiem oznaczać, że cała wcześniejsza i późniejsza komunikacja pochodzi od tej samej osoby. System miał także generować polubienia, odwiedziny profilu i nagrane wcześniej materiały wideo. Według raportu Anthropic monitorowano ponadto, którzy użytkownicy zaczynali podejrzewać, że rozmawiają z botem.
Użytkownik miał płacić za rozmowę, sądząc, że kontaktuje się z człowiekiem
Opisany mechanizm różnił się od klasycznego oszustwa romantycznego, w którym przestępca przez tygodnie lub miesiące buduje relację, aby następnie poprosić ofiarę o pieniądze albo nakłonić ją do fikcyjnej inwestycji. Tutaj elementem monetyzacji była sama aplikacja. Użytkownicy kupowali wirtualne monety potrzebne do kontynuowania interakcji. Problem polegał na tym, że mogli sądzić, iż płacą za możliwość rozmowy z innymi użytkownikami, podczas gdy znaczna część komunikacji była prowadzona automatycznie przez AI. Opisy aplikacji dodatkowo mogły wzmacniać takie przekonanie. „The Verge” przytacza przykłady usług reklamujących możliwość nawiązywania kontaktów z „real people” czy osobami poszukującymi rzeczywistych relacji. Nie były one przedstawiane użytkownikowi jak typowe aplikacje z wirtualnymi towarzyszami, w których syntetyczny charakter rozmówcy jest jasno komunikowany.
Kilka modeli AI mogło obsługiwać jedną syntetyczną tożsamość
System nie opierał się wyłącznie na jednym modelu generatywnym. Według ustaleń Anthropic Claude był wykorzystywany jako warstwa konwersacyjna odpowiadająca za prowadzenie autonomicznych person. Inne modele miały odpowiadać m.in. za generowanie lub modyfikowanie elementów wizualnych oraz przygotowywanie krótkich odpowiedzi wykorzystywanych przez ludzkich operatorów. To istotna zmiana z punktu widzenia weryfikacji informacji w Internecie. Syntetyczna persona nie musi już oznaczać jednego fałszywego zdjęcia połączonego z prostym chatbotem. Może być złożona z wielu elementów: wygenerowanej lub zmodyfikowanej fotografii, automatycznej rozmowy, materiałów wideo, aktywności w mediach społecznościowych i okazjonalnych interakcji z prawdziwym człowiekiem. W efekcie pojedynczy dowód potwierdzający autentyczność jednego elementu nie potwierdza automatycznie autentyczności całej tożsamości.
Reverse image search to początek, a nie koniec weryfikacji
Śledztwo „The Verge” pokazuje również znaczenie klasycznych metod OSINT. Jednym z narzędzi wykorzystanych podczas identyfikowania aplikacji było wyszukiwanie obrazem. Pozwoliło ono powiązać logotypy przedstawione podczas wystąpienia badacza Anthropic z konkretnymi aplikacjami. Weryfikacja internetowej persony powinna jednak obejmować więcej niż sprawdzenie zdjęcia profilowego. Warto analizować historię profilu i szukać jego obecności poza jedną aplikacją. Znaczenie ma spójność wieku, miejsca zamieszkania, zainteresowań, zdjęć i innych elementów biografii. Jeżeli ta sama osoba występuje na kilku platformach, należy sprawdzić, czy poszczególne ślady tworzą logiczną historię, czy jedynie powielają ten sam zestaw informacji. Samo znalezienie fotografii w innym miejscu również nie przesądza o autentyczności. Może przecież oznaczać, że zdjęcie zostało skopiowane z profilu innej osoby.
Powiązania techniczne mogą zdradzić całą sieć
W opisanym przypadku szczególnie skuteczna okazała się analiza infrastruktury aplikacji. Badacze znajdowali między nimi powtarzające się dane deweloperów, adresy, numery telefonów, fragmenty kodu, wykorzystywane API oraz wspólną architekturę serwerową. Gore-Kormanik przeprowadził również analizę statyczną kodu aplikacji oraz analizę dynamiczną, obserwując ich komunikację i wywoływane endpointy. W ten sposób potwierdził techniczne powiązania pomiędzy kilkoma aplikacjami. Anthropic wykorzystało natomiast jeszcze inny ślad. Według relacji przedstawionej w „The Verge” charakterystyczne, niepoprawne gramatycznie sformułowanie posłużyło jako swoisty fingerprint, który pomógł powiązać aplikacje w jedną sieć. To ważna lekcja dla researchera: nie zawsze należy weryfikować wyłącznie osobę. Czasami więcej informacji dostarcza infrastruktura stojąca za profilem lub usługą. Powtarzające się domeny, dane kontaktowe, identyfikatory deweloperów, systemy płatności, fragmenty regulaminów czy charakterystyczne elementy języka mogą wskazywać na związki niewidoczne na pierwszy rzut oka.
Zachowanie profilu również pozostawia ślady
Automatyzacja może ujawniać się także w sposobie prowadzenia rozmowy. W recenzjach analizowanych aplikacji użytkownicy zwracali uwagę m.in. na bardzo szybkie odpowiedzi, które nie zawsze odpowiadały treści wcześniejszej wiadomości. Pojawiały się również doniesienia o tych samych profilach występujących w różnych aplikacjach czy ponownym wykorzystywaniu materiałów wideo. Żaden z takich sygnałów osobno nie jest dowodem na wykorzystanie AI. Szybka odpowiedź może pochodzić od człowieka, niespójność może wynikać ze zwykłego nieporozumienia, a brak zgody na rozmowę wideo nie świadczy automatycznie o fałszywej tożsamości. Znaczenie ma kombinacja niezależnych sygnałów. Im więcej niespójności pojawia się pomiędzy zdjęciami, biografią, historią konta, zachowaniem podczas rozmowy i technicznymi powiązaniami profilu, tym więcej powodów do dalszej weryfikacji.
Jak sprawdzić, czy internetowa persona naprawdę istnieje?
Przypadek opisany przez „The Verge” pokazuje, że weryfikacja tożsamości w epoce generatywnej AI wymaga odejścia od poszukiwania jednego rozstrzygającego dowodu. Pierwszym etapem może być wspomniane już wyszukiwanie obrazem i sprawdzenie, czy fotografie występują w innych miejscach oraz w jakim kontekście. Następnie warto przeanalizować historię konta, spójność informacji biograficznych i obecność danej osoby w innych niezależnych źródłach. W przypadku aplikacji lub serwisów istotne mogą być także dane dotyczące dewelopera, polityki prywatności, domen, danych kontaktowych czy innych produktów publikowanych przez ten sam podmiot. Pomocne mogą być również recenzje użytkowników, szczególnie jeśli niezależnie od siebie opisują podobne nietypowe zachowania. Kluczowe jest przy tym rozdzielenie weryfikacji treści od weryfikacji tożsamości. To, że zdjęcie przedstawia prawdziwego człowieka, nie oznacza, że właśnie ta osoba prowadzi rozmowę. Prawdziwa osoba pojawiająca się podczas wideorozmowy nie dowodzi natomiast, że wcześniejsze wiadomości napisała ona, a nie system AI.
AI zmienia skalę tworzenia fałszywych tożsamości
Najważniejszym wnioskiem nie jest samo to, że w aplikacjach randkowych mogą występować fikcyjne profile. Takie zjawisko istniało znacznie wcześniej. Zmiana polega na skali zjawiska. Według ustaleń Anthropic ponad 4,7 tys. syntetycznych person było w stanie wejść w interakcję z co najmniej 25 tys. osób i wygenerować miliony wiadomości w ciągu zaledwie dwóch tygodni. Jednocześnie analiza „The Verge” pokazuje, że granica między profilem „prawdziwym” i „fałszywym” może być coraz mniej oczywista. Jedną tożsamość mogą wspólnie tworzyć modele AI, wygenerowane materiały, infrastruktura automatyzująca aktywność oraz prawdziwi ludzie pojawiający się tylko w wybranych momentach. Dlatego pytanie „czy ta osoba istnieje?” przestaje wystarczać. W profesjonalnym researchu coraz częściej trzeba zadać również inne: czy osoba ze zdjęcia jest właścicielem profilu, kto rzeczywiście prowadzi rozmowę, kto kontroluje konto i jakie techniczne ślady łączą je z innymi elementami infrastruktury? To właśnie zestawienie wielu niezależnych źródeł i śladów staje się podstawą weryfikacji internetowej tożsamości w czasach generatywnej AI.
Źródło: www.theverge.com
