Politika: Deepfake uvězněného bývalého premiéra Pákistánu Imrana Khana vyhlašuje vítězství ve volbách

Ve světě politiky a umělé inteligence došlo k překvapivému vývoji, když Imran Khan, bývalý premiér Pákistánu, prohlásil, že vyhrál sobotní národní volby pomocí videa vygenerovaného AI, známého jako deepfake, a syntetického hlasu. Khan, který strávil volební kampaň ve vězení a byl z účasti na volbách vyloučen, použil syntetická média k pronášení projevů během kampaně a nyní i pro vítězný projev díky technologii pro klonování hlasu od startupu ElevenLabs.

Audioverze na Spotify

Syntetický mluvčí

V sobotu sdíleném AI-vygenerovaném videu je slyšet Khanův hlas, jak prohlašuje vítězství, přestože ostatní strany také deklarovaly své vítězství. Khan byl svržen a vězněn na základě obvinění, která odmítá, a tvrdí, že jeho odstranění orkestrovala armáda, což ta popírá. Jeho klon hlasu přes AI vyzval příznivce, aby "bránili vítězství".

Během voleb úředníci zabránili Khanovým kandidátům v kampani a cenzurovali pokrytí události. Jako odpověď PTI pořádala online shromáždění a využívala platformy jako YouTube. Strana se ve finální fázi kampaně obrátila k generativní AI, používající technologii syntetického hlasu k rekreaci Khanova hlasu na základě poznámek pašovaných z vězení. Khan poskytoval textový nástin, který byl pak členy jeho strany Pakistan Tehreek-e-Insaf (PTI) rozpracován do finálního scénáře. 

Tým využil archivní vzorky Khanových minulých projevů a syntetický audio motor ElevenLabs k vytvoření modelu Khanova hlasu, který dokázal napodobit zvuk a rétorický styl bývalého premiéra. Diváci byli prostřednictvím titulků informováni, že zpráva využívá jeho digitálně rekreovaný hlas.

Deepfake

Použití syntetických médií pro politické účely se stává stále výraznějším trendem, zejména s nástroji jako ElevenLabs a dalšími službami pro klonování hlasu. Zatímco Khan a starosta New Yorku Eric Adams záměrně klonovali své hlasy, Adams použil generativní AI klon svého hlasu, mluvícího několika jazyky, v sérii automatických telefonních hovorů voličům, jiní využívají technologii pro méně čestné politické manévry.

Automatické volání voličům v New Hampshire dříve tento rok použilo ElevenLabs k vytvoření deepfake verze prezidenta Bidena v pokusu potlačit účast na primárkách státu. Vyšetřování vedlo ke zpětnému vysledování hovorů k poskytovateli telekomunikačních služeb Lingo, který je přenášel jménem společnosti Life Corporation. 

FCC vydala příkaz k zastavení této činnosti, následovaný úplným zákazem deepfake automatických volání. Technologie deepfake v politice také přiměla OpenAI, Google a další vývojáře k vypracování strategií omezujících zneužívání LLM. Většina se shodla na souboru principů bezpečnosti a odpovědnosti. 

OpenAI dokonce zakázalo nepřímo oficiálně schválené vlastní GPT demokratického prezidentského kandidáta Deana Phillipse.