Vědci z Chicagské univerzity vydali softwarový nástroj, který dokáže jemně upravit jakékoli digitalizované umělecké dílo tak, aby ‘otrávilo’ jakýkoli generativní AI model používající obrázek pro trénink. Bezplatný nástroj Nightshade upravuje obrázky na úrovni neviditelné pro lidi, ale s dostatečným tréninkem by mohl přesvědčit AI model, aby vyprodukoval obrázek kočky, když mu bude zadáno vytvořit obrázek psa, nebo vytvořit krávu místo požadovaného auta.
Nightshade využívá populární open-source rámec pro strojové učení Pytorch k zakřivení obrazu takovým způsobem, který drasticky mění, jak AI model vnímá obraz, aniž by jej viditelně upravil. Software je odolný vůči běžným transformacím obrazu, což zajišťuje integritu jeho ochranných opatření i v případě, že je obrázek oříznut, komprimován nebo jinak upraven. Software představuje významný krok v probíhající debatě o skrývání dat a používání děl umělců při trénování AI modelů.
Skrývání dat, technika používaná k extrakci dat z webových stránek, byla klíčová pro vývoj generátorů AI obrázků. Tyto generátory často spoléhají na umělecká díla nalezená online, což vyvolává u umělců obavy z neoprávněného používání a porušování jejich živobytí. Vývojáři Nightshade se snaží pomoci umělcům zabránit tomu, aby byla jejich díla bez souhlasu používána při trénování syntetických obrazových motorů. Úpravou obrazů nástroj zvyšuje náklady a složitost trénování na těchto uměleckých dílech, čímž motivuje vývojáře AI k vyhledání licenčních dohod s umělci.
„Zatímco lidské oči vidí stínovaný obraz, který se od originálu příliš neliší, AI model vidí v obrazu dramaticky odlišné složení," vysvětlují výzkumníci z Nightshade. „Například lidské oči mohou vidět stínovaný obraz krávy na zeleném poli téměř nezměněný, ale AI model může vidět velkou koženou kabelku ležící v trávě. Trénován na dostatečném počtu stínovaných obrázků, které zahrnují krávu, se model stává stále přesvědčenějším, že krávy mají hezké hnědé kožené držadla a hladké boční kapsy na zip, a možná i krásné logo značky."
Nightshade byl vytvořen stejnými výzkumníky, kteří loni vydali defenzivní nástroj proti AI nazvaný
. Glaze znesnadňuje využití obrazu AI modelem pro trénink, aniž by aktivně narušoval funkčnost modelu do budoucna. Tým Glaze/Nightshade zdůrazňuje, že jejich cílem není ničit AI modely, ale podporovat spravedlivé využívání děl umělců. Nástroj představuje proaktivní opatření proti rozšířené praxi skrývání dat, která byla kritizována za ignorování autorských práv a požadavků na odhlášení. Týž obavy jsou důvodem, proč společnosti jako Google, Adobe, Shutterstock a Getty Images poskytují odškodnění jakýmkoli uživatelům jejich generátorů syntetických obrazů pouze tehdy, jsou-li si jisti, že jejich motory jsou omezeny pouze na trénink na databázích vizuálů, které mají legální právo pro tento účel použít.
„Použití Nightshade odpovědným způsobem může pomoci odrazit ty, kdo trénují modely a ignorují autorská práva, seznamy pro odhlášení a směrnice do-not-scrape/robots.txt. Není závislý na laskavosti těch, kdo trénují modely, ale místo toho přiřazuje malou přirážku na každý kousek dat, které jsou skrývány a trénovány bez oprávnění,“ napsali výzkumníci. „Cílem Nightshade není rozbíjet modely, ale zvýšit náklady na trénink na nelicencovaných datech tak, aby se licencování obrazů od jejich tvůrců stalo životaschopnou alternativou.“