Tækni

Sýndarlögreglu ætlað að uppræta myndbandsfalsanir

Gervigreind hagræðir andlitum og röddum í því sem kallast djúpfalsanir, þ.e. fölsuðum myndböndum þar sem mörkin á milli raunveruleika og uppspuna eru máð út. Tæknifyrirtæki um gjörvallan heim sameinast í baráttu gegn djúpfölsunum með því að notast við sýndarlögreglu sem þefar uppi þessi breyttu myndbönd með því að beita tækninni gegn þeim.

BIRT: 29/05/2023

„Donald Trump er fæðingarhálfviti,“ segir fyrrum forseti Bandaríkjanna, Barack Obama, í myndbandi frá árinu 2018. Sjálfur hefur Obama aldrei látið þau orð út úr sér. Röddin í myndbandinu tilheyrir bandaríska grínleikaranum Jordan Peele en andlitið og látbragðið er hvort tveggja gert með gervigreind.

 

Myndbandið var útbúið í því skyni að sýna fram á hve auðveldlega sé unnt að blekkja áhorfendur með svonefndum djúpfölsunum, þar sem lifandi myndir og hljóð eru notuð til að narra áhorfendur með röngum upplýsingum.

MYNDBAND: Sjáðu Barak Obama segja furðulega hluti

Á árinu 2018 útbjó bandaríski netfréttamiðillinn Buzzfeed, í samvinnu  við grínistann falsað myndband þar sem Obama m.a. kallaði Trump fæðingarhálfvita.

Nú á dögum eru djúpfalsanir langtum algengari en nokkru sinni fyrr og tækninni hefur fleygt svo mikið fram að ógerlegt reynist að koma auga á fölsuð myndbönd með berum augum. Tæknifyrirtæki róa nú að því öllum árum að koma upp um djúpfalsanir með því að beita eigin reikniritum.

 

Tæknifyrirtæki vilja uppræta djúpfalsanir

Djúpfalsanir byggja á gervigreind sem skapar stafræna eftirmynd af einstaklingi, t.d. Barack Obama, með því að nota ógrynni mynda, myndbanda, svo og hljóðupptökur, af viðkomandi einstaklingi.

 

Þeir sem standa á bak við djúpfalsanirnar geta síðan fengið fórnarlömbin í myndböndunum til að segja og gera nánast hvað sem er og gegna þar með hlutverki eins konar stafrænna leikbrúðustjórnenda. Í dag eru þessi kænskubrögð orðin svo þróuð að nánast ógerlegt er að greina fölsun frá sannleikanum.

 

Þess má þó geta að aðrir en stjórnmálamenn lenda í klónum á djúpfölsunarmeisturunum.

 

Árið 2019 tókst glæpamönnum að svíkja andvirði 36 milljóna íslenskra króna út úr bresku orkufyrirtæki með því að líkja fullkomlega eftir rödd forstjórans í djúpfalsaðri upptöku.

 

Ári síðar dreifðu umhverfissamtökin Extinction Rebellion djúpfölsuðu myndbandi með belgíska forsætisráðherranum, þar sem hún átti að hafa tengt loftslagsvandann við Covid-19.

Barack Obama hefur verið vinsæll meðal þeirra sem stunda djúpfalsanir. Ekki hvað síst hjá leikstjóranum og grínistanum Jordan Peele en myndband hans hefur öðlast heimsathygli. Tæknin að baki fölsuðu myndböndunum er í stöðugri þróun og fyrir vikið verður sífellt erfiðara að koma upp um svikin. Myndbandið með Barack Obama má nota sem kennslubókardæmi í hvernig greina megi djúpfölsun með því að einblína á þrjá hluta andlitsins.

Svona geturðu séð djúpfölsun

Hægt er að nota myndbandið með Barak Obama sem kennslubók í að afhjúpa djúpföslsun með því að einbeita sér að þremur mismunandi andlitseinkennum. 

 

1 – Augun ættu að blikka

Svokölluð djúpfölsunarmynd er samsett úr ótalmörgum myndum og myndböndum sem sett eru saman í tölvu þannig að úr verði trúverðug heildarmynd. Upp kunna að koma smávægileg frávik í augnhreyfingum sem virðast óeðlilegar í huga áhorfandans, t.d. kunna augun skyndilega að horfa í átt frá myndavélinni eða þá einstaklingurinn á myndbandinu blikkar aldrei augunum. Í myndbandinu sem sýnir Obama er búið að lagfæra þessa ágalla.

 

2 – Dílar eiga ekki að sjást á gagnaugum

Sökum þess að djúpfalsanir byggja iðulega á því að andlitum er skipt út, er hætt við að ójöfnur í útjaðri andlitsins geti komið upp um svindlið. Á vinstra gagnauga Obamas má sjá hárið hreyfast eilítið, nánast í rykkjum, jafnvel þótt Obama sjálfur sé kyrr.

 

3 – Munnurinn ætti að staðnæmast

Ef munnurinn er á stöðugri hreyfingu koma ágallar í myndbandi auðveldlegar í ljós, því munnhreyfingarnar geta ekki fylgt orðunum eftir algerlega og virðast fyrir vikið hafa verið samstillar. Á mörgum djúpfölsunarmyndum er að sama skapi erfitt að sýna tennur með trúverðugum hætti. Í myndbandinu með Obama er engu líkara en að tennurnar renni stundum saman við neðri vörina.

Ef nokkur af stærstu tæknifyrirtækjum heims hafa erindi sem erfiði munu djúpfalsanir brátt heyra fortíðinni til.

 

Stórfyrirtækin Google og Facebook hafa lofað andvirði hundruð milljóna íslenskra króna hverjum þeim sem upprætt getur og eytt fölsuðum myndböndum áður en þau vinna tjón.

 

Þá má einnig geta þess að starfsmönnum hollenska fyrirtækisins Deeptrace hefur tekist að útrýma fölsuðum myndböndum með einstaklega einfaldri hugmyndafræði: Þeir beita tækninni að baki djúpfölsununum gegn sjálfum fölsurunum.

 

Algóritmi í hlutverki lögreglu

Djúpfalsanir grundvallast á gervigreind sem byggir á tveimur reikniritum(algóritmum) sem tengjast í neti, því sem á ensku nefnist generative adversarial network (GAN) og þau berjast stöðugt hvort gegn öðru.

 

Annað er svokallað skapandi reiknirit. Það er matað með og sundurgreinir mikið magn gagna um einstaklinginn sem ætlunin er að líkja eftir til þess að djúpfölsunin heppnist hvað best. Reikniritið sundurgreinir andlitsdrætti, hár, skugga o.þ.h. út frá ýmsum sjónarhornum og útbýr að lokum tillögu að djúpfölsun.

 

Reiknirit númer tvö hefur svo eftirlit með verkinu og gegnir hlutverki lögreglumanns. Reikniritin koma upp um ranga staðsetningu mynddíla, hreyfingu andlitsins miðað við sjálft höfuðið og álíka. Verði eftirlitsreikniritið vart við ágalla sendir það boð þar að lútandi til skapandi reiknirits sem leiðréttir strax gallana og kemur með nýja, betrumbætta tillögu.

 

Skapandi reikniritið er með öðrum orðum prófað af eftirlitsreikniritinu og þegar eftirlitsreikniritið hættir að skynja að um fölsun sé að ræða, er djúpfölsunin tilbúin.

Hugvitssamlegt reiknirit étur sig í gegnum gögnin

Hugvitssamlegt reiknirit er fóðrað með miklu magni af myndbands-, hljóð- og myndgögnum af tilteknum einstaklingi. Því meira myndefni, sjónarhorn og upplausnir sem fyrirfinnast af þessum tiltekna einstaklingi, þeim mun hæfara verður reikniritið í lausn verkefnanna.

Hugmynd að djúpfölsun verður til

Reikniritið bræðir hljóð- og munnhreyfingar einhvers talandi andlits saman við frummyndina. Reikniritið notar síðan allt þetta gífurlega magn sjónrænna gagna til að skapa eðlilega andlitsdrætti með hári, skuggum og augum. Útkoman er svo send í prófun í eftirlitsreikniritinu.

Eftirlitsreiknirit er lögregla

Eftirlitsreikniritið metur starfið með því að fara gaumgæfilega yfir það og slíkt verk getur verið vandkvæðum bundið. Þá er m.a. gengið úr skugga um hvort viðkomandi einstaklingur blikkar með augunum, hreyfir munninn eðlilega, hvort fíngerðir dílarnir virðast eðlilegir og þar fram eftir götunum.

Ferlið er endurtekið

Reikniritinu hugvitssamlega berst endurgjöf, þar sem taldir eru upp ágallar við djúpfölsunina, m.a. dílar sem kunna að sjást í útjaðri andlitsins. Reikniritið hefst síðan handa við að slétta úr þeim hluta andlitsins og að betrumbæta hina ýmsu galla. Að lokum er ný útgáfa send í eftirlitsreikniritið. Ferlið heldur áfram allt þar til eftirlitsreikniritið gerir ekki lengur athugasemdir.

Hugvitssamlegt reiknirit étur sig í gegnum gögnin

Hugvitssamlegt reiknirit er fóðrað með miklu magni af myndbands-, hljóð- og myndgögnum af tilteknum einstaklingi. Því meira myndefni, sjónarhorn og upplausnir sem fyrirfinnast af þessum tiltekna einstaklingi, þeim mun hæfara verður reikniritið í lausn verkefnanna.

Hugmynd að djúpfölsun verður til

Reikniritið bræðir hljóð- og munnhreyfingar einhvers talandi andlits saman við frummyndina. Reikniritið notar síðan allt þetta gífurlega magn sjónrænna gagna til að skapa eðlilega andlitsdrætti með hári, skuggum og augum. Útkoman er svo send í prófun í eftirlitsreikniritinu.

Eftirlitsreiknirit er lögregla

Eftirlitsreikniritið metur starfið með því að fara gaumgæfilega yfir það og slíkt verk getur verið vandkvæðum bundið. Þá er m.a. gengið úr skugga um hvort viðkomandi einstaklingur blikkar með augunum, hreyfir munninn eðlilega, hvort fíngerðir dílarnir virðast eðlilegir og þar fram eftir götunum.

Ferlið er endurtekið

Reikniritinu hugvitssamlega berst endurgjöf, þar sem taldir eru upp ágallar við djúpfölsunina, m.a. dílar sem kunna að sjást í útjaðri andlitsins. Reikniritið hefst síðan handa við að slétta úr þeim hluta andlitsins og að betrumbæta hina ýmsu galla. Að lokum er ný útgáfa send í eftirlitsreikniritið. Ferlið heldur áfram allt þar til eftirlitsreikniritið gerir ekki lengur athugasemdir.

Smátriðin skipta öllu máli

Djúpfalsanir urðu fyrst verulega þekktar árið 2017 þegar tiltekinn notandi á vefsíðunni Reddit hóf að hlaða niður kynlífsmyndböndum. Stuttu síðar gátu notendur vefsíðunnar fundið myndbönd þar sem þekktum söngvurum á borð við Taylor Swift og Katy Perry hafði verið skeytt inn í klámmyndirnar með sviksamlegum hætti.

 

Allar götur síðan hefur þúsundum djúpfalsaðra myndbanda verið bætt á netið, allt frá klámmyndum yfir í myndbönd sem sýna stjórnmálamenn. Nú hafa vísindamenn og fyrirtæki tekið saman höndum um að reyna að koma upp um fölsuð myndbönd áður en þau fara í umferð.

 

Eitt þessara fyrirtækja er hollenska fyrirtækið Deeptrace. Fyrirtæki þessu hefur tekist að þróa reiknirit sem ætlað er að hafa eftirlit með innihaldi myndbanda.

 

Reikniritið var matað með mörg þúsund klukkustundum af raunverulegum og fölsuðum myndböndum og reikniritinu síðan ætlað að greina mismuninn.

 

Ef marka má Henry Ajder, yfirmann ógnunarupplýsinga hjá Deeptrace, þurfa þeir að kafa niður í minnstu smáatriði í því skyni að koma upp um falsanir.

 

„Mannsaugað á erfitt með að greina margar djúpfalsanir og ágallarnir leynast fyrir bragðið oft í sjálfum dílunum. Reikniritið okkar er m.a. þjálfað í að finna díla sem ekki eru á réttum stað, t.d. litla dílaköggla sem eru annað hvort of ljósir eða dökkir miðað við umhverfið,“ segir Henry Ajder.

 

Djúpfölsun er gerð með því að sameina nokkrar myndir og myndbönd og þegar það er gert er hætt við að nokkrir aukalegir dílar slæðist með. Þess vegna fer reikniritið yfir hvern einasta díl í öllum myndunum, oft mörg þúsund díla í hverju myndbandi, til að ganga úr skugga um að ekki sé neitt ósamræmi og þau rekast oft á eitthvað sem ekki á heima í myndefninu.

 

Í desember árið 2018 fann fyrirtækið Deeptrace rösklega 14.000 myndbönd á netinu sem þeir skilgreindu sem djúpfalsanir. Starfsmenn þeirra þurfa að leggja mikið á sig til að bæta stöðugt við þekkingu sína, því djúpfölsunarmyndböndin eru í stöðugri þróun:

 

„Höfuðpaurarnir verða stöðugt leiknari í að útbúa djúpfalsanir svo við þurfum endalaust að betrumbæta reikniritin til þess að þau geti borið kennsl á falsanirnar,“ segir Henry Ajder.

 

Látbragð kann að vera veiki bletturinn

Þeir hjá fyrirtækinu Deeptrace einblína á að koma auga á ágalla í gæðum djúpfalsananna: lélegri upplausn, ranglega staðsetta díla o.þ.h. en vísindakonan Shruti Agarwal við Kaliforníuháskóla hefur valið að fara aðra leið.

 

Hún veitti því athygli að Barack Obama hreyfði höfuðið eilítið upp á við, annað hvort til hægri eða vinstri, í hvert sinn sem hann sagði „hæ, öll sömul“. Þetta varð til þess að hún ákvað að kanna hvort djúpfalsanir gætu líkt eftir því hvernig einstaklingar tala og hverjar hreyfingar andlitsins eru miðað við það sem sagt er.

Árið 2019 var stofnandi Facebook, Mark Zuckerberg, sjálfur fórnarlamb stafrænna falsana, þegar djúpfölsun með hann í aðalhlutverki birtist á Facebook. Í myndbandsbútnum situr Zuckerberg og viðurkennir að hann ráði yfir framtíð og lífi milljóna.

Hún notaði fyrir vikið greiningarforrit til að skrásetja svipbrigði fimm ólíkra stjórnmálamanna og þessi vinna hefur gagnast henni við að koma upp um veika blettinn í djúpfölsunum. Djúpfalsanir bæta andlitsdráttum eins einstaklings einfaldlega ofan á andlit annars einstaklings, án þess að tillit sé tekið til svipbrigðanna.

 

Reiknirit Shruti Agarwal gat greint 94 hundraðshluta þeirra djúpfölsunarmyndbanda sem hún lét hugbúnaðinn skoða. Lausnin er fólgin í því að nota þó nokkuð margar myndir af látbragði einstaklingsins og þetta þýðir að reikniritið gefur hvað besta raun þegar um frægt fólk er að ræða sökum þess hve margar ljósmyndir eru til af því.

 

Leitin er hafin

Tæknin að baki djúpfölsunum hefur þróast svo mikið að beita þarf háþróuðum reikniritum til að koma auga á falsanirnar. Eftir því sem tækninni fleygir fram verður sífellt erfiðara að finna djúpfölsun áður en það er um seinan.

 

Fyrir vikið hafa samfélagsmiðlarnir Google, Facebook og Twitter hrint af stað verkefnum sem hafa það að markmiði að finna og eyða fölsuðum myndböndum áður en unnt er að dreifa með þeim röngum upplýsingum á netinu.

 

Facebook hefur varið milljónum dollara í að greiða háskólastofnunum sem starfa með mynd- og myndbandsgreiningar og sem stunda rannsóknir á því hvernig útrýma megi djúpfölsuðum myndböndum.

 

Starfsmenn Google hafa tekið upp viðtöl við hundruð leikara og notuðu svo upptökurnar til að útbúa alls 3.000 djúpfalsanir. Efnið settu þeir svo á netið þar sem vísindamenn og tölvufræðingar nýttu það til að þjálfa reikniritin í að koma upp um djúpfalsanir.

 

Eigi að vera unnt að greina sannleikann frá tilbúningi í framtíðinni er kominn tími til að afmá öll þessi fölsuðu myndbönd. Eða líkt og hinn „falsaði“ Barack Obama segir í djúpfölsuðu myndbandi frá árinu 2018:

 

„Þetta virðist í fljótu bragði vera einfalt en hegðun okkar í framtíðinni á þessari upplýsingaöld mun ráða úrslitum um hvort við lifum af eða endum öll á vonda staðnum.“

LESTU EINNIG

HÖFUNDUR: HENRIK VINTHER NIELSEN

BuzzFeed, Shutterstock,

Náttúran

Bakteríur örva ilminn af sumarregni

Alheimurinn

NASA uppgötvar dularfullan hlut sem er 27.000 sinnum stærri en jörðin – hreyfist á 1,6 milljón km/klst.

Maðurinn

Lyktin afhjúpar öll þín leyndarmál: Lyktin er hið nýja fingrafar

Tækni

Líkami þinn er orkuver

Jörðin

Myndast skýstrókar í Norður-Evrópu?

Lifandi Saga

Hver var fyrsti þekkti guðinn?

Lifandi Saga

Hvenær fórum við að kyssast?

Maðurinn

Hvers vegna verður maður þreyttur eftir að hafa borðað?

Lifandi Saga

Hvers vegna eru til herra- og kvenreiðhjól?

Maðurinn

Lítið en mikilvægt atriði í uppeldinu getur haft mikil áhrif seinna á lífsleiðinni

Heilsa

Sérfræðingar í sykursýki: Jafnvel lítið magn af þessari tegund matar getur aukið hættuna um 15 prósent.

Maðurinn

Þú ert tveimur sekúndum frá því að springa úr reiði

ÁSKRIFT AÐ VÍSINDI.IS

Prófaðu í 14 daga ókeypis!

  • Fullur aðgangur að vefnum okkar með rúmlega 3000 skemmtilegum og spennandi greinum um allt milli himins og jarðar á sviði vísinda og sögu.
  • Lifandi vísindi/Lifandi saga í rafrænni útgáfu á vefnum,
  • Aðeins 1.790 krónur á mánuði.
  • Engin skuldbinding – Þú getur hætt hvenær sem er.

ÁSKRIFT AÐ TÍMARITINU

Þrjú tölublöð + gjöf: Skemmtilegur sjónauki
  • Þrjú næstu tölublöð Lifandi vísinda/Lifandi sögu – sent heim til þín – eins færðu lítinn og vandaðan sjónauka að gjöf.
  • Fullur aðgangur að vefnum okkar – visindi.is – með tæplega 3000 skemmtilegum og spennandi greinum um allt milli himins og jarðar á sviði vísinda og sögu.
  • Spennandi greinar og flottar myndir sem svala forvitni þinni.
  • Þú getur hætt eftir tilboðið en ef þú heldur áfram skuldbindur þú þig aðeins þrjú tölublöð í einu og þú getur sagt upp hvenær sem sem og klárar þá tímabilið sem er hafið.
  • Venjuleg áskrift – þrjú tölublöð – kostar aðeins 7.590 kr

Sjónauki og þriggja blaða áskrift – Alls 3.800 kr.

Lifandi vísindi

Lyf

Lifandi saga

Search

Ertu áskrifandi að tímaritinu?

Áskrifendur að tímaritinu geta fengið frían aðgang að vefnum hér.

Innskráning

Ertu áskrifandi að tímaritinu?

Áskrifendur að tímaritinu geta fengið frían aðgang að vefnum hér.

Viltu lesa greinina?

Fáðu aðgang að visindi.is

Ókeypis í 2 vikur!

Eftir það kostar eingöngu 1.790 kr. á mánuði og enginn uppsagnarfrestur.

Innifalið er aðgangur að öllum greinum á vefnum ásamt rafræna útgáfu af nýjustu tölublöðunum.

  • Fullur aðgangur að visindi.is
  • Frábærar myndir og myndbönd
  • Aðgengilegt í öllum snjalltækjum
  • Fullur aðgangur að gríðarlegu magni eldri greina
  • Nýjustu tölublöðin í rafrænu formi

Núverandi áskrifendur að tímaritinu fá að sjálfsögðu ókeypis aðgang að vefnum og þurfa bara að virkja aðgang sinn hér.

Ef þú ert þegar áskrifandi að visindi.is