Izveidojiet pats savus "Neironu gleznojumus" ar DeepStyle & Ubuntu

Reklāma

Neironu tīkli var darīt daudz ko. Viņi var interpretēt attēlus, saprast mūsu balsis 6 “Google tagad” funkcijas, kas mainīs meklēšanas veidu Jūs, iespējams, jau izmantojat pakalpojumu Google tagad savā Android ierīcē, bet vai no tā jūs iegūstat visu iespējamo? Zinot par šīm mazajām funkcijām, var panākt lielu atšķirību. Lasīt vairāk , un tulkot sarunas Kā darbojas Skype Star Trek tulksSkype jaunā tulkošanas funkcija piedāvā kaut ko sapņotu kopš Star Trek - piepūles veidu, kā sazināties dažādās valodās. Lasīt vairāk . Bet vai jūs zinājāt, ka viņi var arī gleznot?

Nesenais pētījums (ar nosaukumu “Mākslinieciskā stila neirāls algoritms“) Ir uzsācis tiešsaistes diskusiju uzliesmojumu ar dažiem spilgtiem vizuāliem piemēriem. Būtībā rakstā apskatīta a apmācības tehnika dziļais neironu tīkls Microsoft vs Google - kurš vada mākslīgā intelekta sacīkstes?Mākslīgā intelekta pētnieki gūst jūtamu progresu, un cilvēki atkal sāk nopietni runāt par AI. Divi titāni, kas vada mākslīgā intelekta sacensības, ir Google un Microsoft. Lasīt vairāk

atdalīt māksliniecisko stilu no attēla struktūras un apvienot viena attēla stilu ar cita struktūru. Visa tā rezultāts ir tāds, ka jūs varat apmācīt milzīgu neironu tīklu, lai fotogrāfijas pārvērstos par “neironu” gleznas ”, kas izskatās tā, it kā tās būtu gleznojuši slaveni mākslinieki -“ digitālie viltojumi ” runā.

Šeit ir daži piemēri no raksta. Pirmais attēls ir oriģināls. Jaunākie attēli ir radītie rezultāti, miniatūrā parādot gleznu, no kuras tika atlasīts stils.

Diemžēl sākotnējie pētnieki savu kodu nav izlaiduši. Tomēr daži bezbailīgi programmētāji pēdējo dienu laikā atkārtoja savus rezultātus, un viņu kods ir pieejams, atvērtā koda avots internetā. Viss, kas jums nepieciešams, lai to darbinātu, ir linux mašīna un mazliet pacietības.

Šodien es jums pastāstīšu, kā to izdarīt, un parādīšu dažus no maniem rezultātiem. Jūs to varat uzskatīt par brīvu turpinājumu mūsu DeepDream apmācība Izveidojiet pats savus mākslīgā drudža sapņus, izmantojot Google “DeepDream”.Vai esat redzējuši trippy attēlus, kas iznāk no DeepDream? Vai vēlaties izveidot savu? Vairs nemeklē! Lasīt vairāk . Tas ir nedaudz sarežģīti, taču ikviens, kuram ir Linux mašīna, var sekot līdzi - nav nepieciešama kodēšanas pieredze.

Es pārvēru Pikaso gaismas gleznu par Pikaso stila gleznu ar #DeepStyle! pic.twitter.com/cjkEoIhVcF

- Džeimss Blaha (@jamesblaha) 2015. gada 5. septembris

Programmatūras iestatīšana

Pirmkārt, ja jūs nesteidzaties vai jums nav Linux datora, joprojām varat spēlēt ar DeepStyle, izmantojot DeepForger Twitter bot (nosūtiet tai attēlu un stilu, un tas galu galā atbildēs ar vēlamajiem rezultātiem). Ja vēlaties ātri apstrādāt vairāk attēlu (un ar lielāku kontroli pār rezultātiem), izlasiet pamācību.

Vispirms pārliecinieties, vai jums ir atjaunināta kopija Ubuntu (14.04 ir tas, ko es izmantoju). Jums vajadzētu būt vismaz dažiem papildu koncertiem ar brīvu vietu cietajā diskā. Lai iegūtu papildinformāciju, skatiet mūsu apmācību vietnē divkāršās palaišanas Ubuntu līdzās Windows Noguris no Windows 8? Kā divkāršā palaišanas sistēmā Windows un UbuntuJa atklājat, ka Windows 8 nav gluži jūsu tējas tasīte, un jums nav paveicama ceļa, lai pazeminātu līmeni, iespējams, ir laba ideja veikt divkāršu sāknēšanu ar Linux, lai būtu alternatīva ... Lasīt vairāk . Jums būs vajadzīgas arī saknes privilēģijas, tāpēc pirms turpināt.

Pamata rīki

Pa labi no nūjas, tas ir atvērtā koda projekts, tāpēc mēs to vēlēsimies Git instalēta. Git ir versiju kontroles programmatūras zelta standarts Kas ir Git un kāpēc jums vajadzētu izmantot versiju vadību, ja esat izstrādātājsBūdami tīmekļa izstrādātāji, mēs bieži strādājam vietējās attīstības vietnēs, un pēc tam vienkārši augšupielādējiet visu, kad tas ir paveikts. Tas ir labi, ja tas ir tikai jūs un izmaiņas ir mazas, ... Lasīt vairāk . Github ir mitināts gandrīz katrs atvērtā koda projekts, par kuru vērts uzzināt.

Lai lejupielādētu un instalētu Git, vienkārši atveriet termināli un ierakstiet “sudo apt-get install git”Un piekrīt uzstādītāja prasībām.

Nākamais: mēs ejam iestatiet dažus pamata instrumentus nepieciešami, lai programmatūra darbotos.

Pirmkārt, instalējiet Lua. Šī ir valoda, kurā rīks ir uzrakstīts. Tas ir diezgan vienkārši. Vienkārši ierakstiet “sudo apt-get install lua5.2”Un sekojiet instalēšanas procesam.

Otrkārt, mēs iegūsim Luarocks. Šis ir rīks, kas atvieglo citu rīku instalēšanu (vai jums nepatīk Linux?). Šim ierakstiet “sudo apt-get install luarocksUn izpildiet instalēšanas darbības.

Treškārt, mēs gatavojamies instalēt Luajit. Šis ir Lua sastādītājs tieši laikā, kas mūsu dzīvi padarīs mazliet vienkāršāku. Vienkārši ierakstiet “sudo apt-get install luajit.”

Tik tālu, labi.

Es esmu robots, kurš no jūsu fotoattēliem rada viltojumus slavenu gleznotāju stilā. Noklikšķiniet, lai iegūtu instrukcijas zemāk! pic.twitter.com/3MpThDNwRE

- dziļais viltotājs (@DeepForger) 2015. gada 5. septembris

Rāmji

Tālāk mēs instalēsimies Lāpa, zinātniskās skaitļošanas un mašīnmācīšanās sistēma, kas veido lietojumprogrammas mugurkaulu. Diemžēl šo nevar instalēt, izmantojot apt-get (standarta Ubuntu pakotņu pārvaldnieku).

Par laimi, viņiem ir vienas līnijas instalētājs, kas izmanto zināmu komandrindas maģiju. Atgriezieties terminālī un ievadiet “čokurošanās https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash“.

Kad esat pabeidzis, ierakstiet “luajit -ltorch“. Tas parādīs lāpas saskarni un pārbaudīs, vai viss ir instalēts pareizi.

Izejiet no tā.

Tagad mēs instalēsim kravas kafejnīca - neironu tīklam specifiska pakete. Instalējiet tā vienīgo atkarību, ierakstot “sudo apt-get install libprotobuf-dev protobuf-kompilators“. Tad jūs pats varat instalēt paketi, izmantojot “sudo luarocks install loadcaffe ".

@Johnicholas Tavs viltojumu sadalījums, avec stils - Rembranta van Rijna skola. #DigitalArt#StyleNetpic.twitter.com/pf0sZxWkaT

- dziļais viltotājs (@DeepForger) 2015. gada 7. septembris

Divkārša atkarību pārbaude

Visbeidzot, mēs pirms tam provizoriski atjaunināsim dažus materiālus, lai pārliecinātos, ka viss norit veiksmīgi.

Ierakstiet “sudo luarocks instalēt attēlu”, Lai pārliecinātos, ka jūsu attēlu pakete ir atjaunināta. Tālāk ievadiet “luarocks instalēt nnKas darīs to pašu jūsu “nn” pakotnei.

Deep Style instalēšana

Labi! Šajā brīdī mēs esam gatavi faktiski instalēt programmatūru. Tīrības labad mājas direktorijā izveidojiet jaunu mapi ('mkdir DeepStyle'). Pēc tam ievadiet to, izmantojot “cd Deepstyle“. Tagad ierakstiet “sudo git klons https://github.com/jcjohnson/neural-style.git".

Tālāk mums vajadzēja lejupielādēt modeli. Pagatavojiet tasi kafijas vai kaut ko citu, tas prasīs laiku. Atpakaļ uz termināli un ierakstiet “sudo sh modeļi / download_models.sh“. Tas sāks ilgu, sarežģīto lejupielādes procesu. Ja tas neizdodas atļauju kļūdu dēļ, mēģiniet piešķirt lasīšanas un rakstīšanas atļaujas attiecīgajās mapēs, izmantojot chmod.

@ 44thats44oars to pasūtīja #ProceduralArt#NeuralArt. pic.twitter.com/tbMH7gsvc8

- dziļais viltotājs (@DeepForger) 2015. gada 6. septembris

Izmantojot dziļo stilu

Labi, mums ir labi iet. Programmatūras izmantošana ir diezgan vienkārša.

Pārliecinieties, ka atrodaties DeepStyle / neironu stila direktorija terminālī. Tagad, lai strādātu, jums būs nepieciešami daži attēli. Lejupielādējiet tos no interneta (vai kāda cita), pēc tam nokopējiet tos DeepStyle / neironu stila mape izmantojot failu pārlūku.

Tagad atsevišķu attēlu apstrādei varat izmantot komandrindu. Formāts ir diezgan vienkāršs:

th neiral_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(Acīmredzot, jums VISOS KAPSĒTĀS gabalos būs jāaizstāj ar failu nosaukumiem).

Tas ļaus sākt darboties neironu tīklam. Tas darbosies apmēram stundu, ik pēc dažām minūtēm izspļaujot jaunus daļēji saplūstus attēlus, līdz tas tiks pabeigts. -gpu -1 karodziņš neļauj mēģināt piekļūt jūsu GPU.

Pēc vairāku stundu izmēģināšanas (un operētājsistēmas atkārtotas uzlikšanas vairākas reizes) man neizdevās panākt, lai Ubuntu un CUDA spēlētu jauki ar savu GPU (NVIDIA GTX 970). Ja jums ir vairāk veiksmes, jūs vēlēsities instalēt CUDA un cudann.torch (skatiet sadaļu github repo lai iegūtu vairāk informācijas). Ja nē, tas ir labi - tas joprojām darbosies, izmantojot jūsu CPU; tas būs tikai nedaudz lēnāks.

Ja jums rodas kādi jautājumi, kā visu to darboties, vienkārši jautājiet man komentāros, un es darīšu visu iespējamo, lai palīdzētu jums.

Rezultāti

Šeit ir daži attēli, ko esmu ģenerējis pēdējo pāris dienu laikā. Rezultāti ir dažādi, taču daudzi no tiem ir diezgan iespaidīgi.

Noklikšķiniet šeit, lai iegūtu pilnīgu izšķirtspēju.

Šis ir mana drauga Zaka pārgājiena ceļojums uz Jeloustonu. Stils nāk no abstraktas gleznas, kuru izveidojis Terēza Padena. Man bija interese redzēt, kā sistēma rīkojas, izmantojot attēlu ar absolūti nekādu struktūru. Rezultāti ir diezgan glīti, un jūs noteikti varat redzēt līdzības ar stila attēlu.

Noklikšķiniet šeit, lai iegūtu pilnīgu izšķirtspēju.

Tas nāk no mana mīļākā mākslinieka Čārlza Demuta pieklājības (skat. Jaunās baznīcas vīraks, un 5. attēls zeltā). Interesanti, ka Demuts ir viens no galvenajiem vizuālās mākslas iedvesmas avotiem Komandas cietoksnis 2 Komandas cietoksnis 2: Tvaika spēle, kuru jūs varat spēlēt brīviVai Team Fortress 2 ir tikai ātra spēle, lai pārbaudītu grafiku un veiktspēju, vai tā ir spēle, kuru ir vērts spēlēt atkārtoti? Lasīt vairāk , kā redzat no stila attēla.

Es to pabaroju ar Džērsisitijas attēlu, ko atradu vietnē Wikimedia. Rezultāti ir… diezgan labi. Tas neuzskatīja par Demuta stila leņķi, bet tas noteikti izvēlējās mīkstu, teksturētu izskatu un krāsu paleti.

Noklikšķiniet šeit, lai iegūtu pilnīgu izšķirtspēju.

Šis ir mēģinājums radīt sintētisku O’Keeffe, izmantojot diezgan ikdienišķu dažu ziedu attēlu, ko es atradu. Rezultāti, atklāti sakot, ir iespaidīgi. Estētiski tas ir viens no maniem iecienītākajiem rezultātiem. O’Keeffe krāsu un formu bagātība skaidri parādās. Ziedu ziedlapu slāņainās malas fonā kļūst par lapu malām. Paši ziedi izšķīst krāsās, kļūstot gandrīz abstrakti.

Būtu laba glezna, ja to darītu cilvēks. Man ir liels kārdinājums pavadīt dažas dienas, lai padarītu šīs versijas augstāku izšķirtspēju un lai tā tiktu ierāmēta.

Noklikšķiniet šeit, lai iegūtu pilnīgu izšķirtspēju.

Šeit ir mans draugs Šenons viņas Helovīna kostīmā, izmantojot Pikaso apdruku. Interesanti, ka ierīce izvēlējās viņas sejas apakšējo daļu nokrāsot baltu (līdzīgi kā Pikaso skaņdarba krāsu izkārtojums). Es neesmu pārliecināts, vai tā bija sakritība vai nē, bet rezultāti ir pārsteidzoši. Šķiet, ka arī ir pareizi identificēti Šenonas mati kreisajā pusē un no jauna uzzīmēti, izmantojot stila attēlā redzamo krāsu un līnijas modeli. Ditto par viņas cepuri.

Šis ir viens no gabaliem, kur tehnikas ierobežojumi sāk kļūt skaidri. Ja Pikaso patiesībā gleznotu Šenonu, viņš būtu izmetis viņas sejas struktūru un sagrozījis funkcijas, lai sasniegtu vēlamo efektu. Šī sistēma nesaprot šādus augsta līmeņa jēdzienus un spēj atdarināt tikai virspusējus stila aspektus, piemēram, tumšās, leņķiskās līnijas un krāsu paleti.

Noklikšķiniet šeit, lai iegūtu pilnīgu izšķirtspēju.

Diezgan vienkārši: Eifeļa torņa un Van Goga attēls citi Zvaigžņota nakts. Tas dara labu darbu, padarot mākoni van Gogh-ey stilā, neskatoties uz to, ka sākotnējā attēlā nav mākoņu. Tas arī paveic labu darbu, tulkojot ainu no dienas uz nakti.

Es nebiju pārliecināts, kāpēc tā izlēma Fifeļa torņa galu padarīt par uguns stabu. Tas izskatās forši, bet tas nav īsti attaisnojams ar ievades datiem. Tad es sapratu, ka stila attēlā ir trīspadsmit garas, vertikāli dzeltenas sloksnes, kas atspoguļojas ūdenī. Tas ir diezgan apjomīgs klasteris, ņemot vērā tik maz apmācības datu. Nabaga lieta droši vien ir iemācījusies, ka jebkurai augsta kontrasta vertikālajai malai jābūt vienai no šīm atstarošanām. Mākoņos vāji redzamas citas svešas vertikālas svītras.

Noklikšķiniet šeit, lai iegūtu pilnīgu izšķirtspēju.

Tā pati Van Goga glezna, bet šoreiz es tai uzdāvināju dažas faktiskas zvaigznes, kuras gleznot. Šajā gadījumā Ērgļa miglāja pīlāru daļa. Man patīk rezultāti - lai gan atkal var redzēt tā apsēstību ar dzeltenām svītrām. Katra statņa vertikālā daļa kļūst par spilgtu, ļodzīgi dzeltenu līniju. To skaidri satrauc arī zaļā krāsa, kas netika parādīta treniņu datos, un dara visu iespējamo, lai no tā atbrīvotos par labu zilajai un melnajai.

Tehnoloģijas

Daži no tā rezultātiem ir ārkārtīgi pārliecinoši, lai arī tehnikai ir skaidri ierobežojumi. Dažiem attēliem ir draņķīga kompozīcija, un sistēmai ir grūtības ar abstraktākiem māksliniekiem, piemēram, Pikaso - kurš slavenībā vēlējās izkropļot savu priekšmetu, izkliedējot tā īpašības. Algoritms uztver savas leņķiskās līnijas un krāsu sadursmes, bet joprojām ir attēla pikseļu vērtību pakārtotājs. Tam nav tādas izpratnes, kāda jums būtu jānovirza pārāk tālu no avota materiāla.

Par visu to mani satrauc tas, ka es nedomāju, ka šie ierobežojumi ir būtiski.

Šeit izmantotā pieeja - tīkla attēlošana un attēla izmantošana cita attēla veidošanā - principā ir sagrauta. Tas tīklam dod ļoti maz datu, ar kuriem strādāt. Šīs lietojumprogrammas modernākā versijā tiktu izmantots tīkls, kurā ir informācija par daudziem gleznas un, iespējams, pat reāli attēli, lai sniegtu tam daudz konteksta par attēlu, kuru viņš cenšas "Krāsot."

Dziļa izpratne par stilu var pastāvēt tikai plašākā kontekstā. To nevar iegūt no viena attēla. Projektējot arhitektūru, kas sistēmai nodrošina piekļuvi plašākiem datiem, varētu ļaut tai iegūt vairāk “Cilvēkam līdzīga” izpratne par tēlu un to, kā mākslinieki attēlo dažādus reālā elementus pasaule. Šāds tīkls varētu radīt abstraktākus un labākas kompozīcijas attēlus. Šādi algoritmi vairs nav forša rotaļlieta (piemēram, šī) un kļūst par veidu, kā radīt faktisku, oriģinālu mākslu.

Kas dažos veidos ir ļoti savdabīga doma.

Pašu attēlu veidošana

Ja jūs saņemat neapmierinošu rezultātu, varat nedaudz apspēlēt iespējas, lai iegūtu pārliecinošākus rezultātus. Pilns saraksts ir Github. Svarīgi ir

• -satura_svars -vērtība Cik liela nozīme ir satura rekonstrukcijas termiņam. Noklusējums ir 5e0.
• -stils_svars -vērtība: Cik lielu svaru piešķirt stila tēlam. Noklusējums ir 1e2.
• -style_scale - vērtība: Cik lielu attēlu ielāpus sistēmai vajadzētu analizēt (Lielāks kļūst abstrakts). Noklusējums ir 1.0.

Kad viss būs paveikts, lai jūs apmierinātu, lūdzu, komentāros ievietojiet savus interesantākos attēlus. Man tiešām ir interese redzēt, ko jūs, puiši, izdomājat.

Attēlu kredīti: cilvēka smadzeņu gleznotājs, izmantojot Shutterstock