Kas ir Apple neironu dzinējs un kā tas darbojas?

Jūsu iPhone, iPad, Mac un Apple TV izmanto specializētu neironu apstrādes bloku Apple Neural Engine (ANE), kas ir daudz ātrāks un energoefektīvāks nekā centrālais procesors vai GPU.

ANE nodrošina uzlabotas ierīces funkcijas, piemēram, dabiskās valodas apstrādi un attēlu analīzi, nepieskaroties mākonim un neizmantojot pārmērīgu jaudu.

Izpētīsim, kā ANE darbojas un tā attīstību, tostarp secinājumus un informāciju, ko tas nodrošina Apple platformās un kā izstrādātāji to var izmantot trešo pušu lietotnēs.

Kas ir Apple neironu dzinējs (ANE)?

Apple Neural Engine ir mārketinga nosaukums augsti specializētu skaitļošanas kodolu kopai, kas optimizēta dziļo neironu tīklu energoefektīvai izpildei Apple ierīcēs. Tas paātrina mašīnmācības (ML) un mākslīgā intelekta (AI) algoritmus, piedāvājot milzīgas ātruma, atmiņas un jaudas priekšrocības salīdzinājumā ar galveno CPU vai GPU.

ANE ir liela daļa no tā, kāpēc jaunākie iPhone, iPad, Mac un Apple TV ir atsaucīgi un nesakarst smagu ML un AI aprēķinu laikā. Diemžēl ne visām Apple ierīcēm ir ANE — Apple Watch, Intel bāzētiem Mac datoriem un ierīcēm, kas vecākas par 2016. gadu, tā trūkst.

Pirmais ANE, kas debitēja Apple A11 mikroshēmā 2017. gada iPhone X, bija pietiekami jaudīgs, lai atbalstītu Face ID un Animoji. Salīdzinājumam, jaunākais ANE A15 Bionic mikroshēmā ir 26 reizes ātrāks nekā pirmā versija. Mūsdienās ANE nodrošina tādas funkcijas kā bezsaistes Siri, un izstrādātāji to var izmantot, lai palaistu iepriekš apmācītus ML modeļus, atbrīvojot CPU un GPU, lai koncentrētos uz tiem labāk piemērotiem uzdevumiem.

Kā darbojas Apple neironu dzinējs?

ANE nodrošina kontroli un aritmētisko loģiku, kas optimizēta plašu skaitļošanas operāciju, piemēram, reizināšanas un uzkrāšana, ko parasti izmanto ML un AI algoritmos, piemēram, attēlu klasifikācijā, multivides analīzē, mašīntulkošanā un vairāk.

Saskaņā ar Apple patents Ar nosaukumu "Daudzrežīmu planārais dzinējs neironu procesoram" ANE sastāv no vairākiem neironu dzinēju kodoliem un vienas vai vairākām vairāku režīmu plakanām shēmām.

Dizains ir optimizēts paralēlai skaitļošanai, kur daudzas darbības, piemēram, matricas reizināšana, kas darbojas triljonos iterāciju, ir jāveic vienlaikus.

Lai paātrinātu secinājumu izdarīšanu AI algoritmos, ANE izmanto prognozējošos modeļus. Turklāt ANE ir sava kešatmiņa, un tā atbalsta tikai dažus datu tipus, kas palīdz maksimāli palielināt veiktspēju.

AI funkcijas, ko nodrošina ANE

Tālāk ir norādītas dažas ierīces funkcijas, kuras jūs, iespējams, pazīstat, ko ANE nodrošina.

• Dabiskās valodas apstrāde: ātrāka, uzticamāka balss atpazīšana diktēšanai un Siri; Uzlabota dabisko valodu apguve lietotnē Tulkotājs un visā sistēmā; Tūlītēja teksta tulkošana pakalpojumā Photos, Camera un citās iPhone lietotnēs.
• Datorredze: objektu atrašana attēlos, piemēram, orientieri, mājdzīvnieki, augi, grāmatas un ziedi, izmantojot lietotni Fotoattēli vai Spotlight meklēšanu; Papildinformācijas iegūšana par atpazina objektus, izmantojot Visual Look Up tādās vietās kā Safari, Mail un Ziņojumi.
• Papildinātā realitāte: cilvēku oklūzija un kustību izsekošana AR lietotnēs.
• Video analīze: seju un objektu noteikšana videoklipā tādās lietotnēs kā Final Cut Pro.
• Kameras efekti: Automātiska apgriešana ar Center Stage; Fona aizmiglošana FaceTime videozvanu laikā.
• Spēles: fotoreālistiski efekti 3D videospēlēs.
• Tiešraides teksts: nodrošina optisko rakstzīmju atpazīšanu (OCR) kamerās un fotoattēlos, ļaujot no attēliem viegli kopēt rokrakstu vai tekstu, piemēram, Wi-Fi paroli vai adresi.
• Datorfotografēšana: Deep Fusion analizē pikseļus, lai nodrošinātu labāku trokšņu samazināšanu, lielāku dinamisko diapazonu un uzlabotu automātisko ekspozīciju un baltā balansu, vajadzības gadījumā izmantojot viedo HDR; Sekla lauka dziļuma fotografēšana, tostarp nakts režīma portretu uzņemšana; Fona izplūšanas līmeņa pielāgošana, izmantojot dziļuma kontroli.
• Mazlietas: ANE tiek izmantots arī fotoattēlu stiliem lietotnē Kamera, atmiņu pārvaldīšanai un stilistiskajiem efektiem programmā Fotoattēli, personalizētus ieteikumus, piemēram, fona attēlu ieteikumus, VoiceOver attēlu parakstus, attēlu dublikātu atrašanu Fotogrāfijas utt.

Dažas no iepriekš minētajām funkcijām, piemēram, attēla atpazīšana, darbojas arī bez ANE, taču darbosies daudz lēnāk un apgrūtina ierīces akumulatoru.

Īsa Apple neironu dzinēja vēsture: no iPhone X līdz M2 Mac datoriem

2017. gadā Apple izvietoja savu pirmo ANE divu specializētu kodolu veidā iPhone X A11 mikroshēmā. Saskaņā ar mūsdienu standartiem tas bija salīdzinoši lēns, tikai 600 miljardu operāciju sekundē.

Otrās paaudzes ANE parādījās A12 mikroshēmā 2018. gadā, un tajā bija četras reizes lielāks kodols. Novērtējot piecu triljonu darbību sekundē, šis ANE bija gandrīz deviņas reizes ātrāks un izmantoja vienu desmito daļu no tā priekšgājēja jaudas.

2019. gada A13 mikroshēmai bija tas pats astoņu kodolu ANE, taču tas darbojās par piektdaļu ātrāk, vienlaikus patērējot par 15% mazāk enerģijas, kas ir TSMC uzlabotā 7 nm pusvadītāju mezgla produkts. TSMC (Taiwan Semiconductor Manufacturing Company) ražo Apple izstrādātas mikroshēmas.

Apple neironu dzinēja evolūcija

Nākamajā gadā Apple A14 gandrīz dubultoja ANE veiktspēju līdz 11 triljoniem darbību sekundē, kas tika panākts, palielinot ANE kodolu skaitu no 8 līdz 16. 2021. gadā A15 Bionic guva labumu no TSMC otrās paaudzes 5 nm procesa, kas vēl vairāk palielināja ANE veiktspēju līdz 15,8 triljoniem darbību sekundē, nepievienojot vairāk kodolu.

Pirmajām ar Mac saistītajām M1, M1 Pro un M1 Max mikroshēmām bija tāds pats ANE kā A14, tādējādi pirmo reizi macOS platformā nodrošinot uzlaboto, ar aparatūru paātrināto ML un AI.

2022. gadā M1 Ultra apvienoja divas M1 Max mikroshēmas vienā iepakojumā, izmantojot Apple pielāgoto starpsavienojumu ar nosaukumu UltraFusion. Ar divreiz lielāku ANE kodolu (32) M1 Ultra dubultoja ANE veiktspēju līdz 22 triljoniem darbību sekundē.

Apple A16 2022. gadā tika izgatavots, izmantojot TSMC uzlaboto N4 mezglu, nodrošinot par aptuveni 8% ātrāku ANE veiktspēju (17 triljoni darbību sekundē), salīdzinot ar A15 ANE.

Pirmie ANE iespējotie iPad bija piektās paaudzes iPad mini (2019), trešās paaudzes iPad Air (2019) un astotās paaudzes iPad (2020). Visiem kopš tā laika izlaistajiem iPad ir ANE.

Kā izstrādātāji lietotnēs var izmantot ANE?

Daudzas trešo pušu lietotnes izmanto ANE funkcijām, kuras citādi nebūtu iespējamas. Piemēram, attēlu redaktors Pixelmator Pro nodrošina tādus rīkus kā ML Super Resolution un ML Enhance. Un djay Pro ANE atdala bītus, instrumentālos un vokālos ierakstus no ieraksta.

Tomēr trešo pušu izstrādātāji nesaņem zema līmeņa piekļuvi ANE. Tā vietā visiem ANE zvaniem ir jāveic Apple mašīnmācības programmatūras sistēma Core ML. Izmantojot Core ML, izstrādātāji var izveidot, apmācīt un palaist savus ML modeļus tieši ierīcē. Pēc tam šādu modeli izmanto, lai veiktu prognozes, pamatojoties uz jauniem ievades datiem.

"Kad modelis atrodas lietotāja ierīcē, varat izmantot Core ML, lai to pārmācītu vai precizētu ierīcē, izmantojot šī lietotāja datus," teikts Core ML pārskatā par Apple vietne.

Lai paātrinātu ML un AI algoritmus, Core ML izmanto ne tikai ANE, bet arī CPU un GPU. Tas ļauj Core ML palaist modeli pat tad, ja nav pieejams ANE. Bet ar ANE klātbūtni Core ML darbosies daudz ātrāk, un akumulators netiks izlādēts tik ātri.

Daudzas Apple funkcijas nedarbotos bez ANE

Daudzas ierīces funkcijas nebūtu iespējamas bez ātras AI un ML algoritmu apstrādes un minimālā atmiņas apjoma un enerģijas patēriņa, ko ANE nodrošina. Apple burvība ir speciāls kopprocesors neironu tīklu privātai darbināšanai ierīcē, nevis izkrauj šos uzdevumus uz serveriem mākonī.

Izmantojot ANE, gan Apple, gan izstrādātāji var ieviest dziļus neironu tīklus un izmantot paātrinātā mašīnmācība dažādiem prognozēšanas modeļiem, piemēram, mašīntulkošanai, objektu noteikšanai, attēlu klasifikācijai, utt.