Kas ir TPU (tensora apstrādes vienība) un kādam nolūkam to izmanto?

Google TensorFlow platforma ļauj lietotājiem apmācīt AI, nodrošinot rīkus un resursus mašīnmācībai. Ilgu laiku AI inženieri ir izmantojuši tradicionālos CPU un GPU, lai apmācītu AI. Lai gan šie procesori var apstrādāt dažādus mašīnmācīšanās procesus, tie joprojām ir vispārējas nozīmes aparatūra, ko izmanto dažādiem ikdienas uzdevumiem.

Lai paātrinātu mākslīgā intelekta apmācību, Google izstrādāja lietojumprogrammām specifisku integrēto shēmu (ASIC), kas pazīstama kā Tensor Processing Unit (TPU). Bet kas ir Tensor Processing Unit un kā tās paātrina AI programmēšanu?

Kas ir tenzoru apstrādes vienības (TPU)?

Tensoru apstrādes vienības pieder Google ASIC mašīnmācībai. TPU tiek īpaši izmantoti dziļai apmācībai, lai atrisinātu sarežģītas matricas un vektora darbības. TPU ir racionalizēti, lai atrisinātu matricas un vektoru darbības īpaši lielā ātrumā, taču tie ir jāsavieno pārī ar centrālo procesoru, lai sniegtu un izpildītu instrukcijas. TPU var izmantot tikai ar Google TensorFlow vai TensorFlow Lite platforma, izmantojot mākoņdatošanu vai tās vienkāršoto versiju vietējā aparatūrā.

Pieteikumi TPU

Google ir izmantojis TPU kopš 2015. gada. Viņi arī ir apstiprinājuši šo jauno procesoru izmantošanu Google Street View teksta apstrādei, Google fotoattēliem un Google meklēšanas rezultātiem (Rank Brain), kā kā arī izveidot AI, kas pazīstama kā AlphaGo, kas ir pārspējis labākos Go spēlētājus un AlphaZero sistēmu, kas uzvarēja pret vadošajām programmām šahā, Go un Šogi.

TPU var izmantot dažādās dziļās mācīšanās lietojumprogrammās, piemēram, krāpšanas atklāšanā, datorredzēšanā, dabiskajā valodā apstrāde, pašbraucošas automašīnas, vokālais AI, lauksaimniecība, virtuālie palīgi, akciju tirdzniecība, e-komercija un dažādi sociālie pakalpojumi prognozes.

Kad lietot TPU

Tā kā TPU ir īpaši specializēta aparatūra dziļai mācīšanās nodrošināšanai, tā zaudē daudzas citas funkcijas, kuras parasti varētu sagaidīt no vispārējas nozīmes procesora, piemēram, CPU. Paturot to prātā, pastāv īpaši scenāriji, kuros TPU izmantošana dos vislabākos rezultātus AI apmācībā.

Labākais laiks TPU izmantošanai ir operācijām, kurās modeļi lielā mērā paļaujas uz matricas aprēķiniem, piemēram, ieteikumu sistēmām meklētājprogrammām. TPU sniedz lieliskus rezultātus arī modeļiem, kuros AI analizē milzīgus datu punktu apjomus, kuru pabeigšana prasīs vairākas nedēļas vai mēnešus. AI inženieri izmanto TPU gadījumos, kad nav pielāgoti TensorFlow modeļi, un viņiem ir jāsāk no nulles.

Kad neizmantot TPU

Kā minēts iepriekš, TPU optimizācija liek šāda veida procesoriem strādāt tikai ar noteiktām darba slodzes darbībām. Tāpēc ir gadījumi, kad izvēle izmantot tradicionālo CPU un GPU dos ātrākus rezultātus. Šie gadījumi ietver:

• Ātra prototipu izstrāde ar maksimālu elastību
• Modeļi, ko ierobežo pieejamie datu punkti
• Modeļi, kas ir vienkārši un ātri apmācāmi
• Modeļi ir pārāk apgrūtinoši, lai tos mainītu
• Modeļi, kas ir atkarīgi no pielāgotām TensorFlow operācijām, kas rakstītas C++ valodā

TPU versijas un specifikācijas

Kopš Google paziņoja par saviem TPU, sabiedrība ir pastāvīgi informēta par jaunākajām TPU versijām un to specifikācijām. Tālāk ir saraksts ar visām TPU versijām ar specifikācijām:

Kā redzat, TPU pulksteņa ātrumi nešķiet tik iespaidīgi, it īpaši, ja mūsdienu galddatoriem var būt 3–5 reizes ātrāks pulksteņa ātrums. Bet, ja paskatās uz tabulas apakšējām divām rindām, jūs varat redzēt, ka TPU var apstrādāt 23–90 tera darbības sekundē, izmantojot tikai 0,16–0,3 vatus. Tiek lēsts, ka TPU ir 15–30 reizes ātrāki nekā mūsdienu CPU un GPU, izmantojot neironu tīkla saskarni.

Ar katru izlaišanas versiju jaunāki TPU uzrāda ievērojamus uzlabojumus un iespējas. Šeit ir daži svarīgākie punkti katrai versijai.

• TPUv1: pirmais publiski paziņotais TPU. Izstrādāts kā 8 bitu matricas reizināšanas dzinējs un ir paredzēts tikai veselu skaitļu atrisināšanai.
• TPUv2: Tā kā inženieri atzīmēja, ka TPUv1 joslas platums ir ierobežots. Šai versijai tagad ir divreiz lielāks atmiņas joslas platums ar 16 GB RAM. Šī versija tagad var atrisināt peldošos punktus, padarot to noderīgu apmācībai un secinājumu veikšanai.
• TPUv3: 2018. gadā izdotajam TPUv3 ir divreiz vairāk procesoru, un tas ir izvietots ar četrreiz vairāk mikroshēmu nekā TPUv2. Jauninājumi ļauj šai versijai iegūt astoņas reizes labāku veiktspēju salīdzinājumā ar iepriekšējām versijām.
• TPUv4: šī ir jaunākā TPU versija, kas tika paziņota 2021. gada 18. maijā. Google izpilddirektors paziņoja, ka šai versijai būs vairāk nekā divas reizes lielāka veiktspēja nekā TPU v3.
• Edge TPU: šī TPU versija ir paredzēta mazākām darbībām, kas optimizēta, lai kopumā izmantotu mazāk enerģijas nekā citas TPU versijas. Lai gan Edge TPU izmanto tikai divus vatus, tas var atrisināt līdz pat četrām terra-operācijām sekundē. Edge TPU ir atrodams tikai mazās rokas ierīcēs, piemēram, Google viedtālrunī Pixel 4.

Kā jūs piekļūstat TPU? Kas tos var izmantot?

TPU ir patentētas apstrādes vienības, ko Google izstrādājis lietošanai ar TensorFlow platformu. Trešo pušu piekļuve šiem procesoriem ir atļauta kopš 2018. gada. Mūsdienās TPU (izņemot Edge TPU) var piekļūt, tikai izmantojot Google skaitļošanas pakalpojumi, izmantojot mākoni. Lai gan Edge TPU aparatūru var iegādāties, izmantojot Google viedtālruni Pixel 4 un tā prototipu komplektu, kas pazīstams kā Coral.

Coral ir USB paātrinātājs, kas datu un strāvas padevei izmanto USB 3.0 Type C. Tas nodrošina jūsu ierīci ar Edge TPU skaitļošanu, kas spēj nodrošināt 4 TOPS uz katriem 2 W jaudas. Šis komplekts var darboties iekārtās, kurās tiek izmantota operētājsistēma Windows 10, macOS un Debian Linux (var darboties arī ar Raspberry Pi).

Citi specializētie AI paātrinātāji

Tā kā mākslīgais intelekts pēdējo desmit gadu laikā ir bijis populārs, Big Tech pastāvīgi meklē veidus, kā padarīt mašīnmācību pēc iespējas ātrāku un efektīvāku. Lai gan Google TPU neapšaubāmi ir vispopulārākais ASIC, kas izstrādāts dziļai apmācībai, arī citi tehnoloģiju uzņēmumi, piemēram, Intel, Microsoft, Alibaba un Qualcomm, ir izstrādājuši savus AI paātrinātājus. Tie ietver Microsoft Brainwave, Intel Neural Compute Stick un Graphicore IPU (Intelligence Processing Unit).

Taču, lai gan tiek izstrādāta vairāk mākslīgā intelekta aparatūras, diemžēl lielākā daļa vēl ir pieejama tirgū, un daudzi to nekad nedarīs. Rakstot, ja patiešām vēlaties iegādāties AI paātrinātāja aparatūru, vispopulārākās iespējas ir iegādāties Coral prototipu komplektu, Intel NCS, Graphicore Bow Pod vai Asus IoT AI paātrinātāju. Ja vēlaties tikai piekļūt specializētai AI aparatūrai, varat izmantot Google mākoņdatošanas pakalpojumus vai citas alternatīvas, piemēram, Microsoft Brainwave.