MIT-forskare utvecklar nya "foton" -chips

För några dagar sedan utvecklade MIT-forskare ett nytt "foton" -chip som använder ljus istället för el och förbrukar relativt liten kraft i processen. Chipet används för att bearbeta stora neurala nätverk med miljoner gånger mer effektivitet än befintliga datorer. Simuleringsresultaten visar att det fotoniska chipet kör 10 miljoner gånger mer effektivt än det elektroniska chipet. Neurala nätverk är maskininlärningsmodeller som används i stor utsträckning för att upptäcka robotmålet, behandling av naturliga språk, utveckling av läkemedel, medicinsk bildbehandling och körning av obemannade fordon. Nya optiska neurala nätverk som använder optiska fenomen för att accelerera beräkningarna kan fungera snabbare och effektivare än andra elektroniska motsvarigheter. Men som traditionella neurala nätverk och optiska neurala nätverk blir mer komplexa, förbrukar de mycket energi. För att lösa detta problem har forskare och stora teknikföretag inklusive Google, IBM och Tesla utvecklat "Artificial Intelligence Accelerators", ett specialiserat chip som förbättrar hastigheten och effektiviteten i träning och testning av neurala nätverk.

För elektroniska chips, inklusive de flesta artificiella intelligensacceleratorer, finns en teoretisk minsta energiförbrukningsgräns. Nyligen började MIT-forskare utveckla fotonacceleratorer för optiska neurala nätverk. Dessa chips är storleksordningar effektivare, men de är beroende av skrymmande optiska komponenter som begränsar användningen i relativt små neurala nätverk.

I ett papper som publicerades i Physical Review X beskrev MIT-forskare en ny typ av fotonaccelerator som använder mer kompakta optik och optisk signalbehandlingsteknik för att dramatiskt minska strömförbrukningen och dysområdet. Detta gör att chipet kan skala till det neurala nätverket, vilket är storleksordningar som är större än motsvarande chip.

10 miljoner gånger lägre än energibegränsningen för traditionella elektronacceleratorer

Simuleringsträningen av neuralt nätverk på MNIST bildklassificeringsdataset visar att acceleratorn teoretiskt kan bearbeta det neurala nätverket, vilket är 10 miljoner gånger lägre än energiförgränsen för den traditionella elektronacceleratorn och 1000 gånger lägre än energibegränsningen för fotonacceleratorn . Forskare arbetar nu med ett prototypchip för att testa resultaten.

"Människor letar efter en teknik som kan beräkna bortom grundgränserna för energi", säger Ryan Hamerly, en postdoktor vid Electronic Research Laboratory. "Fotonacceleratorn är lovande ... men vår motivation är att bygga en (fotonaccelerator) Utvidgad till stora neurala nätverk."

Praktiska tillämpningar av dessa tekniker inkluderar att minska energiförbrukningen i datacentret. "Efterfrågan på datacenter som driver stora neurala nätverk ökar, och efterfrågan växer blir det svårare att beräkna", säger Alexander Sludds, en medförfattare och doktorand i elektronikforskningslabbet. Nätverkshårdvara uppfyller datorbehov ... för att ta itu med flaskhalsar i energiförbrukning och latens. "

Medförfattare med slam och Hamerly: RLE-doktorand, medförfattare Liane Bernstein; MIT fysikprofessor Marin Soljacic; MIT biträdande professor i elektroteknik och datavetenskap Dirk Englund; en RLE-forskare och chef för Quantum Photonics Laboratory.

Lita på en mer kompakt, energieffektiv "fotovoltaisk" lösning

Det neurala nätverket bearbetar data genom ett antal beräkningsskikt som innehåller sammankopplade noder (kallade "neuroner") för att hitta mönster i data. Neuronen tar emot inmatning från sin uppströms "granne" och beräknar en utsignal som skickas till ytterligare nedströms neuroner. Varje ingång tilldelas också en "vikt", ett värde baserat på dess relativa betydelse för alla andra ingångar. Eftersom data sprider "djupgående" över lager, lär nätverket mer komplex information. Slutligen genererar utmatningsskiktet en förutsägelse baserad på beräkningen av hela skiktet.

Målet med alla artificiella intelligensacceleratorer är att minska den energi som krävs för att bearbeta och flytta data i ett visst linjärt algebraiskt steg i ett neuralt nätverk som kallas "matrixmultiplicering". Där kodas neuroner och vikter i separata rader och listor, vilka sedan kombineras för att beräkna utmatningen.

I en konventionell fotonaccelerator kodar den pulserande lasern information om varje neuron i ett skikt och strömmar sedan in i vågledaren och genom strålklyvaren. Den resulterande optiska signalen matas in i ett fyrkantigt optiskt elementnät som kallas ett "Mach-Zehnder-interferometer" som är programmerat för att utföra matrismultiplikation. Interferometern kodar med varje vikt av information och använder signaltryckstekniken som behandlar den optiska signalen och viktvärdena för att beräkna utsignalen från varje neuron. Men det finns ett skaleringsproblem: för varje neuron måste det finnas en vågledare, och för varje vikt måste det finnas en interferometer. Eftersom mängden vikt är proportionell mot antalet neuroner, tar dessa interferometrar upp mycket utrymme.

"Du kommer snart inse att antalet ingående neuroner aldrig kommer att överstiga 100 eller så, för att du inte kan installera så många komponenter på chipet," sade Hamerly. "Om din fotonaccelerator inte kan hantera mer än 100 lager per lager." Neuroner, det är svårt att tillämpa stora neurala nätverk på denna struktur. "

Forskarnas chips baserar sig på ett mer kompakt, energieffektivt "fotovoltaiskt" system som använder optiska signaler för att koda data, men använder "balanserad homodyne-detektion" för matrismultiplicering. Detta är en teknik för att generera en mätbar elektrisk signal efter beräkning av produkten av amplituden (våghöjden) hos två optiska signaler.

De optiska pulskodade informationsinmatnings- och utgångsnuronerna i varje neuralt nätverkskikt - som används för att träna nätverket - strömmar genom en enda kanal. Individuella pulser kodade med hela raden av viktinformation i matrismultiplikationstabellen strömmar genom separata kanaler. Neuron- och viktdata överförs till den optiska signalen hos homodyne fotodetektornätet. Fotodetektorn använder amplituden för signalen för att beräkna utgångsvärdet för varje neuron. Varje detektor matar in en elektrisk utsignal för varje neuron i en modulator som omvandlar signalen tillbaka till en ljuspuls. Ljussignalen blir ingången till nästa lager, och så vidare.

Denna design kräver endast en kanal per ingångs- och utgångsnoron, och kräver bara så många homodynefotodetektorer som neuron, utan att det behövs. Eftersom antalet neuroner alltid är mycket mindre än vikten sparar det mycket utrymme, så chipet kan utökas till ett neuralt nätverk med mer än en miljon neuroner per lager.

Hitta den bästa platsen

Med en fotonaccelerator finns det oundvikligt ljud i signalen. Ju mer ljus som injiceras i chipet, desto mindre ljud och ju högre noggrannhet - men det kan vara mycket ineffektivt. Ju mindre inmatnings ljus, desto högre effektivitet, men det kommer att ha en negativ inverkan på det neurala nätverks prestanda. Men det finns en "bästa punkt", säger Bernstein, som använder den minsta optiska kraften och bibehåller noggrannheten.

Den optimala positionen för den artificiella intelligensacceleratorn mäts av hur många joules som krävs för att utföra en enda operation för att multiplicera två tal (såsom matrismultiplicering). Idag mäts traditionella acceleratorer med picojoules eller terajoules. Fotoncceleratorn mäts vid attjojoerna och är en miljon gånger effektivare. I simuleringen fann forskarna att deras foton acceleratorer kan fungera på mindre än attojoules. "Innan du förlorar noggrannhet kan du skicka lite minimal optisk effekt. De grundläggande gränserna för våra chips är mycket lägre än traditionella acceleratorer ..... och lägre än andra fotonacceleratorer, säger Bernstein.