Amerikanska AI-chipet "svart häst" att döda, historiens största chip

Enligt ett antal utländska medierapporter lanserade nyligen den amerikanska AI-chipstarten CerebrasSystems det största chipet någonsin, det chip som kallas TheCerebrasWaferScaleEngine & quot; (nedan kallad WSE) har 1,2 biljoner transistorer.

I chiphistorien 197 hade Intels första 4004-processor endast 2 300 transistorer, och den senaste avancerade mikroenhetsprocessorn hade bara 32 miljarder transistorer. Samsung har också byggt ett flashminne-chip (eUFS-chip) med 2 biljoner transistorer, men det är inte lämpligt för AI-datoranvändning.

WSE, det största rekordbrytande chipet, föddes för AI-datoranvändning.

Uppgifterna visar att det 42 225 kvadratmeter stora chipet har 400 000 kärnor som är anslutna till varandra genom ett finkornigt, internt nätverkande kommunikationsnätverk med all hårdvara som ger 100 PB total bandbredd per sekund. Fler kärnor, mer lokalt minne och en låg latensarkitektur med hög bandbredd skapar den bästa arkitekturen för att påskynda AI-arbete. WSE är 56,7 gånger större än den största GPU och har 18 GB on-chipsram.

Faktum är att de flesta av dagens chips är flischip-integrationer baserade på 12-tums kisel. Men chipet från CerebrasSystems är ett separat chip där transistorer är sammankopplade på en enkelkristall-kiselskiva. Den sammankopplade designen gör att alla transistorer kan arbeta med höga hastigheter som helhet.

Explicit förklarad, denna produkt är helt datorinlärning, mer än datorkraft och lagringsbandbredd, ledsen, människors nivå eller nytt ordförråd - beatbyte (Petabytes, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bit), hastigheten är cirka 3 000 gånger den av NVIDIA: s största grafikprocessor (GPU, flytande punkt datorkraft, som vanligtvis används i AI-relaterad forskning), och lagringsbandbredden är 1000 gånger.

En sådan kraftfull kapacitet kommer från sina 1,2 biljoner transistorer på chipet. Det är känt att Intels 4004-processor hade 2 300 transistorer 1971. Enligt Moore's Law, "var 18: e månad, antalet transistorer på chipet fördubblas," Vid detta år borde det finnas exakt 1 biljoner transistorer och ytterligare en transistor, och datorkraften som kan realiseras ökas med en punkt. För det andra är dess chiparkitekturdesign och chipinterconnect och kommunikationsschema också mycket avancerade, vilket gör synergin mellan 1,2 biljoner transistorer mycket synkron, vilket försenar nanosekundnivån. Vid körning är dessa 1,2 biljoner transistorer som en transistor är synkroniserad.

Inom området konstgjord intelligens är storleken på chipet mycket viktigt. Eftersom stora chips behandlar information snabbare är tiden för att generera svar kortare. Minska observationstiden, eller "träningstid", gör det möjligt för forskare att testa fler idéer, använda mer data och lösa nya problem. Google, Facebook, OpenAI, Tencent, Baidu och många andra tror att den grundläggande begränsningen i utvecklingen av konstgjord intelligens idag är att det tar för lång tid att utbilda modellen. Därför eliminerar utbildningstiden en stor flaskhals i branschens framsteg.

Naturligtvis producerar chipproducenter vanligtvis inte stora chips av en anledning. På en enda skiva uppträder vanligtvis vissa föroreningar under tillverkningsprocessen. Lite orenhet kan orsaka chipfel och till och med allvarligt bryta ner flera chips. Om bara ett chip tillverkas på en enda skiva är sannolikheten för att det innehåller föroreningar 100%, och föroreningar kommer definitivt att göra att chipet misslyckas. Men chipdesignen hos CerebrasSystems är marginell, vilket säkerställer att en eller en liten mängd föroreningar inte kommer att ogiltiga hela chipet.

Cerebras Systems CEOFeldman sade i ett uttalande, & quot; Företagets WSE-chip är designat för konstgjord intelligens och innehåller grundläggande innovationer som löser tekniska utmaningar som begränsar chipstorleken i årtionden, såsom tväranslutning *, utbyte, effekt. Och förpackningar. Varje arkitektoniskt beslut är att optimera prestanda för konstgjord intelligens. Som ett resultat tillhandahåller WSE-chipet hundratals eller tusentals gånger med befintliga lösningar beroende på arbetsbelastningen, med lite kraft och utrymme. . Prestanda & quot;

Dessa prestandaförbättringar uppnås genom att påskynda alla element i neuralt nätverksträning. Neuralnätverket är en beräkningsåterkopplingsslinga på flera nivåer. Ju snabbare ingången passerar genom slingan, desto snabbare lär sig slingan eller "tränar". Sättet att få inmatning genom loopen snabbare är att påskynda beräkningen och kommunikationen i slingan.

I kommunikationsarkitekturen bryter klusterkommunikationsarkitekturen genom bandbredd och fördröjning orsakad av en del av strömförbrukningen i den traditionella kommunikationstekniken på grund av användning av reläprocessorn på WSE. Genom att använda en tvådimensionell matrisstruktur för att ansluta 400 000 WSE-baserade processorer tillsammans, uppnår klusterarkitekturen låg latens och hög bandbredd, med en total bandbredd på upp till 100 slag per sekund (1017 byte per sekund). . Även om ingen ytterligare programvara är installerad kan en sådan klusterstruktur stödja global informationsbehandling och den mottagna informationen behandlas av motsvarande processor.

För denna produkt kan massproduktion och värmeavledning vara de viktigaste utmaningarna. Men tillkomsten av WSE, dess egna höjdpunkter räcker.

Linley Groups huvudanalytiker Linley Gwennap sa i ett uttalande: & quot; CerebrasSystems har gjort stora framsteg inom pakettekniken för skivskala, och bearbetningsprestandan på ett kiselchip överträffar långt någons fantasi. För att uppnå denna prestation har företaget löst en serie tekniska utmaningar som har plågat branschen i årtionden, inklusive möjliggörande av snabb hastighet die-to-mode-kommunikation, lösa tillverkningsfel, förpacka sådana stora chips, tillhandahålla högdensitetsströmförsörjning och kylning system. CerebrasSystems Att sammanföra toppingenjörer från olika discipliner, skapa ny teknik och leverera en produkt på bara några år är en imponerande prestation. & Quot;

TiriasResearchs huvudanalytiker och grundare Jim McGregor sa i ett uttalande: & quot; Hittills har den omkonfigurerade grafikprocessorn mött den enorma efterfrågan på konstgjord intelligens för datorkraft. Dagens lösning kommer att ha hundratals av dessa ombildade grafik. Processorerna är anslutna och tar månader att installera, använda hundratals kilowatt kraft och ändra omfattande programvara för artificiell intelligens, till och med månader för att uppnå funktionalitet. Däremot, chip med en enda chip Den absoluta storleken på chipet möjliggör mer beräkning, högre prestanda minne och större bandbredd. WSA-chips undviker lösa anslutningar, långsamt minne, cache-baserad och integration genom paketintegrationstekniker för paket. De traditionella prestandabegränsningarna som ingår i grafikcentriska processorchips.

CerebrasSystems grundades 2016 och har varit en mystisk och låg nyckel i branschen sedan starten, med fokus på att tillhandahålla dataprodukter för datacenterutbildning. Det har utsetts till & quot; världens mest efterlängtade 100 chipföretag & quot; av CBInsights. Enligt uppgifterna slutförde företaget en finansiering av serie A på 25 miljoner dollar 2016. Investeraren var en välkänd riskkapitalist Benchmark och fick senare flera finansieringsrunder. I september 2017 fick det totalt 112 miljoner dollar i finansiering, värderat till 860 miljoner dollar.

Bakgrunden till företagets grundlag är också mycket stark. Medgrundare och vd Andrew Feldman, som grundade chipföretaget SeaMicro, förvärvades av AMD 2012 för 334 miljoner dollar. Efter att SeaMicro förvärvades av AMD, gick de ursprungliga klasskamraterna mestadels in i AMD för att fortsätta sitt arbete, så när Andrew Feldman tog ledningen för att fortsätta sin verksamhet valde många gamla kollegor att följa, och de flesta av de andra stora teammedlemmarna var mestadels med grundaren Andrew Feldman.

En av de saker som är värda att nämna är Gary Lauterbach. På 1990-talet, när Sun var mitt på dagen, fungerade Gary Lauterbach som företagets ledande chipdesigner. Senare, på SeaMicro, var han huvudsakligen engagerad i lågkraftsserverdesign. Det kan sägas att företaget ackumulerade ett stort antal låg effektförbrukning i början av skapandet. Veteranen i chipdesignen, detta är utan tvekan en vinst för den genomsnittliga starten.

Sedan 2018 anslöt sig ytterligare en tungvikt till Celebras Systems och tidigare vice president för arkitektur och datacenter CTO Dhiraj Mallick tjänade officiellt som vice president för engineering and business. Under sin mandatperiod på Intel ökade intäkterna andra kvartalet 2018 med 1 miljard dollar från år till år. Under första halvåret 2018 höjdes företagets intäkter från datacentra till 10 miljarder dollar. Det är ett erkänt teknik- och affärsgeni. Han är också en gammal kollega av AndrewFeldman på SeaMicro och AMD. Företaget har nu 194 anställda.

CerebrasSystems har en lång väg att gå i framtiden, men det är inte svårt att föreställa sig att AI för med sig en våg av datorarkitektur och chipförpackningsteknik. Vi kan förvänta oss att vi kommer att se mer intressanta och till och med oväntade AI-chips.