Американският AI чип "черен кон" за убиване, най-големият чип в историята

Според редица съобщения от чуждестранни медии, наскоро американският стартиращ AI чип CerebrasSystems стартира най-големия чип досега, чипът наречен "TheCerebrasWaferScaleEngine"; (наричан по-долу WSE) има 1,2 трилиона транзистора.

В историята на чиповете през 1971 г. първият 4004 процесор на Intel имаше само 2300 транзистора, а най-новият усъвършенстван процесор за микро устройства има само 32 милиарда транзистора. Samsung също е изградил чип за флаш памет (eUFS чип) с 2 трилиона транзистора, но той не е подходящ за AI изчисления.

WSE, най-големият рекорден чип, е роден за AI изчисления.

Данните показват, че чипът от 42,225 квадратни мм има 400 000 ядра, които са свързани заедно с фино зърнеста, изцяло хардуерна вътрешно-мрежова комуникационна мрежа, която осигурява 100 PB обща честотна лента в секунда. Повече ядра, повече локална памет и ниска латентност, архитектура с висока честотна лента създават най-добрата архитектура за ускоряване на работата с AI. WSE е 56.7 пъти по-голям от най-големия графичен процесор и има 18GB on-chipsram.

Всъщност повечето от днешните чипове са интеграции с множество чипове, базирани на 12-инчов силиций. Но чипът от CerebrasSystems е отделен чип, в който транзисторите са свързани помежду си върху монокристална силиконова вафла. Свързаният дизайн позволява на всички транзистори да работят с висока скорост като цяло.

Изрично обяснено, този продукт е напълно компютърно обучение, повече от изчислителна мощност и честотна лента на съхранение, съжалявам, ниво на хората или нов речник - бийт бит (Petabytes, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bit), скоростта е около 3000 пъти тази на най-големия графичен процесор на NVIDIA (GPU, изчислителна мощност с плаваща запетая, обикновено използвана при изследвания, свързани с AI), а честотната лента на съхранението е 1000 пъти.

Такава мощна способност идва от неговите 1,2 трилиона транзистора на чипа. Известно е, че процесорът на 4004 на Intel е имал 2300 транзистора през 1971 г. Според закона на Мур "на всеки 18 месеца броят на транзисторите на чипа се удвоява". Към тази година трябва да има точно 1 трилион транзистори и още един транзистор, и изчислителната мощност, която може да бъде реализирана, се увеличава с една точка. Второ, неговият дизайн на архитектурата на чипове и взаимосвързаността на чипове и комуникационната схема също са много напреднали, което прави синергията между 1,2 трилиона транзистора много синхронна, забавяйки нивото на наносекунда. По време на изпълнение, този 1,2 трилиона транзистора е като A транзистор е синхронизиран.

В областта на изкуствения интелект размерът на чипа е много важен. Тъй като големите чипове обработват информация по-бързо, времето за генериране на отговори е по-кратко. Намаляване на времето за наблюдение или "време за тренировка"; позволява на изследователите да тестват повече идеи, да използват повече данни и да решават нови проблеми. Google, Facebook, OpenAI, Tencent, Baidu и много други смятат, че основното ограничение на развитието на изкуствения интелект днес е, че отнема твърде много време за обучението на модела. Следователно, намаляването на времето за обучение ще премахне голямо препятствие в напредъка на индустрията.

Разбира се, производителите на чипове обикновено не произвеждат големи чипове без причина. В една вафла обикновено някои примеси се появяват по време на производствения процес. Малко нечистота може да доведе до отказ на чипа и дори силно да разгради няколко чипа. Ако върху една вафла е произведен само един чип, вероятността той да съдържа примеси е 100% и примесите определено ще доведат до отказ на чипа. Но дизайнът на чипа на CerebrasSystems е маргинален, което гарантира, че едно или малко количество примеси няма да обезсили целия чип.

CEOFeldman на Cerebras Systems казва в изявление: „Чипът на WSE на компанията е предназначен за изкуствен интелект и съдържа основни иновации, които решават технически предизвикателства, които ограничават размера на чипа в продължение на десетилетия, като кръстосана връзка *, добив, мощност. И опаковки. Всяко архитектурно решение е да се оптимизира изпълнението на работата с изкуствен интелект. В резултат чипът WSE осигурява стотици или хиляди пъти съществуващи решения в зависимост от натоварването, с малко мощност и място. . Производителност & quot;

Тези подобрения в постиженията се постигат чрез ускоряване на всички елементи на обучението по невронни мрежи. Невронната мрежа е многостепенна компютърна верига за обратна връзка. Колкото по-бързо входът преминава през цикъла, толкова по-бързо цикълът научава или „тренира“. Начинът да получите по-бързо въвеждане през цикъла е да ускорите изчисленията и комуникацията в цикъла.

В комуникационната архитектура клъстерната комуникационна архитектура пробива честотната лента и забавянето, причинени от част от консумацията на енергия в традиционната комуникационна технология поради използването на релейния процесор на WSE. Използвайки двуизмерна структура на масив за свързване на 400 000 базирани на WSE процесори заедно, архитектурата на клъстера постига ниска латентност и висока честотна лента с обща честотна лента до 100 удара в секунда (1017 байта в секунда). , Дори да не е инсталиран допълнителен софтуер, такава структура на клъстери може да поддържа глобална обработка на информация и получената информация се обработва от съответния процесор.

За този продукт масовото производство и разсейването на топлина може да са основните предизвикателства. Въпреки това, появата на WSE, нейните собствени акценти са достатъчни.

Главният анализатор на Linley Group Линли Гвеннап каза в изявление: „„ CerebrasSystems постигна голям напредък в технологията за пакетиране на вафли и ефективността на обработката на силиконов чип далеч надхвърля въображението на никого. Постигайки този подвиг, компанията е решила редица инженерни предизвикателства, които мъчат индустрията в продължение на десетилетия, включително да даде възможност за високоскоростна комуникация между режимите на работа, да разреши дефекти в производството, да опакова толкова големи чипове, да осигури захранване с висока плътност и охлаждане системи. CerebrasSystems Съчетаването на най-добрите инженери от различни дисциплини, създаването на нови технологии и доставката на продукт само за няколко години е впечатляващо постижение. "

Главният анализатор и основател на TiriasResearch Джим Макгрегър заяви в изявление: "Досега преконфигурираният графичен процесор задоволи огромното търсене на изкуствен интелект за изчислителна мощност. Днешното решение ще има стотици от тези преконфигурирани графики. Процесорите са свързани заедно и отнемат месеци за инсталиране, използват стотици киловати мощност и значително модифицират софтуера за изкуствен интелект, дори месеци, за да постигнат функционалност. За разлика от един чип WSE Абсолютният размер на чипа дава възможност за повече изчисления, по-висока производителност памет и по-голяма честотна лента. WSA чиповете избягват хлабавите връзки, бавната памет, базирана на кеш и интеграцията чрез техники за интегриране на пакети с вафелни мащаби. Традиционните ограничения на производителността, присъщи на графичните процесорни чипове.

Основана през 2016 г., CerebrasSystems е загадъчен и нисък в индустрията от самото си създаване, като се фокусира върху предоставянето на продукти за данни за обучение в центъра за данни. Той е обявен за "най-очакваните 100 компании с чип в света"; от CBInsights. Според данните компанията завърши финансиране от серия А на стойност 25 милиона долара през 2016 г. Инвеститорът беше добре познат рисков капитал Benchmark и по-късно получи няколко кръга финансиране. Към септември 2017 г. тя получи общо 112 милиона долара финансиране, оценено на 860 милиона долара.

Предисторията на учредителния екип на компанията също е много силна. Съоснователят и изпълнителен директор Андрю Фелдман, който основава компанията за чипове SeaMicro, беше придобит от AMD през 2012 г. за 334 милиона долара. След като SeaMicro беше придобита от AMD, първоначалните съученици предимно влязоха в AMD, за да продължат работата си, така че, когато Андрю Фелдман пое ръководството, за да продължи бизнеса си, много стари колеги избраха да следват и повечето от останалите големи членове на екипа бяха предимно с основателя Андрю Фелдман.

Едно от нещата, които си струва да се спомене, е Гари Лаутербах. През 90-те години, когато Sun беше посред бял ден, Гари Лаутербах беше старши дизайнер на чипове на компанията. По-късно, в SeaMicro, той се занимава главно с дизайн на сървър с ниска мощност. Може да се каже, че компанията е натрупала голям брой ниско потребление на енергия в началото на създаването. Ветеранът на дизайна на чипове, това несъмнено е печалба за средния стартъп.

След това, през 2018 г., друга тежка категория се присъедини към Celebras Systems, а бившият вицепрезидент на CTO за архитектура и данни Dhiraj Mallick официално изпълнява длъжността вицепрезидент по инженеринг и бизнес. По време на мандата си в Intel през второто тримесечие на 2018 г. приходите се увеличават с 1 милиард долара на година. През първата половина на 2018 г. приходите от центъра за данни на компанията бяха увеличени до 10 милиарда долара. Това е признат технологичен и бизнес гений. Той е и стар колега на AndrewFeldman в SeaMicro и AMD. В момента компанията има 194 служители.

CerebrasSystems има дълъг път в бъдещето, но не е трудно да си представим, че AI носи вълна от компютърна архитектура и технология за опаковане на чипове. Можем да очакваме, че ще станем свидетели на по-интересни и дори неочаквани AI чипове.