Cerebras no paró de desarrollar su gigantesco chip

El registro es grande, el más grande, aún continuo, se puede obtener de una oblea de silicio estándar de 300 mm de diámetro, 46,225 mm2 El chip de área será fabricado por el fabricante contratado TSMC usando un proceso de 7 nanómetros en lugar de los 16 anteriores. Gracias al ancho de banda significativamente menor, en lugar de 400,000 núcleos optimizados para el procesamiento de IA, el chip más nuevo ahora puede almacenar 850,000 unidades, un 112.5 por ciento mejora por sí sola. Cerebras adaptó los kernels a las características primitivas de las redes neuronales, más precisamente a las operaciones Tensor, mientras que también se apoyó la ejecución de operaciones aritméticas y lógicas básicas. Los núcleos también admiten el llamado procesamiento disperso, que puede filtrar operaciones innecesarias para una ejecución más rápida.

También aumentará la enorme y extremadamente rápida capacidad de almacenamiento basada en SRAM para alimentar a los ejecutivos. En la primera versión alcanzó los 18 gigabytes, que los ingenieros lograron aumentar a 40 gigabytes gracias al ancho de banda de 7 nanómetros, un 122 por ciento más que el valor anterior. Este último, es decir, la enorme memoria integrada, juega un papel clave en el grandioso chip. SRAM, que normalmente se utiliza para almacenar en caché las CPU, está a solo 1 ciclo de reloj de los núcleos, por lo que el acceso es increíblemente rápido. No hay ninguna queja sobre el ancho de banda, cuyo valor máximo, según los fabricantes, puede alcanzar los 20 PB / s. Todo esto es sumamente importante, porque en el caso de las tarjetas aceleradoras clásicas, los núcleos siempre funcionan en alguna memoria externa, lo que aumenta significativamente el retraso, y en el caso de los sistemas multitarjeta, la complejidad también salta.

El chip es único en varios sentidos. No más de 858 mm por método de fabricación convencional2Se puede producir un chip debido a la limitación de las máquinas de escaneo. Cerebras ha cruzado la línea estándar de la industria con un enfoque distintivo. Los ingenieros calcularon el silicio más grande que se podía extraer de la oblea de 300 mm de diámetro con lados de igual longitud, en la que se instalaron un total de 84 circuitos individuales, de 550 mm cada uno.2-I. La razón principal del giro es que, a diferencia del procedimiento estándar, los chips individuales terminan en la oblea, que se conectan entre sí en los bordes del límite con la ayuda de una tela de bajo retardo con un ancho de banda alto, ahora 220 Pb. / s. Un chip enorme y cohesivo conectado a una topología de red (malla 2D) es, según Cerebras, una solución al problema del escalado, lo que significa que es significativamente más eficiente que los sistemas ampliamente utilizados actualmente compuestos por varias tarjetas (o chips) aceleradores separados.

wse2_spec

En el caso de un desarrollo inusual, es un desafío serio debido al gran tamaño (y peso) y la disipación extremadamente alta de alrededor de 20 kilovatios, así como a la construcción de un paquete que pueda soportarlo. Debido a los índices de expansión térmica significativamente diferentes, se colocó un puente (conector) especial entre el chip de transistor de 2.6 billones y el gabinete, mientras que la fuente de alimentación tuvo que resolverse de una manera única y no se pudo considerar que se disipara nada más que el enfriamiento por agua. la disipación.

Cerebras afirma que su desarrollo único puede incluso reemplazar un bastidor completo de sistemas GPU, lo que significa un menor consumo de energía con significativamente menos requisitos de espacio y, por último, pero no menos importante, un mayor rendimiento. El desarrollo de WSE-2, según los fabricantes, podría lanzarse en algún momento del tercer trimestre con el servidor CS-2. Esto significa un servidor de 15U con una pieza de chip WSE-2 junto con las fuentes de alimentación redundantes necesarias para el suministro y también la refrigeración por agua redundante. Cerebras aún no ha hablado del precio esperado del CS-2, pero es probable que el gran total ascienda a varios (5+) millones de dólares.


Source: HWSW Informatikai Hírmagazin by www.hwsw.hu.

*The article has been translated based on the content of HWSW Informatikai Hírmagazin by www.hwsw.hu. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!