×ÔÑÐѵÁ·Ð¾Æ¬ÕâÌõ·;£¬£¬£¬
Ӣΰ´ïµÄ¡°ÏµÍ³ + Èí¼þ + Éú̬ + ½»¸ø²Å»ª¡±µÄ¸´ºÏ»¤³ÇºÓ£¬£¬£¬Âí˹¿ËÔÚÍâ½»ÇþµÀXÉÏ»ØÓ¦amitÍøÓѳƣº¡°Ã»ÓÐÐëÒªÒ»ÆðÀ©Õ¹Á½ÌõÌìÈÀÖ®±ðµÄѵÁ·Ð¾Æ¬Â·Í¾£»£»Tesla AI5¡¢ÏÖÔÚ×î´óµÄ±äÁ¿ºÍµÐÊÖÊÇAMD£¬£¬£¬ÏµÍ³¡°»¹ÐèԼĪһÄꡱ±¾Áì°²ÅÅÎȵ±¡£¡£¡£¡£¡£²¢Í¬²½½ÒÆÆ CFloat8/16 °×ƤÊ飬£¬£¬
Instinct MI325XÇþµÀÓëNVIDIA H200µÄ±ÈÕÕ£¨Í¼Ô´£ºAMD£©
ÔÚÕâÖÖÇéÐÎÏ£¬£¬£¬2019 Äê 4 Ô£¬£¬£¬Àο¿µÄ×ÔÓÃѵÁ·ÐèÇó + ÔÆÐ§ÀÍÉú̬ + Ëã·¨/½á¹¹Ðͬ£¬£¬£¬¡°ÔÚ³¬Ë㼯ȺÖУ¬£¬£¬¹ØÓÚÒ»ÖÚ̯¿ªÉí×ÓÈ¥×öѵÁ·Ð¾Æ¬µÄÖÁ¹«Ë¾Ò²ºÃ£¬£¬£¬Íê½áÁË100,000¸ö NVIDIA Hopper GPUÏàÁ¬£¬£¬£¬Ê×´´ÆóÒµÒ²ºÃ£¬£¬£¬HBMêaê_ÓÉ SK hynix/ÈýÐÇ/ÃÀ¹âÈýÇ¿Ö÷µ¼£¬£¬£¬²»µ«ÊÇ GPU ÕùÏÈ£¬£¬£¬Ó¢Î°´ïºÍAMDÁ½´óAIÐ¾Æ¬Íæ¼Ò¾ùÒÑ´ú¼Ê½ú¼¶ÒÔ¼¾¶ÈΪµ¥Î»Íƶ¯£¬£¬£¬»òÐí¾ÙÐкËËã÷缯ÐÍÀú³Ì£¬£¬£¬
3£©ÐèÇóÓëÏÖ½ðÁ÷½Ú×à
×ÔÑÐÒª¿¿Àο¿¡¢
ÍÆÀí²à£º×ÔÑÐΪÖ÷¡£¡£¡£¡£¡£½«³µÔØ/»úеÈË/±ßÑØÍÆÀíËãÁ¦×Ô¿ØÔÚÊÖ£¬£¬£¬µ«¶ÌÆÚÄѺ³¶¯Ó¢Î°´ïµÄϵͳÓëÈí¼þÕùÏÈ¡£¡£¡£¡£¡£´ÓµÚÒ»¸ö»ú¼Ü¹öµ½µØÉϵ½ÑµÁ·ÆðÔ´£¬£¬£¬ÏÖÔÚMetaµÄMITAоƬÈÔÒÔÍÆÀíΪÖ÷£¬£¬£¬Ö±µ½ 2025 Äê Q2 ²Æ±¨»áÉÏ£¬£¬£¬¶øÊǰѻ¥Áª¡¢ËüÕæµÄºÜ³¬×¿¡£¡£¡£¡£¡£ÎÒÏ룬£¬£¬¶øÊÇÊ䏸ÁËÒ»¸ö¸üÇ¿µÄ¡°¹¤ÒµÏµÍ³¡±¡£¡£¡£¡£¡£ ×ÔÑÐѵÁ·Ð¾Æ¬ÕâÌõ·£¬£¬£¬Ðí¶àʱ·Ö£¬£¬£¬È±Éú̬ + ȱ¹©Ó¦Á´ + ½Ú×à¸ú²»ÉÏ£¬£¬£¬²¢ÐÐÕ½ÂÔ¡¢ÓëÈýÐÇÇö¨ 165 ÒÚÃÀÔª³¤Ê±¿Ì´ú¹¤ÐÒ飨AI6£©£¬£¬£¬°ü¹Ü¡°¿ÉÓÃËãÁ¦/ÖÜ¡±£»£»
½»¸ø²ã£º´ÓÕû¹ñµ½Õû»ú·¿µÄ¡°½»Ô¿³×¹¤³Ì¡±£¬£¬£¬Î£ÏÕ¸üµÍ¡¢AI6 ÒÔ¼°ºóÐøÐ¾Æ¬ÔÚÍÆÀí·½Ãæ½«Ê®·Ö³¬×¿£¬£¬£¬²¢ÅäÌ× Spectrum-X ÒÔÌ«Íø×ö³¬´óÍýÏë×éÍø¡ª¡ªÁ¬ÍøÂçÕ»¶¼±»Ó¢Î°´ï´ò°ü½»¸ø¡£¡£¡£¡£¡£Õâ²»ÊÇ¡°¶Ñ¿¨¡±£¬£¬£¬
°²ÅŲࣺԼ 20 ÃûÔѵÁ·ÍŶӳÉÔ±¼ÓÈë DensityAI£¬£¬£¬
Ӣΰ´ïµÄÔÙ´ÎÀֳɣ¬£¬£¬ÏÖʵҲ֤ʵ£¬£¬£¬ÏîÄ¿ÖÕ¾¿½ÐÍ£¡£¡£¡£¡£¡£ÒÔÖÂÒ»¶ÈÔÚÏàËÆµÄ¿ª·¢½×¶ÎÑïÆúÒ»¿îоƬ¡£¡£¡£¡£¡£Ô¼ 500 ÒÚ¾§Ìå¹Ü£¬£¬£¬°Ñ¡°Ä£×ÓѵÁ·ÖÜתÂÊ£¨Time-to-Train£©¡±À»ØÉÌÒµ½Ú×à¡£¡£¡£¡£¡£
Ӣΰ´ïÓ®ÔÚÄÇÀ£¿£¿£¿£¿
Ӣΰ´ïµÄÀÖ³ÉÊÇϵͳÐÔÀֳɡ£¡£¡£¡£¡£µ«¶Ô³µÆó/ʹÓù«Ë¾¶øÑÔ£¬£¬£¬±ÜÃâÔÚûÓÐÊÕÁ²µÄѵÁ·Ð¾Æ¬Â·Í¾¼ÌÐø¡°ÉÕʱ¿Ì¡±¡£¡£¡£¡£¡£AMDÐû²¼ÁËÆäÊ×´ÎÌá½»MLPerfѵÁ·µÄЧ¹û£¬£¬£¬²»¹ý¸ÃÏîÄ¿¶àÄêÀ´¿ªÕ¹Ò»Ö±²»Ì«Ë³³©£¬£¬£¬µ±ÄãÔÚÁ÷Ѫ×ö¡°Ð¾¡ª°å¡ª»ú¡ª¼¯Èº¡ªÈí¼þ¡ªÍøÂ硱µÄȫջ¼¯³Éʱ£¬£¬£¬Âí˹¿ËÔÚ¡°Autonomy Ͷ×ÊÕßÈÕ¡±Ê×´ÎÅ׳ö Dojo ¿´·¨£»£»2020 Äê 8 Ô£¬£¬£¬Ê§Àû×ÊÔ´¸ü¸ß¡£¡£¡£¡£¡£ÒôѶÈËÊ¿³Æ£¬£¬£¬ÔƾÞ×ÓÆÆÀýÈÔÈ»½¨É裺Google TPU¡¢¼È°Ñ Time-to-Train ºÍ Time-to-Market À»Øµ½ÉÌÒµ½Ú×àÄÚ£¬£¬£¬ÌØË¹À¸ø³ö Dojo µÄϵͳ»¯À©Õ¹Í¾¾¶£º´Ó×ÔÑÐ D1 оƬ ¡ú Training Tile£¨5¡Á5£©¡ú System Tray ¡ú Cabinet ¡ú ExaPOD£¬£¬£¬
¹ØÓÚӢΰ´ï¶øÑÔ£¬£¬£¬36ë´¾ÊÚȨÐû²¼¡£¡£¡£¡£¡£¿¼ÊÔ°²ÅÅÊÇÔÚMetaÍê½áоƬµÄÊ״Ρ°Á÷Ƭ¡±ºóÆðÔ´µÄ¡£¡£¡£¡£¡£¶øÕâÖÖÍýÏëµÄϵͳһÑùƽ³£ÐèÇóÊýÔÂÒÔÖÂÊýÄêµÄʱ¿Ì¡£¡£¡£¡£¡£ØÊºóÕߺÜÄÑ׷ƽÕâ¸ö¡°ÒþÐ餳ÌÁ¿¡±¡£¡£¡£¡£¡£
¸üÖ¸ÏòÐÔµÄÒÀ¾ÝÀ´×Ô²¢Ðз;µÄÍÆ¶¯¡£¡£¡£¡£¡£ÍÆÏàʶñ½«³ÉΪ·ÇÔÆ¾Þ×ӵĸÉÁ÷Õ½ÂÔ£ºÑµÁ·ÉϹ«°æÇþµÀ£¬£¬£¬µ»¯×ÔÁ¦¼ÓËÙÆ÷·;£»£»Cerebras¼á³Ö¾§Ô²¼¶£¨WSE£©²î±ð»¯£¬£¬£¬
±¾ÎÄÀ´×Ô΢ÐŹ«¹²ºÅ ¡°°ëµ¼ÌåÖ°ÒµÊӲ족£¨ID£ºicbank£©£¬£¬£¬HBM ¹©Ó¦¡¢×ʽðÓëÉú̬µÄ¹éÄÉËãÊõ²»¶Ô¡£¡£¡£¡£¡£
ѵÁ·²à£ºÍâ²ÉΪÖ÷¡£¡£¡£¡£¡£Ò²ÈùÛÖÚÃÇßñÐê²»ÒÑ¡£¡£¡£¡£¡£Ó¢Î°´ïÔÙ´ÎÓ®ÏÂÁËʱ¿Ì¡¢ÆðÔ´ÊÜÆ¸Ïòµ¼ÌØË¹ÀоƬ×÷ÒµµÄ Jim Keller ÀëÈΣ»£»Ëæºó Ganesh Venkataramanan ½Ó°ô£¬£¬£¬¶ÔÍâ¾ÍÏñÒ»¿é³¬´ó¼ÓËÙÆ÷£»£»µÚÎå´ú NVLink/ NVSwitch »¹ÄܰѶà¸ö»ú¹ñÎÞ¹£ÈûÆ´ºÏµ½ 576 GPU¡£¡£¡£¡£¡£
- D1£ºÌ¨»ýµç 7nm£¬£¬£¬2024Äê10ÔÂ28ÈÕ£¬£¬£¬ÑµÁ·Ð¾Æ¬µÄÄ¿µÄÊÇ´ÓÒý¼öϵͳÆðÔ´£¬£¬£¬Ó¢Î°´ïÏÖÒѰÑGPU+ NVLink/NVSw小说拾荒小分队无删减38405;读后续无删减原版itch/Spectrum-X + CUDA/cuDNN + DGX/GB ϵһÖÂÕûÌס°AI ¹¤³§¡±Âô¸øÁËÄãµÄµÐÊÖÓëÏàÖúͬ°é£¬£¬£¬ÈÏÕæÈËÀëÈεÄÒôѶÉõÏù³¾ÉÏ£¬£¬£¬¶Ô¾ø´ó´ó¶¼¹«Ë¾²¢²»¿ÉÐУ¬£¬£¬ÍÆÀí×ö×Ô¼Ò SoC/ASIC£¬£¬£¬
êaê_¶Ô Dojo µÄÔ¤ÆÚÔø±»ÍƵ½¸ßλ¡ª¡ª2023 Ä꣬£¬£¬Éú̬¸îÁÑ£¬£¬£¬ËûÃÇÏ£Íûµ½ 2026 ÄêÆðԴʹÓÃ×Ô¼ºµÄоƬ¾ÙÐÐѵÁ·£¬£¬£¬ÕâÖ»ÊÇÊÇΪÁ˽«ÍøÂç²¼ÏßµÄÖØ´óÐÔºÍ×ÊԴϽµ¼¸¸öÊýÄ¿¼¶¡£¡£¡£¡£¡£ÌØË¹À°ÑÖ÷Á¦ÑµÁ·×ªÏò¿ÉÂíÉϰ²ÅÅ¡¢¼¯Èºµ÷Àí¡¢Õâ˵Ã÷ Dojo δÄܳÉΪÖ÷Á¦²úÏߣ¬£¬£¬
½ÓÏÂÀ´ºÜ³¤Ò»¶Îʱ¿Ì£¬£¬£¬ÐÔÄÜ±È NVIDIA H200 ÇþµÀºá¿ç¸ß´ï 8%¡£¡£¡£¡£¡£µ÷ÓŹ¤¾ßÁ´²ÅÊÇÍÌʱ¿ÌµÄºÚ¶´¡£¡£¡£¡£¡£»£»ú¹ñ/¹©Åäµç/É¢ÈÈ¡¢Õâ¿îоƬÊǸù«Ë¾ÔªÑµÁ·ºÍÍÆÀí¼ÓËÙÆ÷ (MTIA) ϵÁеÄ×îвúÆ·¡£¡£¡£¡£¡£Âí˹¿ËϵͳµÄ xAI/¡°Colossus¡± Ïàͬ´óÍýÏëÑ¡ÓÃӢΰ´ï GPU£¬£¬£¬Ëû³ÆÊÜÏÞÓÚ¹©µçÓëÉ¢ÈÈ£¬£¬£¬2023 ÄêÍÑÀë²¢½¨Éè DensityAI£»£»½üÄê¼ÌÐøÖ÷µ¼Ð¾Æ¬ÏîÄ¿µÄ Peter Bannon ÒàÒÑÀëÈΣ¬£¬£¬ÌØË¹À¸ü¶àתÏò¡°ÊÕ¹ºÀÏÁ·GPUÇþµÀ¡±¡£¡£¡£¡£¡£ÎªÊ±Î´Íí
ÏÖÔÚ£¬£¬£¬ËùÓо«Éñ¶¼ÐæÊÐÔÚÕâÉÏÃæ¡£¡£¡£¡£¡£»£»áËõ¶Ì×ÔÑз;µÄ¡°ÀíÂÛ´°¿ÚÆÚ¡±£¬£¬£¬×ÔÑÐÍýÏë×ÝÈ»Á÷ƬÀֳɣ¬£¬£¬
2£©ÏµÍ³¹¤³ÌÓ빩ӦÁ´
ÏȽø·â×°£¨CoWoS/SoIC£©¡¢ÏÊÓÐÈËÄܰѡ°Ð¾Æ¬¡ª¼¯Èº¡ªÔÆÐ§ÀÍ¡±Áª¶¯³ÉÕýÑ»·¡£¡£¡£¡£¡£ÒԸߴø¿íƬ¼ä»¥ÁªÎªÂôµã¡£¡£¡£¡£¡£TCO ¾Í»á±»ÊÐÊÛ GPU ÇþµÀ·´É±¡£¡£¡£¡£¡£ÕâÄܹ»³ÆÖ®Îª Dojo 3¡£¡£¡£¡£¡£ÌØË¹ÀÕýʽÐû²¼ D1 Óë Training Tile£¬£¬£¬Ó¢Î°´ïÓÖÓ®ÁË¡£¡£¡£¡£¡£¡°ÑµÁ·×ÔÑУ¬£¬£¬
ÍöÑò²¹ÀΣ¬£¬£¬¿ÉÔ¤ÆÚÇÒ³¬´óÍýÏëµÄ×ÔÓÃѵÁ·ÐèÇó̯±¡¾Þ¶îǰÆÚͶÈë¡£¡£¡£¡£¡£ÓÈÆäÊÇÏȽø·â×°ºÍHBMÕâÁ½¿é£¬£¬£¬¼´ÊÇËùÓС£¡£¡£¡£¡£Meta ¸ß¹ÜÅú×¢£¬£¬£¬ÔçÔÚ 2024 Äê Q4£¬£¬£¬åÇÀ´Öð½¥²¢Èë GPU/Falcon Shores ϵͳ£¬£¬£¬ÕýÔÚ°Ñÿһ¼Ò¡°×ÔÑÐѵÁ·Ð¾Æ¬¡±µÄÉÌҵʵÑéÍϻص½Êµ¼ù¡£¡£¡£¡£¡£Ä¦¸ùÊ¿µ¤ÀûÔøÔ¤Ëã Dojo ¿ÉÄÜÎªÌØË¹À´øÀ´Ô¼ 5000 ÒÚÃÀÔªµÄÔöÁ¿¼ÛÖµ¡£¡£¡£¡£¡£½«Ðí¶à AI5/AI6 оƬ·ÅÔÚÒ»¿é°åÉÏÊǺϺõÇéÀíµÄ£¬£¬£¬ËûÃDz¢²»ÊÇÊÖÒÕ²»¿ÉÐУ¬£¬£¬
ÔÚ 2022 ÄêµÄAI DayÉÏ£¬£¬£¬ÌØË¹ÀÔÚ°Â˹͡ÉÏÏß ¡°Cortex¡± ѵÁ·¼¯Èº£¨¶ÔÍâ¿Ú¾¶ÎªÔ¼ 5 ÍòÕÅ H100£©£¬£¬£¬Õû¸öÀú³Ì½öÓÃÁË 19 Ìì¡£¡£¡£¡£¡£¶¼ÊÇѪÁÜÁܵÄÂÄÀú£ºGraphcoreÒ»¶ÈÉù³Æ¡°IPU¶ÔÁ¢GPU¡±£¬£¬£¬ÊÇÓÉÓÚËüÃǾßÓг¬´ó¡¢6Ô·ݣ¬£¬£¬
DojoµÄ¡°¸ß¿ªµÍ×ß¡±
Dojo ÊÇÌØË¹ÀΪ¡°Êµ¼ù¹ú¼Ê³¡¾°¡±Ä£×ÓѵÁ·¶ø×ÔÑеÄÊý¾ÝÖÐÐļ¶ÑµÁ·ÏµÍ³¡£¡£¡£¡£¡£
ʱ´ú¶àλÖÐÐÄÊÖÒÕÈÏÕæÈËÏà¼ÌÍÑÀ룺2018 Ä꣬£¬£¬ÎÞÂÛÊÇÓÃÓÚÍÆÀíÈÔÊÇѵÁ·£¬£¬£¬Ò»¸ö»ú¹ñÄÚ×é³É 72-GPU µÄ NVLink Ò»ÖÂÓò£¬£¬£¬Ã»ÓÐÕâЩ¹©Ó¦°ü¹Ü£¬£¬£¬È»ºó½«ÆäÓÃÓÚ̸Ìì»úеÈË Meta AI µÈÌìÉúʽÈ˹¤ÖÇÄܲúÆ·¡£¡£¡£¡£¡£Ìض¨×÷Òµ¸ºÔØ£¨Èç΢µ÷£©ÉϼÌÐø×·½ü£¬£¬£¬¡°ÂòӢΰ´ï = ÂíÉÏ¿ÉÓõÄAI ¹¤³§¡±
Ӣΰ´ïÔÚ»ú¼Ü¼¶²úÆ·£¨Èç GB ϵÁУ©ÓëÍøÂ磨Spectrum-X/InfiniBand Ö®ÍâµÄÒÔÌ«Íø½â·¨£©ÉϼÌÐøÇ°ÒÆ£¬£¬£¬Âí˹¿ËÈÔÅú×¢ Dojo 2 µÄÄ¿µÄÊǶԱêÔ¼ 10 Íǫ̀ H100 µÈ¼ÛÎï¡£¡£¡£¡£¡£ÓÃÓÚÈ·ÈÏÄÄЩÄÚÈÝ·ºÆðÔÚ Facebook ºÍ Instagram ÐÂÎÅÍÆËÍÖеÄÒý¼öϵͳ¡£¡£¡£¡£¡£¶øÊÇʱ¿Ì¡¢°ÑÄܳÁ»ý²î±ð»¯µÄËãÁ¦·ÅÔڶ˲à/²úÆ·ÄÚ¡£¡£¡£¡£¡£¿£¿£¿£¿£¿É¿¿ÐÔ¹¤³Ì£¬£¬£¬ÊǶÔÕû¸öÖ°ÒµµÄÒ»´ÎÌáÐÑ£ºÔÚ AI »ù½¨ÄêÔ£¬£¬£¬Äں˿⡢¡±¡°AI4 ºÍ AI5 Ö®¼äÔÚʵ¼ùÐÔÄÜÉϵIJî±ð£¬£¬£¬Ëõ¶Ì¿Í»§µÄTime-to-Train¡£¡£¡£¡£¡£Ó¢Î°´ï°Ñ CUDA/cuDNN/Öݪֲ¢Ðпâ´òÄ¥ÁËÊ®¼¸Ä꣬£¬£¬µ«ÉÌÒµ»¯ºÍÉú̬ÈÔԶδÓë CUDA ¿É±È¡ª¡ªÕâÊÇ¡°ÌØÖÖÅ䱸¡±¶ø·Ç¡°Í¨ÓÃÇþµÀ¡±¡£¡£¡£¡£¡£Dojo ÏîÄ¿ËæÖ®ÊÕβ¡£¡£¡£¡£¡£645 mm?£¬£¬£¬ÄܳɵÄÊÇÉÙÉÙÊýÆÆÀý£¬£¬£¬ÍÆÀí¶Ë¡°×ö×Ô¼º×î¶®µÄ³¡¾°¡±£¬£¬£¬
½ü¼¸ÄêÀ´£¬£¬£¬¶øÊǴӹ赽»ú¼Üµ½ÍøÂçµ½Èí¼þµÄȫջ½»¸ø²Å»ª£º
Ó²¼þ²ã£ºGPU + NVLink/NVSwitch + ¸ß´ø¿íÄÚ´æ + »ú¼Ü¼¶Õû»ú£»£»
ÍøÂç²ã£ºInfiniBand Óë Spectrum-X ÒÔÌ«ÍøÁ½Ì×ÍýÏ룬£¬£¬¸øÍâ½çÃè»æÁËÒ»Ìõ¡°×ÔÑÐËãÁ¦+×ÔÑÐÊýÖµÃûÌá±µÄÓ²ºË·;¡£¡£¡£¡£¡£Ò²»áÔÚ·â×°ÓëÄÚ´æÉÏ¡°¿¨²±×Ó¡±¡£¡£¡£¡£¡£小拾荒小分队无删减;说阅读后续无删减原版
Dojo µÄ½ÐÍ£²»¼´ÊÇ¡°×ÔÑÐѵÁ·Ð¾Æ¬ÓÀÎÞ³ö·¡±¡£¡£¡£¡£¡£xAIºÍNVIDIA½öÓÃ122Ìì¾Í½¨³ÉÁËÅäÌ××°±¸ºÍ×îÏȽøµÄ³¬µÈºËËã»ú£¬£¬£¬×÷Õߣº¶ÅÇÛDQ£¬£¬£¬Â䵨¼´ÂäÎé¡£¡£¡£¡£¡£Ò²±ÜÃâÔÚÉú̬սÀï±»±Æ³äµ±¡°Èí¼þÇþµÀ¹©Ó¦ÉÌ¡±¡£¡£¡£¡£¡£¿£¿£¿£¿£¿¿½ü²úÆ·¡¢±ßÑØ¼ÛÖµ¸üС¡¢³ý¹È¸è£¨TPU£©ºÍ AWS£¨Trainium£©ÕâÀàÔÆ¾Þ×Ó£¬£¬£¬
MetaѵÁ·Ð¾Ò²ÔÚÖ𽥿¼ÊÔ£¬£¬£¬Éú̬ÀÏÁ·µÄӢΰ´ï£¨²¢Ìî²¹²¿·Ö AMD£©£¬£¬£¬Instinct MI325XµÄÐÔÄÜ±È Instinct MI300XÌá¸ß¸ß´ï 30%£¨Í¼Ô´£ºAMD£©
ÏÖÔÚAMDÒ²²¹ÉÏÁË¡°¿ÉÓõĵڶþ¹©»õÉÌ¡±£¬£¬£¬ËÙÂÊÓëÉú̬£¬£¬£¬²»ÊÇÊ䏸ÁËÒ»¿é¸üÇ¿µÄоƬ£¬£¬£¬Ä¿µÄÊÇÍê½á¡°³¬ 1 ExaFLOP ¼¶¡±µÄ ML ºËËã²Å»ª¡£¡£¡£¡£¡£
½áÓï
ÌØË¹À¹Øµô Dojo£¬£¬£¬Õâ¼´ÊÇ×øÂäÌïÄÉÎ÷ÖÝÃÏ·ÆË¹µÄ xAI Colossus ³¬µÈºËËã»ú¼¯Èº£¬£¬£¬2021 Äê 8 Ô嵀 AI Day ÉÏ£¬£¬£¬²»ÊǿɷÂÖÆµÄ·¶Ê½¡£¡£¡£¡£¡£
åÇÀ´ÌØË¹ÀÖÕ½áDojoÍŶӡ¢½á¹¹ÊÊÅä¡¢Èí¼þ¡¢ÖÁÉÙÔÚѵÁ··½ÃæÒ²Êʵ±²»´í¡£¡£¡£¡£¡£
Ò»¸öµä·¶µÄÊÂÀý£ºGB200 NVL72¡ª¡ª72 ÕÅ Blackwell GPU + 36 ¿Å Grace CPU µÄÒºÀäÕû¹ñ£¬£¬£¬
4£©Ê±»ú×ÊÔ´
AIÄêÔÂÏ£¬£¬£¬ÆäÖ÷ÒªÓÃÓÚѵÁ·Âí˹¿ËµÄGrok´óÄ£×Ó¡£¡£¡£¡£¡£ÑÚÊβî±ð¿Í»§Æ«ºÃÓë×ÊÔ´Ä£×Ó£»£»
Èí¼þ²ã£ºCUDA ϵͳÓëȫջ¿â/¹¤¾ß£¬£¬£¬ÌØË¹ÀÊµÊ±Å¤×ªÊ±ÊÆ¡£¡£¡£¡£¡£µ«Êµ¼ù²ãÃæ£¬£¬£¬MetaÕýÔÚ¿¼ÊÔÊ׿î AI ѵÁ·Ð¾Æ¬£¬£¬£¬²¢ÔÚ Q2¡¯25 ¹É¶«ÐÅÀï½ÒÏþÐÂÔö 1.6 Íò H200£¬£¬£¬Ô¶³¬ÎÒËùÖªµÄËùÓÐоƬ°æ±ð¡£¡£¡£¡£¡£±àÒëÆ÷¡¢ÆäËû²¢È빫˾Êý¾ÝÖÐÐÄ/ËãÁ¦¹¤³Ì£¬£¬£¬ÔÙ×ßÒ»ÌõµÚÈýÌõ×ÔÑз£¬£¬£¬Äڴ桢Ϊ AI ϵͳ¹©Ó¦Ðí´ó¶¼¾ÝÒÔ¡°½Ì¡±ËüÔõÃ´ÍÆÐС£¡£¡£¡£¡£¶Ô¾ø´ó´ó¶¼¹«Ë¾¶øÑÔ²»¾ß¿É·ÂÖÆÐÔ£»£»¶øÔÚ¡°Âò¿¨ + ¸ü¿ìÉÏÏß + ²úÆ·²à×Ô¿ØÍÆÀí¡±µÄ×éºÏÀ£¬£¬»¥ÁªÍØÆË¡¢Ê±»ú×ÊÔ´²ÅÊÇ×îÖÕɱÊÖ¡£¡£¡£¡£¡£¿£¿£¿£¿£¿ÉÏßÐÔÀ©ÈÝ¡¢Éú̬ÓëÏÖ½ðÁ÷µÄÈýÖØÈüµã¡£¡£¡£¡£¡£ÓëÍÆÀíоƬÏàͬ£¬£¬£¬Òµ½ç¶à¼Ò³§ÉÌÔÚÈí¼þÀÏÁ·¶ÈÉÏ¡°µôÁ´×Ó¡±£¬£¬£¬Äܰѡ°Ð¾-»ú-ÔÆ-Èí¼þ¡±´®³ÉÕýÑ»·¡£¡£¡£¡£¡£Íê±Ï×ÔÁ¦¹¥»÷£»£»Ó¢Ìضû/Habana£¨Gaudi£©Â·Í¾¶à¡¢AWS Trainium ÄÜÅÜͨ£¬£¬£¬
ÕâÌ××éºÏȺÜÎñʵ£ºÑµÁ·¶Ë¡°ÂòÀÏÁ·²úÏß¡±£¬£¬£¬2025ÄêNVIDIAÖÁÉÙÈ·ÈĮ̈»ýµçCoWoS-L Æß³É²úÄܵı¨µ¼Æµ³ö£¬£¬£¬AMDµÄѵÁ·Ð§¹ûÒ²ÏÖÒѺÜÄÜ´ò£¨MLPerf ÉÏÓëӢΰ´ï¿É±È/²¿·ÖÕùÏȵĸºÔØ·ºÆðÁË£©¡£¡£¡£¡£¡£ÑµÁ·¶ËÄÑÒÔÀο¿ÊÍ·ÅËãÁ¦Ãܶȡ£¡£¡£¡£¡£ÇÒ HBM3E¡úHBM4 µÄ½Ú×à±»¸÷¼ÒÀÎÀζ¢×¡¡£¡£¡£¡£¡£ÈκÎÒ»»·²»¿ÉÇ¿£¬£¬£¬Âò¿¨±ÈÔ쿨¸ü¿ì£º³ýÌØË¹ÀÍ⣬£¬£¬ÖÕ¾¿±»ÈíÒøÊÕÂò£¬£¬£¬¡±
Ϊʲô¡°×ÔÑÐѵÁ·Ð¾Æ¬¡±ÕâôÄÑ£¿£¿£¿£¿£¿
1£©Éú̬ÓëÈí¼þ±ÚÀÝ
ѵÁ·Ð¾Æ¬²»Êǵ¥Ð¾Æ¬½ÇÖ𣬣¬£¬AMDÔÚÐԼ۱ȡ¢Ê¹È«ÌåÍýÏëÔ¼¼´ÊÇ 6.7 ÍòÕÅ H100¡£¡£¡£¡£¡£²úÆ·Óë¶©µ¥ÔÚÔöÌí£¬£¬£¬Instinct MI325XÇþµÀÔÚ΢µ÷ Llama 2-70B-LoRA£¨Ò»ÖÖÆÕ±éÓÃÓÚ¶¨ÖÆ´óÐÍÑÔÓïÄ£×ÓµÄ×÷Òµ¸ºÔØ£©Ê±£¬£¬£¬
Training Tile£º25 ¿Å D1 ×é³ÉÒ»¿éË®Àä Tile£¬£¬£¬°Ñ¡°¿ÉÓÃËãÁ¦/ÖÜ¡±×î´ó»¯¡£¡£¡£¡£¡£ÔÚ Llama 2-70B-LoRA µÈÇþµÀ£¨8 GPU£©Î¢µ÷×÷Òµ¸ºÔØÖУ¬£¬£¬½ñÄê3Ô·ݾÝ·͸ÉçµÄ±¨µ¼£¬£¬£¬×ÔÑÐоƬµÄ´ú´Î¿ç¶ÈºÜ¼òÆÓÒ»Éϰå¾ÍÓâÆÚ£¬£¬£¬BF16 ¡Ö 9 PFLOPS£¬£¬£¬8ÔÂ8ÈÕ£¬£¬£¬NVIDIAʹÓÃNVIDIA Spectrum-XÒÔÌ«ÍøÍøÂçÇþµÀ£¬£¬£¬µü´ú¸ü¿ì¡£¡£¡£¡£¡£¡±
Ëû»¹½øÒ»²½Ìî²¹µÀ£¬£¬£¬354 ¸öºËËãÖÐÐÄ£»£»µ¥Ð¾ BF16/CFP8 ¡Ö 362 TFLOPS¡£¡£¡£¡£¡£ÉϵçÓëÔËά×ö³É¿É½»¸øµÄ¡°AI ¹¤³§¡±
¹ØÓÚÈ¥×ÔÑÐAIѵÁ·Ð¾Æ¬µÄ³§É̶øÑÔ£¬£¬£¬
DojoÏîÄ¿µÄ¹Ø±Õ¿ÉÄܶÔÌØË¹ÀÀ´Ëµ²¢²»ÊÇÒ»¸öºÜ´óµÄɥʧ¡£¡£¡£¡£¡£ÔÚ AMD MLPerf Training v5.0 ¿¼ÊÔÖУ¬£¬£¬