Ultra Ethernet 1.1 در برابر NVLink 6؛ انتخاب شبکه Scale-Up برای دیتاسنتر AI

پاسخ کوتاه: Ultra Ethernet 1.1 و NVLink 6 هر دو برای ارتباط بسیار سریع شتاب‌دهنده‌های هوش مصنوعی طراحی شده‌اند، اما یک راهکار واحد نیستند. Ultra Ethernet 1.1 یک مشخصات باز و مبتنی بر اترنت است که مسیر چندفروشنده‌ای و سازگار با شبکه‌های IP را دنبال می‌کند؛ NVLink 6 یک fabric اختصاصی و یکپارچه با پلتفرم NVIDIA است. برای انتخاب میان آن‌ها باید علاوه بر پهنای باند، بلوغ محصول، سازگاری نرم‌افزار، نوع شتاب‌دهنده، عملیات جمعی، پشتیبانی فنی و ریسک زنجیره تأمین را سنجید.

چرا Ultra Ethernet 1.1 را باید با NVLink 6 مقایسه کرد؟

مقاله قبلی نت یک درباره شبکه Scale-Up و NVLink 6 مفهوم Scale-Up را توضیح می‌دهد: اتصال شتاب‌دهنده‌های نزدیک به یکدیگر با تأخیر کم و نرخ بسته بالا، به‌گونه‌ای که یک دامنه محاسباتی مانند یک سامانه بزرگ‌تر رفتار کند. پرسش امروز متفاوت است. پس از انتشار Ultra Ethernet 1.1، مدیر دیتاسنتر باید بداند اترنت باز تا چه حد وارد قلمرو Scale-Up شده و آیا می‌تواند جای fabric اختصاصی را بگیرد.

پاسخ مطلق «بله» یا «خیر» دقیق نیست. UEC 1.1 مجموعه‌ای از پروفایل‌ها، سرآیندها، سازوکارهای انتقال و کنترل ازدحام را تعریف می‌کند؛ NVLink 6 یک محصول و اکوسیستم عملیاتی کامل در پلتفرم‌های NVIDIA است. بنابراین مقایسه درست باید بین پیاده‌سازی‌های واقعی و workload مشخص انجام شود، نه میان دو نام روی کاغذ.

Ultra Ethernet 1.1 دقیقاً چه چیزی به Scale-Up اضافه می‌کند؟

Ultra Ethernet Consortium یا UEC نسخه ۱.۱ مشخصات خود را در اکتبر ۲۰۲۶ منتشر کرد. این نسخه بر پایه Ultra Ethernet Transport یا UET ساخته شده و چند قابلیت را برای ترافیک Scale-Up، پیام‌های کوچک، عملیات جمعی و کنترل ازدحام گسترش می‌دهد. مهم‌ترین تغییر آن، تعریف یک مسیر اترنتی باز برای endpointهایی است که در فاصله نزدیک و با نرخ بسته بالا کار می‌کنند.

Unified Local چه کاربردی دارد؟

پروفایل Unified Local انتقال ساده‌تری برای عملیات خواندن، نوشتن و atomic میان endpointهای محلی فراهم می‌کند. درخواست‌های یک جهت می‌توانند اطلاعات تأیید جهت مقابل را نیز حمل کنند تا تعداد بسته‌های کنترلی و وضعیت نگهداری‌شده کاهش یابد. این پروفایل برای fabric بدون اتلاف مبتنی بر Priority Flow Control یا Credit-Based Flow Control طراحی شده است؛ بنابراین فعال‌کردن آن بدون طراحی دقیق flow control می‌تواند نتیجه‌ای متفاوت از انتظار ایجاد کند.

UFH و کاهش فاصله بسته چه چیزی را بهبود می‌دهند؟

Unified Forwarding Header یا UFH به‌صورت اختیاری جای سربار جداگانه IP را می‌گیرد و طبق اعلام رسمی UEC در مقایسه با بسته IP سنتی ۲۰ بایت صرفه‌جویی می‌کند. این سرآیند همچنان مسیریابی IP، همزیستی با فریم‌های معمول اترنت و سازگاری در سطح wire را حفظ می‌کند. قابلیت اختیاری کاهش فاصله بین فریم‌ها نیز می‌تواند تا ۱۱ بایت از بایت‌های بیکار کم کند.

این اعداد نباید به‌عنوان درصد ثابت افزایش کارایی تفسیر شوند. اثر واقعی به اندازه پیام، نرخ بسته، توپولوژی، endpoint و سهم ارتباط از کل زمان اجرای job وابسته است. مزیت اصلی در پیام‌های کوچک و پرتعداد دیده می‌شود، نه لزوماً در هر انتقال حجیم.

NVLink 6 چه تفاوت بنیادی با Ultra Ethernet 1.1 دارد؟

NVLink 6 نسل ششم fabric اختصاصی NVIDIA برای ارتباط GPU به GPU در مقیاس رک است. NVIDIA در پلتفرم Vera Rubin NVL72، پهنای باند دوطرفه ۳.۶ ترابایت بر ثانیه برای هر GPU و ۲۶۰ ترابایت بر ثانیه در سطح رک را اعلام کرده است. این اعداد به پلتفرم و توپولوژی مشخص مربوط‌اند و نباید با سرعت یک پورت اترنت مقایسه مستقیم شوند.

مزیت NVLink فقط نرخ خام نیست. این fabric همراه با NVLink Switch، کتابخانه NCCL، زمان‌بندها، مدیریت حافظه، تله‌متری و عملیات جمعی توسعه یافته است. در مقابل، Ultra Ethernet 1.1 مشخصات باز و قابل پیاده‌سازی توسط فروشندگان مختلف است، اما ارزش آن زمانی عملی می‌شود که NIC، سوئیچ، firmware، درایور و کتابخانه‌های مورد استفاده یک پروفایل مشترک را به‌طور سازگار اجرا کنند.

جدول مقایسه Ultra Ethernet 1.1 و NVLink 6

CSIG و PCM چه مزیتی در شبکه اترنت ایجاد می‌کنند؟

در شبکه‌های متعارف، علامت ECN فقط نشان می‌دهد صفی در مسیر در حال پرشدن است؛ اما شدت یا محل دقیق گلوگاه را توضیح نمی‌دهد. Congestion Signaling یا CSIG در UEC 1.1 یک برچسب ۴ یا ۸ بایتی لایه دوم به بسته اضافه می‌کند. سوئیچ‌های مسیر می‌توانند داده‌ای مانند بیشترین تأخیر صف یا کمترین پهنای باند موجود را در آن ثبت کنند و endpoint بدترین وضعیت مسیر را ببیند.

Programmable Congestion Management یا PCM نیز اجازه می‌دهد الگوریتم‌های کنترل ازدحام و توزیع بار به‌صورت برنامه روی endpoint سازگار اجرا شوند. این قابلیت می‌تواند رفتار شبکه را با الگوی workload هماهنگ‌تر کند، اما مسئولیت عملیاتی را هم بالا می‌برد. الگوریتم سفارشی باید از نظر پایداری، انصاف، همزیستی با ترافیک دیگر، rollback و اثر آن بر صدک‌های تأخیر آزمایش شود.

عملیات جمعی در UEC 1.1 و NVLink چه تفاوتی دارد؟

عملیات‌هایی مانند Allreduce بخش مهمی از آموزش توزیع‌شده و بعضی الگوهای استنتاج هستند. Ultra Ethernet 1.1 قابلیت In-Network Collectives یا INC را تعریف می‌کند تا سوئیچ بخشی از عملیات reduce را هنگام دریافت داده انجام دهد. در مثال رسمی UEC، هر endpoint برای تولید نتیجه یک گیگابایتی به‌جای دو گیگابایت، یک گیگابایت داده می‌فرستد؛ در شرایط مناسب این تغییر می‌تواند ارتباط لازم را تا نصف کاهش دهد.

NVLink 6 نیز از SHARP برای offload عملیات جمعی و reduction استفاده می‌کند و آن را با NCCL و stack نرم‌افزاری NVIDIA پیوند می‌دهد. تفاوت مدیریتی مهم این است که UEC قابلیت را در قالب استاندارد چندفروشنده‌ای تعریف می‌کند، در حالی که NVIDIA سخت‌افزار، fabric و نرم‌افزار را به‌صورت co-design عرضه می‌کند. نتیجه واقعی به الگوریتم، اندازه communicator، توپولوژی، نوع داده و سهم ارتباط در job بستگی دارد؛ کاهش ارتباط به معنی دو برابر شدن قطعی سرعت کل مدل نیست.

چه زمانی Ultra Ethernet 1.1 انتخاب منطقی‌تری است؟

• سازمان به معماری باز و امکان انتخاب چند فروشنده اهمیت می‌دهد.
• شتاب‌دهنده‌ها فقط از یک اکوسیستم نیستند یا نقشه راه سخت‌افزار هنوز قطعی نشده است.
• تیم شبکه می‌خواهد عملیات، IP routing و ابزارهای اترنت را تا حد ممکن حفظ کند.
• امکان اجرای پایلوت، کنترل نسخه‌ها و آزمون interoperability وجود دارد.
• فروشنده برای مدل دقیق NIC و سوئیچ، پروفایل UEC 1.1 و قابلیت‌های پشتیبانی‌شده را مکتوب اعلام می‌کند.

در این سناریو نیز عبارت «سازگار با UEC» کافی نیست. باید Unified Local، UFH، CSIG، PCM، INC، روش flow control و UET Verbs جداگانه بررسی شوند. هر قابلیت ممکن است به ASIC، firmware یا درایور خاص نیاز داشته باشد.

چه زمانی NVLink 6 انتخاب منطقی‌تری است؟

• پلتفرم محاسباتی بر Vera Rubin یا یک سامانه پشتیبانی‌شده NVIDIA بنا شده است.
• workload به ارتباط همه‌به‌هم بسیار سریع، MoE، عملیات جمعی سنگین یا دسترسی کم‌تأخیر GPU به GPU وابسته است.
• یکپارچگی با NCCL، مدیریت fabric و چرخه پشتیبانی NVIDIA اولویت بیشتری از انعطاف چندفروشنده‌ای دارد.
• تیم خرید می‌تواند کل پلتفرم، قطعات جایگزین و پشتیبانی موردنیاز را تأمین کند.

این انتخاب نیز لزوماً شبکه اترنت را حذف نمی‌کند. بسیاری از معماری‌ها NVLink را داخل دامنه Scale-Up و Ethernet یا InfiniBand را برای Scale-Out، ذخیره‌سازی و مدیریت به کار می‌گیرند. طراحی هیبریدی در عمل محتمل‌تر از جایگزینی کامل همه لایه‌ها با یک fabric است.

Ultra Ethernet 1.1 چه ارتباطی با اترنت 1.6 ترابیتی دارد؟

این دو مفهوم در یک سطح نیستند. Ultra Ethernet 1.1 رفتار انتقال، پروفایل‌ها، تله‌متری و عملیات شبکه را تعریف می‌کند؛ اترنت 1.6TbE درباره ظرفیت لینک، SerDes، اپتیک، کابل و بودجه توان است. یک محصول می‌تواند لینک سریع داشته باشد اما قابلیت‌های UEC 1.1 را اجرا نکند، یا بخشی از UEC را روی سرعت پایین‌تر ارائه دهد.

برای بررسی سمت فیزیکی، مقاله اترنت ۱.۶ ترابیت در دیتاسنتر هوش مصنوعی را ببینید. در خرید باید سرعت لینک، فرم‌فاکتور اپتیک و قابلیت‌های UEC به‌عنوان سه محور جداگانه ثبت شوند.

برای دیتاسنتر ایرانی چه ریسک‌هایی مهم‌تر است؟

در ایران، دسترسی پیوسته به NIC، سوئیچ، کابل یا اپتیک نسل جدید و firmware معتبر ممکن است از تفاوت نظری دو fabric مهم‌تر باشد. اگر معماری به قطعه‌ای وابسته شود که جایگزین آن در دسترس نیست، خرابی ساده می‌تواند زمان توقف را طولانی کند. قرارداد پشتیبانی، دسترسی به نسخه‌های نرم‌افزار، قطعه یدکی و امکان بازگشت به قابلیت‌های پایه باید پیش از خرید روشن باشد.

برای Ultra Ethernet، ریسک اصلی خرید تجهیزات با ادعای کلی سازگاری و بدون ماتریس دقیق نسخه‌هاست. برای NVLink، ریسک اصلی وابستگی بیشتر به پلتفرم یکپارچه، دوره عرضه و قطعات همان اکوسیستم است. در هر دو حالت باید هزینه کل شامل برق، خنک‌سازی، اپتیک، نیروی متخصص، مانیتورینگ و زمان رفع خرابی محاسبه شود.

چک‌لیست انتخاب شبکه Scale-Up چیست؟

1. الگوی workload: حجم پیام، نرخ بسته، درصد Allreduce یا All-to-All و حساسیت به تأخیر را اندازه بگیرید.
2. Baseline: زمان تکمیل job، Goodput، تأخیر صدک ۹۹، افت بسته و زمان عملیات جمعی شبکه فعلی را ثبت کنید.
3. دامنه Scale-Up: تعداد شتاب‌دهنده‌های هر دامنه، توپولوژی و مسیر حافظه تا fabric را مشخص کنید.
4. ماتریس سازگاری: مدل NIC، سوئیچ، شتاب‌دهنده، firmware، درایور و کتابخانه ارتباطی را کنار هم بنویسید.
5. قابلیت‌ها: پشتیبانی عملی از UFH، Unified Local، CSIG، PCM، INC یا SHARP را جداگانه تأیید کنید.
6. آزمون خرابی: قطع لینک، خرابی سوئیچ، عدم تطابق نسخه و rollback را در پایلوت اجرا کنید.
7. هزینه چرخه عمر: قطعات یدکی، آموزش، توان، خنک‌سازی، قرارداد پشتیبانی و ریسک تأمین را محاسبه کنید.

فهرست سوئیچ‌های شبکه برای بررسی گزینه‌های تجاری موجود است، اما حضور یک محصول در این دسته به معنی پشتیبانی از Ultra Ethernet 1.1 یا NVLink نیست. انطباق باید برای مدل و نسخه دقیق از سازنده تأیید شود.

جمع‌بندی: Ultra Ethernet 1.1 یا NVLink 6؟

Ultra Ethernet 1.1 برای سازمانی جذاب است که معماری باز، قابلیت IP، انتخاب چندفروشنده‌ای و امکان تکامل الگوریتم‌های کنترل ازدحام را می‌خواهد و برای آزمون interoperability آماده است. NVLink 6 برای پلتفرم‌های NVIDIA که به fabric یکپارچه، پهنای باند بسیار بالا و stack نرم‌افزاری بالغ نیاز دارند گزینه طبیعی‌تری است. انتخاب درست از نام استاندارد شروع نمی‌شود؛ از پروفایل workload، پلتفرم شتاب‌دهنده، بلوغ محصول و امکان پشتیبانی عملیاتی آغاز می‌شود.

پرسش‌های متداول

آیا Ultra Ethernet 1.1 جایگزین مستقیم NVLink 6 است؟

خیر. UEC 1.1 یک مشخصات باز مبتنی بر اترنت است و NVLink 6 یک fabric اختصاصی و یکپارچه با پلتفرم NVIDIA. این دو در بعضی کاربردهای Scale-Up رقابت می‌کنند، اما بلوغ، توپولوژی و مدل بهره‌برداری متفاوتی دارند.

آیا سوئیچ ۴۰۰G یا ۸۰۰G فعلی از UEC 1.1 پشتیبانی می‌کند؟

سرعت پورت به‌تنهایی کافی نیست. سازنده باید برای مدل، ASIC، firmware و پروفایل مشخص، پشتیبانی از قابلیت‌هایی مانند Unified Local، CSIG، PCM یا INC را اعلام کند.

آیا می‌توان NVLink و اترنت را هم‌زمان استفاده کرد؟

بله. یک معماری می‌تواند NVLink را برای Scale-Up داخل دامنه GPU و اترنت را برای Scale-Out، ذخیره‌سازی، مدیریت یا اتصال به شبکه سازمانی استفاده کند.

منبع

ناشر: Network World
عنوان اصلی: Ultra Ethernet 1.1 extends the specification to scale-up networks and adds programmable congestion control
مطالعه مقاله اصلی در Network World

منابع فنی تکمیلی: اطلاعیه رسمی Ultra Ethernet Consortium درباره نسخه ۱.۱ و مقاله فنی NVIDIA درباره NVLink 6.