Оптический трансивер 800G

Сегодня у нас есть кое-что очень интересное: более пристальный взгляд на COBTEL.COLORZ 800 (прецизионный оптоволоконный трансивер OSFP112-DR8). Это дальняя-ZR+ 800Gоптический трансивер, используя стандартный сменный форм-фактор OSFP, но может достигать скорости 800 Гбит/с на расстояниях 500 километров или даже более 1000 километров. Его даже можно настроить для поддержки связи на скорости 400 Гбит/с на расстоянии до 2500 километров. Мы смогли взглянуть изнутри наКОБТЕЛлаборатории, чтобы понять, как работает эта когерентная оптическая технология, и хотели показать вам, как они этого достигают.

В настоящее время в центрах обработки данных действует правило: используйте как можно больше медных кабелей, а когда расстояние слишком велико, используйте оптоволокно. Если вы посмотрите на такие продукты, как NVIDIA GB200 NVL72, вы обнаружите, что ее самой большой инновацией является возможность использовать медные кабели на внутренней стороне для соединения 72 графических процессоров и коммутаторов.

Высокоскоростные-линии и медные кабели нельзя использовать вместе, если длина кабеля превышает около 3 метров, из-за проблем с целостностью сигнала.

В то время как медные кабели обычно могут проходить внутри и в соседних стойках, оптические трансиверы можно использовать для охвата больших расстояний. Однако есть одна загвоздка. Оптические трансиверы используют разные технологии для охвата разных расстояний с разной скоростью.

Оптические трансиверы ближнего-действия, работающие со скоростью 10 Гбит/с или 100 Гбит/с, намного дешевле в производстве, чем оптические трансиверы-дальнего радиуса действия, работающие со скоростью 400 Гбит/с или 800 Гбит/с, главным образом потому, что сложность технологии возрастает.

Другим аспектом является форм-фактор (физический размер и форма модуля) модуля.оптический трансивер.

Модули форм-фактора CFP-более распространены в телекоммуникационных приложениях. В центрах обработки данных мы обычно видим небольшие модули SFP для бюджетных-приложений и более крупные модули QSFP и OSFP для высокоскоростных-приложений. Даже обычные сетевые карты инфраструктуры искусственного интеллекта, такие как адаптер NVIDIA ConnectX-7 400GbE, используютОСФП. Сегодня мы обсуждаем OSFP-модуль COBTEL COLORZ III 800G ZR+. OSFP обеспечивает более крупный стандарт модулей с питанием, охлаждением и, что более важно, пространством, необходимым для размещения всех компонентов. Это выглядит так:

Проще говоря, с одной стороны модуль получает электрические сигналы от устройства.

На другом конце у нас есть оптические порты передачи и приема, куда вставляются оптоволоконные кабели.

Хотя это звучит просто, внутри металлического корпуса происходит нечто удивительное. Электрические сигналы преобразуются в оптические сигналы, а оптические сигналы преобразуются обратно в электрические сигналы. Мы объясним, что происходит внутри, на высоком уровне, чтобы было понятно большинству людей.

Далее мы заглянем внутрь корпуса OSFP и объясним, как он работает.

Было продемонстрировано, что размещение компонентов внутри оптического трансивера имеет решающее значение. Даже отклонение в размещении компонентов на один-миллиметр может существенно повлиять на его производительность. Обычно компании не рекомендуют разбирать эти высокопроизводительные модули.- Вместо этого мы наблюдали в лаборатории COBTEL демонстрацию, которая, по сути, представляла собой увеличенную-версию того, что находится внутри небольшого металлического корпуса OSFP.

Конечно, такая большая печатная плата не подходит для сетевых устройств, поэтому еще одним впечатляющим аспектом является не только возможность создавать модули связи 400 Гбит/с на 2500 км или 800 Гбит/с на 1000 км, но и упаковывать их в стандартные подключаемые модули форм-фактора.

Глядя на эту платформу, первое, что вы заметите, это короткаяЦАП (кабель прямого подключения). Это интерфейс электрического сигнала 800 Гбит/с.

Это вид на макетную плату с другой стороны.

Вы можете думать об этом как об электрической стороне модуля, который вы видите здесь:

Первая остановка — через COBTEL Orion DSP. Это компонент между электрическим и оптическим концом, используемый для очистки сигнала.

Чтобы дать вам представление о том, что находится внутри, вот COBTEL Orion DSP и модуль COLORZ III 800G ZR+, в котором он установлен.OSFP-модульнаходится над подключаемыми модулями COLORZ II (400G) и COLORZ I (100G) предыдущего поколения.

Эти DSP впечатляют, поскольку им приходится решать важные задачи обработки в условиях крайне ограниченного пространства и мощности. В то время как обычные сетевые микросхемы со скоростью 10 или 25 Гбит/с производятся с использованием значительно более старых технологических процессов, эти DSP производятся с использованием 5-нм процесса, чтобы справиться с ограничениями по мощности и пространству в пределах площади модуля OSFP.

Начиная с DSP, сигнал передачи направляется в CDM или модуль когерентного драйвера, который является меньшим из двух золотых/латунных коробок ниже, к которому подключено одно волокно.

Для краткости мы не будем вдаваться в подробности работы PIC, но в этой маленькой коробочке находятся компоненты, необходимые для преобразования электрических сигналов в оптические с использованием лазерного источника, модуляторов и других компонентов. На одном конце коробки мы вводим электрические сигналы, а на другом конце выводим свет на пучок волокон. Это конец передачи на этой демонстрационной плате.

На этом этапе вы, возможно, догадались, что немного больший прямоугольник слева — это приемная сторона, известная как ICR или интегрированный когерентный приемник. Если вы часто используете одномодовые-кабели LC и оптику, вы сразу заметите: на приемной стороне есть два оптоволоконных кабеля. В этом отношении эта технология немного сложнее, чем недорогая-стоимость и низкоскоростная-оптика, которая выполняет только прямое обнаружение (тип анализа "есть свет или нет").

На печатной плате имеется не только принимающее оконечное волокно, но и гетеродин, который подает второй сигнал в ICR. Думайте об этом как об опорном сигнале для сравнения фаз. Внутри ICR находится 90-градусный гибрид, пассивный компонент, который, помимо прочего, помогает сохранять информацию о фазе и амплитуде. ICR также оснащен фотодетекторами для приема оптических сигналов и последующего формирования электрических сигналов на другом конце. Электрические сигналы обычно слабые, поэтому мы используем TIA или трансимпедансный усилитель для преобразования слабого тока от фотодетектора в измеримое напряжение. Думайте об этом как об усилителе с электрической стороны.

Обычно эти компоненты также требуют охлаждения, поэтому эталонная плата выглядит примерно так:

Даже эталонному лазерному источнику требуется радиатор для охлаждения. Когда я упоминаю, что нам удалось попасть в лабораторию, становится ясно, что это настоящая лаборатория.

Затем электрические сигналы от ICR могут быть поданы в цифровой сигнальный процессор Orion на электрической стороне.

Это завершает полный цикл обработки сигнала, охватывающий как электрическую, так и оптическую область.

Важно отметить, что каждая сторона этой платформы разработки в конечном итоге упакована и термически управляема в форм-факторе OSFP.

Помимо аппаратного обеспечения, давайте кратко обсудим необходимость опорного лазерного сигнала и различие между прямым обнаружением и когерентным обнаружением.

В рамках статьи одна из моих идей — изучить различия между прямым обнаружением и когерентным обнаружением, которые обычно используются в недорогих-недорогих-оптических устройствах.

Те, кому нужно глубже углубиться в математику и физику, возможно, уже знакомы с этим. Многие методы обнаружения сигналов фокусируются на простом вопросе: присутствует сигнал или нет. В самом простом модуле 10 Гбит/с это можно сформулировать так: «Есть свет или нет?» Это можно представить многими довольно простыми двумерными способами, а также с помощью более сложных схем кодирования. В лаборатории мы часто видим глазковые диаграммы-графические представления качества сигнала-, подобные показанной ниже (от подразделения Intel Silicon Photonics 2019 года, которое Intel продала в том же году).

Когерентное обнаружение гораздо сложнее, поскольку оно позволяет использовать более совершенные методы с использованием света. Вместо того, чтобы просто обнаружить наличие света, мы можем наблюдать «созвездие» сигнала. Обе диаграммы отображают поляризацию X и Y, в результате чего получается 16 возможных созвездий.

Вот почему наличие источника опорного гетеродина имеет решающее значение. Для более сложных кодировок нам нужна дополнительная информация, предоставленная этой ссылкой.

Если вам интересны различия между прямым обнаружением и когерентным обнаружением, на эту тему есть множество подробных статей. Для зрителей STH ключевым выводом является то, что, хотя модуль 800G ZR+ OSFP может выглядеть как немного больший модуль 100G SR4 QSFP28, его внутренние компоненты сильно отличаются.

Итак, большой вопрос: «Почему все это имеет значение?» Простая причина заключается в том, что развертывание центров обработки данных в разных регионах может быть выгодным с точки зрения затрат и устойчивости. Прямое подключение коммутатора к центру обработки данных, расположенному на расстоянии 1000 километров и более, позволяет организациям размещать больше инфраструктуры в менее-затратных и стабильных местах. Кроме того, если у вас есть два географически удаленных кампуса, объединение их с пропускной способностью от 400 до 800 Гбит/с может изменить правила игры-.

Но на самом деле сегодня одним из крупнейших драйверов сменной оптики является строительство центров обработки данных с искусственным интеллектом. Эта конструкция ограничена доступностью электроэнергии, поэтому операторы центров обработки данных уделяют особое внимание обеспечению электропитания. В планы входит строительство крупных центров обработки данных рядом с существующими электростанциями, создание новых источников питания для центров обработки данных и многое другое. Минимизация потерь при передаче помогает максимизировать мощность, доступную для вычислений. Проблема заключается в том, что кластерам требуется так много энергии, что полагаться на один сайт уже невозможно.

Мы часто слышим идею о размещении нескольких центров обработки данных рядом с источниками питания, а не о концентрации вычислений в одном кампусе. Интересно, что именно этим занимались многие майнеры криптовалюты в середине-–-конце 2010-х годов. Разница в том, что майнинг-фермам не требуется взаимный доступ с высокой-пропускной способностью и низкой-задержкой, в отличие от кластеров искусственного интеллекта.

Идея состоит в том, что создание крупномасштабных-кластеров на нескольких площадках рядом с доступными источниками питания может сэкономить потери и затраты на передачу энергии, а также может быть проще. Вместо того, чтобы лицензировать и создавать крупные источники питания, организации могут зажечь темное волокно-неиспользуемые оптоволоконные кабели-или проложить дополнительное волокно для соединения кластеров на нескольких меньших источниках питания.

Итак, простой ответ заключается в том, что эти модули позволяют организациям использовать обычные подключаемые оптические трансиверы (а не специальные блоки DCI) для установления быстрых каналов связи на большие расстояния относительно дешевым и простым способом. Еще более интересным является потенциал крупномасштабного-географического распределения ресурсов ИИ.

Подключаемые модули часто выглядят как простые металлические корпуса. С этой точки зрения трудно сказать, почему одно сложнее другого.

Изучая внутреннее устройство-модулей высокого класса, мы можем лучше понять сложность этой подключаемой оптики. Мы рассмотрели простой и недорогой-оптический трансивер 100G SR4, который сильно отличается от оптического трансивера 800G ZR+. Причина в том, что, хотя они выглядят одинаково, модуль COLORZ III может передавать данные с 8-кратной скоростью на расстояния, в 10 000 раз большие. Наверное, поэтому я подумал, что это такое крутое демо, когда впервые увидел его.

Некоторые, возможно, заметили из предыдущего контекста, что мы также разобрали ЦАП 100G QSFP28 и оптический приемопередатчик 100G SR4 QSFP28. Мы считаем важным показать вам, что находится внутри модуля, поэтому в этой статье мы расскажем, что находится внутри корпуса ЦАП.

Кабель, который мы собираемся открыть, помечен как Intel DAC. Это довольно типичныйКСФП ЦАПс электрическим разъемом на одном конце и кабелем на другом.

Открыть корпус довольно легко. В некоторых корпусах, таких как этот, для их крепления используются простые винты. Другие используют более сложные методы-открытия-соединения. Если вы открываете корпус самостоятельно, мы рекомендуем использовать вариант с легко закручивающимися винтами. Также имейте в виду, что фиксирующий механизм QSFP28 обычно имеет пружину. Общеизвестно, что при открытии таких корпусов пружина может выскочить из корпуса.

Внутри корпуса мы видим, что печатная плата очень проста. На самом деле между разъемом QSFP28 и внутренними проводами кабеля можно увидеть множество следов.

 

Модуль имеет толстые экранированные провода той же длины, что и ЦАП. Каждый провод имеет номер, который может быть полезен при производстве. Соединения и концы проводов покрыты смолой или эпоксидной смолой для фиксации их к точкам пайки печатной платы. Затем получаем медную ленту и гибкий выход кабеля с изогнутыми опорами. Обе стороны очень похожи.

Чтобы дать вам представление, вот как выглядит внутренняя часть недорогого-ЦАП QSFP28 100G SR4 ЦАП, в частности сторона PIC (фотонная интегральная схема). Выравнивание оптических волокон должно быть более точным, а интерфейс фотона-—-схемы намного сложнее, чем внутренняя структура ЦАП.

Большинству людей никогда не понадобится заглядывать внутрь ЦАП. Они спроектированы так, чтобы их можно было-и-работать без необходимости обслуживания. Тем не менее, мы считаем, что стоит открыть один конец корпуса, чтобы показать, как работают эти кабели. Следует хотя бы отметить, что это пассивные кабели. Существуют AEC (активные электрические кабели), в кабельных разъемах которых имеются микросхемы активной синхронизации, которые помогают улучшить качество сигнала, позволяя высокоскоростным-сигналам передаваться дальше по медному кабелю. Системы AEC являются более сложными,-емкими и дорогостоящими. Тем не менее, когда дело доходит до простоты конструкции ЦАП, мы надеемся, что эти фотографии дадут вам лучшее представление.