ТЛ;ДР:В современных центрах обработки данных искусственного интеллекта DAC, AOC, ACC и AEC решают разные проблемы расстояния и бюджета. Пассивный ЦАП является самым дешевым для каналов длиной менее 3 метров при скорости 800G. ACC расширяет зону действия медного кабеля примерно до 5 метров с минимальными затратами на электроэнергию. AEC использует цифровые таймеры для передачи самого чистого медного сигнала на расстояние до 7 метров. AOC покрывает расстояние от 10 до 100 метров по оптоволокну с полной устойчивостью к электромагнитным помехам. В этом руководстве объясняются все технические различия, чтобы вы могли выбрать правильный кабель до того, как ваши графические процессоры будут поставлены в стойку.

Ваша спецификация сборки для следующего кластера ИИ завершена. Вы остановили свой выбор на пассивном ЦАП после сравнения вариантов ЦАП, AOC, AEC и ACC, и заказаны сотни кабелей. Затем инженер измеряет фактическое расстояние от стойки-до-переключателя: четыре метра. Максимальное количество каждого пассивного кабеля ЦАП, который вы заказали, составляет три.

Это не маленькая проблема. При развертывании с 1024-графическими процессорами количество связей между сервером-конечными узлами исчисляется тысячами. Выбор неправильного кабеля – это не просто трата денег на первоначальный заказ. Это требует полной замены инфраструктуры после того, как оборудование уже установлено, а графические процессоры простаивают.

Затраты на ИТ-оборудование и сетевую инфраструктуру составляют более половины капитальных затрат, необходимых для расширения центров обработки данных с использованием искусственного интеллекта., согласно анализу McKinsey. Правильный выбор решения о межсетевом соединении во время проектирования — одна из наиболее-критичных задач в любой современной сборке.

В этом руководстве рассказывается, как работает каждая технология, сколько она стоит в течение трех лет в реальном масштабе, какое место она занимает в топологии вашей сети и как создать оптимальное гибридное развертывание для сценариев высокопроизводительного кластера ИИ.

1. Что такое активный оптический кабель (АОК)?

Активный оптический кабель (AOC) – это кабельная сборка с заводской-заделкой, которая объединяет компоненты оптического приемопередатчика и оптоволокно в единый герметичный блок. Каждый конец преобразует электрические сигналы в свет для передачи и обратно в электрический на дальнем конце. AOC поддерживает высокоскоростную-полосу пропускания и соединения на большие-расстояния примерно от 10 до 100 метров по многомодовому оптоволоконному кабелю и, кроме того, по одномодовому оптоволоконному кабелю с полной устойчивостью к электромагнитным помехам (EMI).

AOC устраняет необходимость в отдельном подключаемом устройстве.оптический модульв сочетании с внешней оптоволоконной перемычкой.оптические приемопередатчикивстроены непосредственно в каждый конец кабеля. Каждая сборка AOC содержит блок CDR (восстановление часов и данных) для очистки входящего электрического сигнала, микросхему Retimer или Gearbox для согласования скорости полосы движения, лазерный драйвер и лазер для оптического вывода, а также фотодетектор (PD) для приема и преобразования входящего света обратно в электрический сигнал. Эта интегрированная архитектура снижает риск загрязнения оптических портов, поскольку порты закрыты, а не открыты. Многие разработки AOC также оптимизируют внутренние оптические компоненты и исключают функцию цифрового диагностического мониторинга (DDM), чтобы обеспечить лучший баланс затрат-производительности.

AOC — правильный выбор для соединений, охватывающих несколькостеллажи, пересекайте разные POD, связывайте отдельные кластеры или перемещайтесь между этажами. Распространенным примером развертывания является архитектура с опорным-листом с использованием коммутаторов Cisco Nexus 3432D-S с кабелями 400G AOC и 400G-4x100G AOC, обеспечивающими все соединения между устройствами-в сети. Эта архитектура в полной мере использует преимущества дальности действия и целостности сигнала AOC на расстояниях, где медь просто не может конкурировать.

Одно из ключевых ограничений, которое необходимо учитывать: 800G OSFP-to-OSFP AOC еще не широко доступен на рынке. Разъем OSFP физически больше и тяжелее, чем QSFP-DD и более ранние форм-факторы, что создает механическое напряжение во время установки, которое может привести к повреждению. Вот почему большинство поставщиков до сих пор не предлагают 800G OSFP-to-OSFP AOC в качестве стандартной линейки продуктов.

2. Что такое кабель ЦАП и почему он все еще доминирует?

Кабель прямого подключения (DAC) — это пассивный медный кабель с фиксированными электрическими разъемами на обоих концах. Он передает электрические сигналы напрямую между двумя устройствами, без преобразования сигнала, без электро-оптических компонентов и без микросхем внутри. ЦАП стоит дешевле, чем любой другой вариант высокоскоростного соединения,-и потребляет практически нулевую мощность. На скорости 800G пассивный ЦАП надежно покрывает расстояния примерно от 2 до 3 метров.

Благодаря этому принципу нулевого-потребления и низкой-затраты DAC доминирует в каналах связи центров обработки данных с коротким-диапазоном со времен 40G и остается актуальным по сей день. Данные о мощности ясно говорят об этом.Коммутатор NVIDIA Quantum-2 InfiniBand потребляет около 747 Вт при использовании кабелей ЦАП по сравнению с примерно 1500 Вт при использовании многомодовых оптических модулей.. В большом кластере графических процессоров с тысячами портов коммутатора эта двукратная разница становится значительными периодическими эксплуатационными расходами.

В ЦАП используется твинаксиальная медная конструкция: экранированная дифференциальная пара внутри внешней оболочки, которая передает высокоскоростные-электрические сигналы от одного фиксированного разъема к другому. Никакого преобразования не происходит. Никакие чипы не обрабатывают сигнал. Эта простота обеспечивает минимальную задержку среди всех межсоединений (без задержки преобразования), наименьшее количество внутренних точек сбоя и минимальную совокупную стоимость владения при использовании в-стойке. ЦАП широко используется для подключения серверов к-коммутаторам-стойки (ToR), для подключений сервера-к-SAN (сети хранения данных), а также для соединений-коммутатора ближнего радиуса действия-с-маршрутизатором в центре обработки данных.

Предел расстояния является определяющим ограничением на уровне 800G.Переход с 400G на 800G уменьшил эффективную дальность действия пассивного ЦАП с 3–5 метров примерно до 2–3 метров.,поскольку каждая из восьми полос теперь работает со скоростью 112 Гбит/с с использованием сигнализации PAM4. Более высокая частота означает более быстрое ухудшение сигнала по медным проводникам.

Когда мы анализировали архитектуру межсоединений для кластера NVIDIA HGX H100 из 128-модулей, использование ЦАП вместе с одномодовыми оптическими модулями вместо чисто многомодового оптического подхода снизило общую стоимость кабелей примерно на 35 %. Для любого соединения, длина которого составляет 2–3 метра, ЦАП остается правильным выбором.

3. ACC и AEC: в чем разница между активными медными вариантами?

ACC (активный медный кабель) включает в себя микросхему перераспределения, которая применяет линейное выравнивание с непрерывным временем (CTLE) на приемной стороне для усиления и изменения формы ухудшенных сигналов, расширяя зону действия медного кабеля примерно до 3–5 метров при мощности всего около 1,5 Вт на сборку. AEC (активный электрический кабель) идет еще дальше: он использует цифровой чип повторного таймера с полным восстановлением тактовой частоты и данных (CDR) на обоих концах для полной регенерации сигнала, а не просто его усиления, надежно достигая расстояния от 5 до 7 метров при мощности от 6 до 12 Вт.

Обе технологии были разработаны потому, что пассивный ЦАП не может охватить все звенья современного ИИ-кластера. При 800G каждая медная линия работает со скоростью 112 Гбит/с. Скин-эффект приводит к тому, что высокочастотные радиочастотные сигналы быстрее затухают в медных проводниках. Вот почему пассивный ЦАП достигает максимального значения в 2–3 метра при 800G. Ни ACC, ни AEC не решают эту проблему переходом на оптоволокно. Оба вместо этого добавляют активную электронику внутри кабельной сборки, чтобы расширить зону действия меди.

ACC использует более простой подход. Микросхема редрайвера на приемной стороне применяет аналоговую коррекцию для усиления и изменения формы входящего сигнала с помощью CTLE. Оно усиливает то, что приходит, несовершенства и все такое.При 800G ACC потребляет примерно 1,5 Вт на сборку., что делает его наиболее-эффективным из доступных вариантов активного медного кабеля.

AEC использует более функциональную архитектуру. Микросхема цифрового повторного таймера как на передающей, так и на приемной стороне применяет CDR для извлечения встроенных тактовых импульсов, устранения накопленного джиттера и восстановления чистого сигнала с нуля. Ретаймер не усиливает шум; он отбрасывает испорченный сигнал и выдает только что восстановленный. AEC также включает в себя упреждающую коррекцию ошибок (FEC) для дополнительного уровня надежности. Крайне важно, что в отличие от традиционных медных кабелей, где скин-эффект приводит к увеличению радиочастотных потерь на более высоких частотах, AEC использует технологию высокочастотной несущей для минимизации потерь при передаче. Эта архитектура обеспечивает AEC существенно лучшую целостность сигнала, чем ACC.Согласно спецификациям HiWire Alliance, AEC поддерживает расстояние передачи от 2 до 9 метров при скорости 800G, что в пять раз больше, чем у пассивного ЦАП..

Компромисс- – мощность.AEC обычно потребляет от 6 до 12 Вт на каждый конец..Это значительно выше, чем у ACC, и на несколько порядков выше, чем у пассивного ЦАП. Для развертываний NVIDIA InfiniBand NDR и XDR на скорости 800G, где расстояния составляют от 3 до 7 метров,AEC стал предпочтительным межсетевым соединениемдля этой дальней зоны. Сегодня большинство коммерческих AEC-проектов основаны на микросхемах ASIC с повторным таймером от Credo Semiconductor, Marvell или Broadcom.

4. AOC и DAC: как они на самом деле сравниваются?

AOC и DAC используют одинаковые форм-факторы разъемов, включая QSFP-DD, OSFP и SFP, поэтому они подходят к одним и тем же портам на любом коммутаторе или сетевой карте сервера. Разница полностью внутренняя. AOC содержит активные электро-аппаратные средства преобразования на каждом конце, включая блоки CDR, лазеры и фотодетекторы, и передает данные в виде модулированного света по оптоволоконному кабелю. ЦАП представляет собой пассивную медную сборку, которая передает данные в виде электрического тока непосредственно между двумя портами, без каких-либо микросхем и каких-либо преобразований.

Это внутреннее различие определяет все остальные-компромиссы между ними.

AOC тоньше (диаметр около 3–4 мм по сравнению с 8–10 мм для медных жгутов), легче, гибче и полностью невосприимчив к электромагнитным помехам. Он работает по многомодовому оптоволокну на расстояние до 100 метров и по одномодовому оптоволокну на гораздо большие расстояния. Эти свойства делают AOC правильным выбором для меж-стоечных, меж-рядных, меж-половых и перекрестных-каналов POD, куда ЦАП физически не может добраться и где вес кабеля и управление воздушным потоком являются реальными проблемами.

ЦАП имеет меньшую задержку, поскольку отсутствует этап преобразования сигнала. Это стоит значительно меньше за соединение и почти не потребляет энергии. Отсутствие лазеров, фотодетекторов и преобразовательных чипов означает меньшее количество точек отказа и более низкую совокупную стоимость владения при использовании на коротких-расстояниях. Восприимчивость к электромагнитным помехам является основной уязвимостью в электрически плотной среде.

Практическое правило планирования: используйтеоптоволоконные патч-кордыи AOC для магистральных сетей, меж-кластерных соединений и всего, что превышает 10 метров. Используйте ЦАП для каждого соединения в-стойке, где измеренное расстояние соединения не превышает 2–3 метров.

5. AOC/DAC/ACC/AEC: полная сравнительная таблица

Вот полный обзор--по всем четырем технологиям 800G:

Для более подробного изучения того, какой оптический трансивер можно использовать в сочетании с AOC в вашей архитектуре 400G, нашРуководство по приемопередатчику 400G QSFP-DDподробно описывает SR8, DR4, FR4 и LR4.

6. Какой кабель выбрать для своего кластера AI?

Ни один тип кабеля не подходит для каждого канала в современном центре обработки данных с искусственным интеллектом. Расстояние – основной критерий выбора. Бюджет мощности и плотность стойки подтверждают это. Сначала сопоставьте каждое соединение в топологии с фактическим измеренным расстоянием кабеля-трассы, а затем сопоставьте технологию с этой зоной расстояния.

Для звеньев до 3 метровПассивный ЦАП — правильный выбор. Это охватывает большинство подключений -стоечного сервера-к-коммутаторам ToR в плотных модулях графических процессоров, где серверы расположены непосредственно под конечными коммутаторами. Нулевая потребляемая мощность. Самая низкая цена за ссылку.Для фабрики со 100-портами замена AOC на ЦАП для коротких соединений в стойке экономит примерно 800 Вт непрерывной мощности..

Для звеньев от 3 до 5 метров, ACC заполняет пробел между пассивным ЦАП и более мощным-вариантом AEC. Наиболее распространенный сценарий — когда ваша стойка сетевой агрегации расположена на расстоянии одной позиции от ваших вычислительных стоек, что делает пассивный ЦАП слишком коротким, но ненужными накладные расходы на питание AEC.

Для звеньев длиной от 5 до 7 метров, AEC – правильный выбор. Этот диапазон охватывает многостоечные соединения и архитектуры среднего--ряда (MoR) или конца-ряда-(EoR) в плотных кластерах графических процессоров.Недавние демонстрации показали, что AEC достигает 9 метров на скорости 800G.,продолжая расширять диапазон жизнеспособности меди. На эквивалентных расстояниях канал AEC потребляет на 25–50 % меньше энергии, чем канал AOC.

Для ссылок более 10 метров, AOC является стандартным выбором. Восходящие каналы-к-листам, перекрестные-соединения POD, межэтажные магистрали и любой сценарий со значительными ограничениями по электромагнитным помехам или прокладке кабелей - все это относится к уровню AOC. Профиль кабеля AOC толщиной от 3 до 4 мм также стоит рассмотреть для сверхплотных стоек мощностью более 40 кВт на стойку, где объем медного жгута может существенно препятствовать потоку воздуха спереди-на-сзади даже на расстоянии менее 5 м.

Современные центры обработки данных искусственного интеллекта, особенно крупные-кластеры графических процессоров, не выбирают одну технологию. Они используют все четыре в гибридном развертывании. DAC, ACC и AEC обеспечивают горизонтальные «капиллярные» соединения: внутри-стойку и меж-каналы на короткие---средние расстояния, где приоритетом является экономичность медных проводов и низкое энергопотребление. AOC управляет вертикальными «магистральными» соединениями: перекрестными-POD, меж-кластерными и меж-этажными соединениями, для которых требуется большая дальность действия, меньшая длина кабеля и устойчивость к электромагнитным помехам. Именно так сегодня строятся наиболее эффективные крупномасштабные-сети графических процессоров.

Затраты на электроэнергию имеют большее значение, чем планирует большинство команд. При цене 0,08 доллара США/кВтч с PUE 1,4 затраты на электроэнергию за три-года на 1000 портов составляют примерно 4500 долларов США для пассивного ЦАП, 87 000 долларов США для ACC и 294 000 долларов США для AEC..Чрезмерное-определение приводит к многолетним ненужным эксплуатационным расходам. Указание DAC, где требуется AEC, приводит к сбою развертывания. Правильное составление карты расстояний во время разработки — вот что отличает тех, кто строит комиссию по графику, от тех, которые этого не делают.

Наш полныйАссортимент кабелей DAC и AOCвключает конфигурации ACC и AEC для развертываний центров обработки данных AI 400G и 800G, а такжеПатч-корды МПО и сборки AOC, разработанные для уровня магистральной сети.

7. Преимущества и ограничения AOC, которые вам нужно знать

Самыми сильными сторонами AOC являются ее охват и полная невосприимчивость к электромагнитным помехам. По оптоволокну данные передаются в виде модулированного света, а не в виде электрического тока, поэтому никакие электромагнитные помехи от соседних серверов, коммутаторов или силового оборудования не могут ухудшить сигнал. Сам кабель тонкий (диаметром около 3–4 мм), легкий и очень гибкий, что улучшает прокладку кабеля и улучшает поток воздуха спереди--в стойках с высокой-плотностью по сравнению с медными жгутами эквивалентной мощности.Центры обработки данных с генеративным искусственным интеллектом требуют примерно в десять раз больше оптоволокна, чем традиционные центры обработки данных.для поддержки межсоединений кластера графических процессоров, а AOC легко масштабируется на скоростях соединения 400G, 800G и будущих 1,6T.

Производительность подтверждена в самом высоком масштабе.Кабели NVIDIA LinkX AOC используются в большинстве систем HPC TOP500 по всему миру.,это является сильным сигналом уверенности в этой технологии для-критических сред.

AOC также имеет реальные ограничения, которые напрямую влияют на решения о закупках. Во-первых, встроенные оптические порты-запечатаны на заводе, что означает, что очистка во время работы не требуется, но выход из строя приемопередатчика на любом конце означает замену всего кабеля в сборе, а не только модуля. Стоимость замены выше, чем замена одного подключаемого трансивера. Во-вторых, длина кабеля фиксируется во время производства. Вы указываете точное расстояние до отправки кабеля и не можете его отрегулировать после доставки. Точное планирование расстояния перед размещением заказа необходимо, а не является обязательным.

В-третьих, энергопотребление AOC выше, чем у любой медной альтернативы, поскольку лазеры работают непрерывно. В масштабе тысяч портов в большом кластере эта премия увеличивается за несколько лет работы. Наконец, доступность 800G OSFP---OSFP AOC остается ограниченной, как обсуждалось ранее. Некоторые конфигурации 800G потребуют альтернативных подходов, пока отрасль не устранит механические ограничения форм-фактора OSFP для AOC.

8. Преимущества и ограничения ЦАП в масштабе 800G

Основное преимущество DAC — его простота. Никаких чипсов. Никакой конверсии. Никакого энергопотребления. Сигнал передается в виде электрического тока от одного фиксированного разъема к другому через экранированную медную пару. Это обеспечивает минимальную стоимость канала, минимальную задержку (без задержки преобразования) и наименьшее количество внутренних точек отказа среди всех доступных высокоскоростных межсоединений. Для внутристоечных соединений на скорости 800G, где измеренная длина кабеля находится в пределах 2–3 метров, ЦАП является объективно правильным выбором с точки зрения производительности-на-доллар.

DAC также механически долговечен. Медь передает электрические сигналы без чувствительности к вибрации, загрязнению частицами или чистоте разъема, которая требуется для оптоволоконных соединений. В загруженной производственной среде, где кабели регулярно трогают, перемещают и меняют конфигурацию, механическая надежность является реальным практическим преимуществом по сравнению с оптическими альтернативами.

Физический объем — самое существенное ограничение ЦАП в масштабе 800G. Медные сборки 800G имеют диаметр примерно от 8 до 10 мм и значительно жестче, чем альтернативные оптоволоконные кабели. В полностью загруженной стойке высотой 42U с несколькими серверами графических процессоров и десятками подключений на единицумасса кабелей от связок ЦАП может существенно препятствовать потоку воздуха спереди-и-сзадии повысить термический риск для вычислительного оборудования. Некоторые операторы выбирают AOC даже для каналов длиной менее 3 м в стойках мощностью более 40 кВт, особенно потому, что профиль волокна от 3 до 4 мм восстанавливает запас воздушного потока, который блокируют медные жгуты.

Восприимчивость к электромагнитным помехам является вторым ограничением. Медь проводит электрический ток, и этот ток в непосредственной близости от другого активного оборудования вызывает помехи. В хорошо-спланированных и правильно разделенных стойках это обычно не является проблемой. В чрезвычайно плотной среде с большим количеством кабелей-это может ухудшить целостность сигнала и повысить частоту ошибок.

Расстояние – это жесткий физический предел.Переход от 400G к 800G уменьшил дальность действия пассивного ЦАП с 3–5 метров примерно до 2–3 метров..Эта тенденция продолжится по мере того, как скорость передачи данных будет приближаться к 1,6T. Для любого канала длиной более 2–3 метров требуется ACC, AEC или AOC, в зависимости от точного расстояния и бюджета мощности.

Заключение

Ни один тип кабеля не подходит для всех сценариев в современном центре обработки данных с искусственным интеллектом. Каждая технология охватывает определенную зону расстояния, и в лучших развертываниях используются все четыре в нужных местах.

Расстояние определяет технологию: пассивный ЦАП для диапазона менее 3 метров, ACC для диапазона от 3 до 5 метров, AEC для диапазона от 5 до 7 метров и AOC для диапазона 10 метров и более. Бюджет мощности и плотность стойки подтверждают выбор. Правильное сопоставление во время разработки предотвращает дорогостоящие программы замены кабелей после того, как графические процессоры уже установлены.

Компания COBTEL более 20 лет работает в отрасли оптоволоконных и сетевых кабелей. Мы разработали сквозные--решения передачи данных 400G, 800G и 1,6T для центров обработки данных с искусственным интеллектом и производим полный спектр межсетевых продуктов, необходимых на каждом уровне современной кластерной сети графических процессоров: от пассивного ЦАП и ACC для соединений внутри-стойки до сборок AOC и MPO для уровня магистральной сети.

Готовы подобрать подходящее межсоединение для вашей следующей сборки? Заполните форму запроса внизу этой страницы.Инженер COBTEL ответит рекомендациями, адаптированными к вашей конкретной топологии, расстояниям и требованиям к производительности.

Часто задаваемые вопросы

В чем разница между кабелями DAC и AOC?

DAC (кабель прямого подключения) — это пассивный медный кабель, который передает электрические сигналы напрямую между двумя устройствами без чипов и преобразования сигнала. AOC (активный оптический кабель) объединяет оптические трансиверы на каждом конце и передает данные в виде света по оптоволоконному кабелю. Оба используют одинаковые форм-факторы разъемов (SFP, QSFP-DD, OSFP) и подходят к одним и тем же портам коммутатора и сервера. ЦАП стоит дешевле и почти не потребляет энергии, но максимальная длина составляет от 2 до 3 метров при 800G. AOC поддерживает расстояния от 10 до 100 метров и более, что требует более высоких затрат и энергопотребления.

Что означает ACC и чем он отличается от пассивного ЦАП?

ACC означает активный медный кабель. Как и пассивный ЦАП, он передает электрические сигналы через медный твинаксиал. Разница заключается в встроенном чипе перераспределения на приемной стороне, который применяет линейное выравнивание непрерывного времени (CTLE) для усиления и изменения формы входящего сигнала. Такое преобразование аналогового сигнала расширяет зону действия медного кабеля с 2–3 метров (пассивный ЦАП на 800G) примерно до 3–5 метров.ACC потребляет около 1,5 Вт на сборку.,что делает его наиболее энергоэффективным-из доступных вариантов активного медного кабеля.

Когда мне следует использовать AEC вместо ACC или AOC?

Выбирайте AEC для каналов длиной от 5 до 7 метров, что обычно охватывает соединения нескольких-стоек и архитектуры среднего-ряда-или конца--ряда в кластерах графических процессоров. AEC использует цифровой чип повторного таймера с полным CDR на обоих концах, восстанавливая чистый сигнал с нуля, а не усиливая ухудшенный.Спецификации HiWire Alliance подтверждают, что AEC может достигать длины до 9 метров при 800G,охват именно той зоны расстояния, с которой пассивные ЦАП и ACC не могут справиться без перехода на оптические цены. На том же расстоянии AEC потребляет на 25–50 % меньше энергии, чем AOC.

Могу ли я использовать кабели ЦАП на скоростях 800G?

Да, но с меньшим радиусом действия, чем на предыдущих скоростях.Переход с 400G на 800G сократил расстояние передачи пассивного ЦАП с 3–5 метров примерно до 2–3 метров., потому что каждая полоса теперь работает со скоростью 112 Гбит/с с использованием сигнализации PAM4. Перед размещением заказа измерьте фактическую длину кабельной трассы. Если расстояние соединения остается в пределах 2–3 метров, пассивный ЦАП 800G остается самым дешевым вариантом с наименьшей-стоимостью и наименьшим- энергопотреблением. Для всего остального требуется ACC, AEC или AOC.

Какой тип кабеля лучше всего подходит для крупномасштабного-центра обработки данных искусственного интеллекта с кластером графических процессоров?

Ни одна технология не является правильным выбором для всех звеньев. Большие кластеры графических процессоров используют все четыре компонента в гибридном развертывании: пассивный ЦАП для соединений внутри-стойки длиной менее 3 метров, ACC для соединений соседних-стоек до 5 метров, AEC для соединений нескольких-стоек в зоне 5–7 метров и AOC для соединений магистральной сети на большие-расстояния и перекрестных-подключений POD.Финансовые последствия неправильной спецификации типов кабелей усугубляются на тысячах каналов в крупном развертывании., поэтому измерение фактических топологических расстояний перед составлением спецификации имеет важное значение.