Для ЛЛ: основная проблема в сетях – люди
Вкатываясь в современное ИТ, не в разработку (там свои приколы с сетями), с сетями придется иметь дело, рано или поздно.
Сначала про учебу. Не имеет никакого значения, какую книгу вы выбираете, хотя выбирать стоить Одома. Нет Одома – берите что угодно еще, хоть видео онлайн. Выбирать «что-то одно» - обычное нежелание что-то делать, поиск единственно верной книги.
Это проблема школьного образования РФ, где учат искать:
единственно верный ответ,
единственно верным путем,
в единственно правильной книге.
В сетях и жизни самый короткий, или самый дешевый, путь не всегда будет самым быстрым.
Примечание. Я постараюсь использовать единообразные термины, то есть:
свичи (коммутаторы)
роутеры (маршрутизаторы)
фаерволлы (брандмауэры)
но не обещаю.
Базовые принципы роутинг энд свитчинг коммутации и маршрутизации для одного пакета, действительно, не менялись лет примерно 30 – с момента выхода CIDR, Classless Inter-Domain Routing. 1993 год, rfc1519. Все остальное поменялось, и поменялось сильно.
Появились порты QSFP‑DD и OSFP, зато умерли эти-здоровые (GBIC кажется).
Для коммутации и маршрутизации теперь существует Cisco Express Forwarding (CEF) и аналогичные вариации.
Скорость коммутации пакета стала иметь значение, причем огромное значение. Arista сделала всех в части быстрой коммутации (на Xilinx В 7130 с его примерно 50 ns и ниже)/ Хотя в Cisco и 80 ns рады. На 400 GbE портах.
Скорости портов выросли с сотен мегабит (ну, гигабита), до сетей 400\800 G.
Но больше всего сети задела виртуализация, и я не говорю про виртуальные роутеры, виртуальные фаерволлы, и прочие аплайнсы.
20 лет назад для повышения скорости сети использовались Etherchannel, он же LAG.
С появлением (в начале 2010х) виртуальных коммутаторов с технологией switch embedded teaming (set) от Microsoft и нормальной работы VMware (Broadcom) virtual Standard Switch (vSS), virtual Distributed Switch (vDS) - LAG они стали не нужны. Тем более, что Virtual Switching System (VSS) и MLAG (Multi-Chassis Link Aggregation) на коммутаторах тогда работал так же отвратительно, как сегодня.
10 лет назад в массы пошли сетевые карты с RDMA – 25/100G. Первый раз я их крутил в руках в 2017 году (появились на рынке в 2014м). Стоили они тогда по 2000$ за порт, или около того.
В чем проблема, спросите вы? В том, что для RDMA гораздо сложнее собрать LAG. Еще недавно он и не собирался, да и сейчас, на современных сетевых картах, он работает по принципу Active-Active. То есть это не одновременное использование двух сетевых каналов.
Но, повторюсь, с выходом SET это стало не нужно.
Отдельно надо упомянуть проблемы оптимизации сети – это и TCP Chimney Offload, Receive Side Scaling, и новые. Это все кошмарно влияет на реальные сети, даже если сетевики говорят «у нас все работает».
Например, SR‑IOV, VMQ, VMMQ, и так далее
Next, check whether VMQ and VMMQ are enabled and properly balanced. In Server 2019, VMQ scaling was stable, but in Server 2025 the default queue allocation logic changed. Run Get-NetAdapterVmq and Get-NetAdapterSriov on the host to confirm queues are active and mapped correctly. If you see queues pinned to a small subset of cores, you may need to adjust RSS/VMQ processor affinity using Set-NetAdapterVmq to spread load across NUMA nodes.
Отдельно надо упомянуть, что масса так называемых «сетевиков» остановилась в развитии на уровне «собрал LAG и хватит», вообще не интересуясь, как это работает.
И отдельно надо упомянуть не только IPv6, с которым массово люди не умеют работать, но и оверлейные сети. И не только для RDMA (RoCEv2 ) и lossless Ethernet, но и для IEEE 802.1ad (QinQ).
И я не говорю про Container Networking Interface (CNI)
И это еще мы не пошли в тему прокси, реверс прокси, и прочие радости реального мира
Зачем это нужно или смерть мерзкая от микротиков
У СХД среднего уровня добавляется и производительность, и надежность. Для AFA к All-SAS SSD добавляется ALL-NVME SSD, с их оптимизациями под NVMe over Fabrics (NVMe-oF) и NVMe over RDMA over Converged Ethernet (NVMe over RoCE). С последними поколениями коммутаторов на FPGA Xilinx UltraScale VU9P, скажем Arista 7130E с их задержками в 50 ns, все становится очень интересно.
Общий пейзаж современной ИТ инфраструктуры в части хранения и доступности данных
ИТ не работает «само по себе», ИТ это расходная структура обеспечения деятельности бизнеса. Даже разработка софта (бизнес сам по себе) не нужна «вообще», а нужна для работы какого-то бизнеса.
Бизнес бывает сильно завязан на ИТ, как облака, современные банки. Бывает, бизнес жил и живет без ИТ. Когда интернет можно отключить, и накладные на перевозку цистерны мазута можно передать факсом и потом привезти распечатку, а все ИТ – это большие счеты и электрическая печатная машинка. Когда хватает 1с, и даже хватает СБИС. Когда никакие ERP (enterprise resource planning) , как SAP, и отчетность, как Power BI, не нужны.
Если бизнес не привязан к скорости, надежности, доступности ИТ, то и денег в нем будет выделяться «только чтобы работало». Это не хорошо, не плохо, это реальность.
В таком бизнесе не нужны ИИ, системы хранения данных, сети хотя бы 25\100 G, им действительно хватает даже 100 мбит и гигабита. Там даже можно ставить Postgres Pro, даже его будет достаточно для работы.
НО. Это, зачастую, низкоквалифицированный труд, и, соответственно, низко оплачиваемый.
Но мало того, что он низкооплачиваемый, он еще и ограничивает время на дообучение постоянными авралами, постоянным размыванием задач, и люди даже не представляют, что бывает по другому, и что вот эти все «тихналогии» где-то используются.
Люди попадают в замкнутый круг и защищают свою позицию, что они «занимаются важным делом». Правда, за «важное дело» почему-то не платят. Особенно в регионах.
Тут уже решайте сами, что важнее – учиться и менять работу, или спать на работе по 6 часов, ничему не учась. Или не спать, а заниматься всем – и картриджами, и сетями, и впн начальству настраивать. За тот же мелкий прайс.
А микротик что. Микротик, как и ранее длинк, продукт неплохой. Если только это у вас не ядро сети на микротике, а какой-то удаленный офис на 5 человек.
Важно понимать. "Чистый сетевик" , без понимания выше L3, и с ручной работой, современному рынку "где есть деньги" нужен .. не настолько, чтобы за это платить. Но про это будет следующая часть.
Пополняемый список (по мере написания постов) литературы для обязательного чтения
Уэнделл Одом, CCIE® №1624/ Официальное руководство Cisco по подготовке к сертификационным экзаменам CCENT/CCNA ICND1 640-82
Читать именно в таком порядке, по мере выхода книг.
«Мифический человеко-месяц, или Как создаются программные системы» (англ. The Mythical Man-Month: Essays on Software Engineering)
Deadline. Роман об управлении проектами
Проект феникс. Роман о том как DEVOPS меняет бизнес к лучшему
Сложно о простом. Все, что бы вы хотели знать о SFP модулях. Часть 1. Эволюция модулей и базовые понятия
Сведения о функциях tcp Chimney Offload, Receive Side Scaling и Network Direct Memory Access в Windows Server 2008
Information about the TCP Chimney Offload, Receive Side Scaling, and Network Direct Memory Access features in Windows Server 2008
Как устроена цепочка сетевого стека VMware ESXi на уровне виртуального коммутатора - Network IOChain.
Overview of Azure CNI Overlay networking in Azure Kubernetes Service (AKS)
Черновик Internet Protocol Version 8 (IPv8)
Активные сканеры суверенного интернета: CYBEROK Skipa
Провал учебной программы, или учи меня, тварь
Ответ на пост «Прошу совета»
Общий пейзаж современной ИТ инфраструктуры в части хранения и доступности данных