Еще раз про VMware, vswitch и LAG (Etherchannel, bonding)
Коллеги регулярно читают какие-то смутные переводы, а скорее пересказы концепции «два провода лучше одного» и собирают в Vmware Link aggregation (LAG / (Etherchannel)). Эта статья – попытка в очередной раз разобраться, нужен ли он для связи сервера esxi и физического коммутатора, и если нужен, то зачем.
Read more... )
Best Practices for Networking
To keep vSphere HA agent traffic on the networks you have specified, configure hosts so vmkNICs used by vSphere HA do not share subnets with vmkNICs used for other purposes. vSphere HA agents send packets using any pNIC that is associated with a given subnet when there is also at least one vmkNIC configured for vSphere HA management traffic. Therefore, to ensure network flow separation, the vmkNICs used by vSphere HA and by other features must be on different subnets.
https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.avail.doc/GUID-B1906BCD-E538-4FFF-AAE9-5403FE253F38.html

VMware High Availability и проверка изоляции
С другой стороны, использование маршрутизатора по умолчанию в качестве адреса для проверки изоляции не является хорошей идеей, поскольку в небольших компаниях в качестве маршрутизатора может использоваться, например, ISA Server, развернутый в виртуальной машине. Это может привести к ситуации, когда сервер ESXi будет успешно пересылать пакеты любой из запущенных на нем ВМ (в пределах одного виртуального коммутатора), хотя в действительности окажется изолированным от физической сети.

Наконец, в ряде случаев, возможно и ложное срабатывание, когда все узлы кластера, подключенные к одному коммутатору, из-за кратковременной недоступности сети посчитают себя изолированными и остановят свои виртуальные машины.

Для предотвращения этой ситуации следует, во-первых, дублировать сетевое оборудование, во вторых, добавить проверку дополнительных адресов, прописав в Advanced Options настройках HA кластера параметры das.isolationaddress и/или das.isolationaddress{n}.

Первый параметр позволяет задать один дополнительный адрес для проверки изоляции, второй, точнее остальные - до десяти дополнительных адресов (в различных документах описывается, что параметры должны иметь значение das.isolationaddress1, das.isolationaddress2, ... das.isolationaddress10, хотя на практике мне удавалось задать и das.isolationaddress0; номер в названии параметра влияет на очередность при проверке).
http://blog.vmpress.org/2011/04/vmware-high-availability.html?m=1

Host Failure Types
In a vSphere HA cluster, three types of host failure are detected:
Failure. A host stops functioning.
Isolation. A host becomes network isolated.
Partition. A host loses network connectivity with the primary host.
https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.avail.doc/GUID-4ED552C3-0291-4553-A46A-290EF883BC8D.html

BEACON PROBING DEEP-DIVE
By Martin Gavanda Posted March 25, 2019 In Architecture, VMware, vSphere basics
https://learnvmware.online/2019/03/25/beacon-probing-deep-dive/

What is beacon probing? (1005577)
https://kb.vmware.com/s/article/1005577

И наконец, где можно получить проблемы: не всегда аппаратная часть отрабатывает корректно, например по факту порты при некорректной прошивке, могут рапортовать что выключены, но по факту включены.
рекомендовали: Devsec:
Zero Trust Networks: Building Secure Systems in Untrusted Networks
Book by Doug Barth and Evan Gilman
https://www.oreilly.com/library/view/zero-trust-networks/9781491962183/

В целом же для тех, кто начинает только знакомиться с безопасностью в ИТ и разработке, стоит начать с беглого знакомства с:
ISO/IEC 27001 — Information security management
https://www.iso.org/isoiec-27001-information-security.html

Разработка безопасного программного обеспечения по ГОСТ Р 56939-2016
https://www.securitylab.ru/blog/personal/crypto-anarchist/312897.php

Защита информации
РАЗРАБОТКА БЕЗОПАСНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Руководство по реализации мер по разработке безопасного программного обеспечения
https://fstec.ru/component/attachments/download/2638
с редиректом на https://fstec.ru/component/attachments/download/2638

и
ГОСТ Р 57580.1-2017 «Безопасность финансовых (банковских) операций. Защита информации финансовых организаций.
ГОСТ Р 57580.2-2018 Безопасность финансовых (банковских) операций. Защита информации финансовых организаций. Методика оценки соответствия
Иногда возникает вопрос - что же происходит на сетевых интерфейсах.
Из командной строки СХД зачастую можно собрать дополнительную информацию.
Сначала по событиям

event log show

https://www.netapp.com/us/media/tr-4067.pdf
https://whyistheinternetbroken.wordpress.com/2017/10/25/ontap93-nfs-sneakpreview/
https://whyistheinternetbroken.wordpress.com/2016/05/02/trace-nfsv3-mount-failures-cdot/

И затем уже TCPdump
https://docs.netapp.com/ontap-9/index.jsp?topic=/com.netapp.doc.dot-cm-cmpr-950/network__tcpdump__start.html
Guidance for configuring IPv6 in Windows for advanced users
Important Internet Protocol version 6 (IPv6) is a mandatory part of Windows Vista and Windows Server 2008 and newer versions. We do not recommend that you disable IPv6 or its components. If you do, some Windows components may not function.

https://support.microsoft.com/en-us/help/929852/guidance-for-configuring-ipv6-in-windows-for-advanced-users

( HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip6\Parameters\ )

DisabledComponents = 0x20, задает предпочтение протоколу IPv4 (а не IPv6) путем изменения записей в таблице политик префиксов.
https://jackyre.wordpress.com/2013/08/30/%D0%BE%D1%82%D0%BA%D0%BB%D1%8E%D1%87%D0%B5%D0%BD%D0%B8%D0%B5-ipv6-%D0%B4%D0%BB%D1%8F-%D0%B0%D0%B4%D1%80%D0%B5%D1%81%D0%B0-localhost/
Из рассылки:
Коллеги, здравствуйте!
Рад сообщить, что по NSX появилась программа обучающих семинаров по запросу “NSX vExperience Trainings”.
Новый формат по сути разбивает на небольшие тематические блоки весь контент, который мы традиционно готовим для NSX Experience Day. Язык семинаров - английский. На данный момент идет добавление на labs.hol.vmware.com лабораторных работ, которые позволят на практике закрепить теоретический материал курса. Проходить темы можно в удобное время в произвольном порядке.
В курсе разобраны следующие вопросы:
01. Introduction to NSX and Use-Cases
02. NSX-T Architecture
03. Distributed Logical Switching
04. Distributed Logical Routing
05. Distributed Firewalling
06. Distributed IDS/IPS
07. NSX-T Service Insertion
08. NSX Load Balancer and NSX Advanced Load Balancer
09. NSX -T Federation 3.0
10. Troubleshoot and Analyze (vRealize Network Insight and NSX Intelligence)
11. Container Networking and Security
Длительность видео-роликов варьируется в интервале от 30 до 60 минут.
Ссылка на регистрацию здесь: On Demand Program to deliver vExperience Days
https://onlinexperiences.com/Server.nxp?LASCmd=AI:4;F:APIUTILS!51004&PageID=0C7CE812-4189-444D-B6F6-D97181B884DE
Из переписки:

Котоны, если кто-то использует сеть на базе EVPN+VXLAN+BGP и балансеры с DSR (например в LogInsight ILB), то аккуратней… По умолчанию EVPN-MAC-IP timeout 20 минут. Ну вы поняли
Ну и multi-homing lag в таких сетях также днище, не делайте так
Этот щит попортил моей крови немного, стараюсь предостеречь комрадов
Прокси арп хорошо, но в реализации логинсайта и вышеозначенной архитектуры вендора, чье имя нельзя называть, это не работает. Классика dsr это чистые lo адреса, логинсайт на кой-то * вешает их еще и на eth0
Начало - https://robopet3.dreamwidth.org/44547.html
Продолжение.
На вопросы читателей отвечает Джон Сэвилл
Механизм динамических очередей виртуальных машин Dynamic VMQ (DVMQ) активирует различные очереди VMQ в сетевом адаптере, чтобы они были назначены различным виртуальным машинам, а каждая очередь VMQ может быть назначена различным процессорам в системе. Это позволяет распределять сетевую нагрузку на несколько локальных процессоров и помогает виртуальному коммутатору быстрее распределять трафик, поскольку конкретные очереди VMQ привязаны к определенной виртуальной машине. Обратите внимание, что теперь хост и каждая виртуальная машина привязаны к единой очереди и, таким образом, к одному ядру. Это означает, что каждый из них ограничен полосой пропускания, поддерживаемой одним ядром; это обычно примерно 5–6 Гбит/с на современных процессорах. Более подробную информацию можно найти по адресу: http://blogs.technet.com/b/networking/archive/2013/09/10/vmq-deep-dive-1 of-3.aspx.

https://www.osp.ru/winitpro/2015/09/13046825/

Но при работе с ним необходимо учитывать и The Minimum Root, or "Minroot" Configuration
https://docs.microsoft.com/en-us/windows-server/virtualization/hyper-v/manage/manage-hyper-v-minroot-2016#the-minimum-root-or-minroot-configuration

и необходимость настроек - Plan the Use of vRSS
https://docs.microsoft.com/en-us/windows-server/networking/technologies/vrss/vrss-plan
Не секрет, что часть нагрузки по обработке сетевых данных может быть перенесена в сетевую карту. Это такие известные вещи как TCP Chimney Offload / Receive Side Scaling / Network Direct Memory Access
И там же TCP Segmentation Offload (TSO) / Large Receive Offload (LRO)
начать читать про них можно здесь:
* Information about the TCP Chimney Offload, Receive Side Scaling, and Network Direct Memory Access features in Windows Server 2008
https://support.microsoft.com/en-us/help/951037/information-about-the-tcp-chimney-offload-receive-side-scaling-and-net

* Poor network performance or high network latency on Windows virtual machines (2008925)
https://kb.vmware.com/s/article/2008925

* Understanding TCP Segmentation Offload (TSO) and Large Receive Offload (LRO) in a VMware environment (2055140)
https://kb.vmware.com/s/article/2055140

В MS server 2016 работа с сетями была улучшена:
Virtual machine multi queues (VMMQ) - теперь для одной ВМ можно сделать несколько аппаратных очередей, что улучшает быстродействие.
https://www.vmgu.ru/news/microsoft-windows-server-2016-hyper-v

Virtual Machine Multiple Queues (VMMQ), formerly known as Hardware vRSS, is a NIC offload technology that provides scalability for processing network traffic of a VPort in the host (root partition) of a virtualized node. In essence, VMMQ extends the native RSS feature to the VPorts that are associated with the physical function (PF) of a NIC including the default VPort.

VMMQ is available for the VPorts exposed in the host (root partition) regardless of whether the NIC is operating in SR-IOV or VMQ mode. VMMQ is a feature available in Windows Server 2016.
https://docs.mellanox.com/pages/viewpage.action?pageId=12007112

Тем не менее, "из коробки" все работает не всегда так, как хочется, и необходимо читать про
Setting the Number of RSS Processors
https://docs.microsoft.com/en-us/windows-hardware/drivers/network/setting-the-number-of-rss-processors

Performance tuning for low-latency packet processing
https://docs.microsoft.com/en-us/windows-server/networking/technologies/network-subsystem/net-sub-performance-tuning-nics

Conservative RSS Profile assigns 2 CPUs when 1 RSS Queue is chosen RRS feed (ссылка)

и Broadcom RSS and VMQ Tuning on Windows Servers
https://www.broadcom.com/support/knowledgebase/1211161326328/rss-and-vmq-tuning-on-windows-servers

Для Hyper-v, кроме того, необходимо изучить Dynamic Virtual Machine Queue (dVMQ) и Dynamic Virtual Machine Multi-Queue (d.VMMQ).
https://github.com/microsoft/SDN/commit/749427c97f6abaf12ac4ebe191d62978857ae9f6
https://www.chelsio.com/wp-content/uploads/resources/t6-100g-dvmmq-windows.pdf

Synthetic Accelerations in a Nutshell – Windows Server 2019
https://techcommunity.microsoft.com/t5/networking-blog/synthetic-accelerations-in-a-nutshell-windows-server-2019/ba-p/653976


Для Vmware данные задачи идут по разделу NetQueue для 5.5, 6.5 и далее.
NetQueue takes advantage of the ability of some network adapters to deliver network traffic to the system in multiple receive queues that can be processed separately, allowing processing to be scaled to multiple CPUs, improving receive-side networking performance.
https://docs.vmware.com/en/VMware-vSphere/5.5/com.vmware.vsphere.networking.doc/GUID-6B708D13-145F-4DDA-BFB1-39BCC7CD0897.html
https://docs.vmware.com/en/VMware-vSphere/6.5/com.vmware.vsphere.networking.doc/GUID-6B708D13-145F-4DDA-BFB1-39BCC7CD0897.html

И их настройка, включение и выключение описаны отдельно, как и ранее существовавшие проблемы, в частности:
March 23, 2017
Receive Side Scaling is not functional for vmxnet3 on Windows 8 and Windows 2012 Server or later. This issue is caused by an update for the vmxnet3 driver that addressed RSS features added in NDIS version 6.30 rendering the functionality unusable. It is observed in VMXNET3 driver versions from 1.6.6.0 to 1.7.3.0.
The Windows Receive Side Scaling (RSS) feature is not functional on virtual machines running VMware Tools versions 9.10.0 up to 10.1.5
https://blogs.vmware.com/apps/2017/03/rush-post-vmware-tools-rss-incompatibility-issues.html

И затем исправление
due to an update for the vmxnet3 driver that addressed RSS features added in NDIS version 6.30 rendered the functionality unusable. NDIS 6.30 is supported in Windows 8, Windows 2012 Server and later
https://kb.vmware.com/s/article/2149587

Можно почитать и вот эту статью -
VMware Tools 10.2.5: Changes to VMXNET3 driver settings

It was finally resolved in mid-2017 with the release of VMware Tools 10.1.7. However, only vmxnet3 driver version 1.7.3.7 in VMware Tools 10.2.0 was recommended by VMware for Windows and Microsoft Business Critical applications.

Few months after, VMware introduces the following changes to vmxnet3 driver version 1.7.3.8:

Receive Side Scaling is enabled by default,
The default value of the Receive Throttle is set to 30.
https://virtualnomadblog.com/2018/04/04/vmware-tools-10-2-5/
Запись вебинара Типичные ошибки при организации корпоративной сети
Вебинар для системных администраторов, инженеров и всех тех, кому по долгу службы приходится в компании отвечать и за сеть тоже.

https://www.youtube.com/watch?v=qbhykrqAb9c&feature=youtu.be
Если в компании вы отвечаете за сеть — ждем на нашем новом вебинаре 30 апреля в 12.00: https://bit.ly/3bnW3Pf

— Расскажем о типовых ошибках при организации и поддержке сети, которые встречаются у каждой ̶п̶е̶р̶в̶о̶й̶ второй компании
— Разберем самые частые неправильные настройки сети и оборудования, а также организационные ошибки
— Составим чек-лист для самостоятельного аудита вашей сети

Ведущий – Антон Клочков, сетевой архитектор DataLine и один из участников [profile] linkmeup_podcast
Будет много живых примеров от Антона, баек и советов о том, как делать не надо.

Участие бесплатное: https://bit.ly/3bnW3Pf
Продолжительность 1 час.
С 20 апреля – курс Cisco SPNGN1 1.0 трека CCNA Service Provider – с возможностью бесплатного посещения (т.е. нужна лишь регистрация). С 27 числа – продолжение, Cisco SPNGN2 1.0. Все основные знания для работы в операторских сетях – с практикой на IOS XR и доп.лабораторными работами.

С 11 мая – курс Huawei HCIA-RS 2.5 – для тех, кто понимает, что мировой лидер в сетевом оборудовании, Huawei (кстати, оперативно усиливший инфраструктурное подразделение), будет только укреплять свои позиции.
https://www.atraining.ru/news-service-provider-spngn-huawei-free/
Базовые вещи: Для ethernet потери фреймов это нормальная ситуация, для FC и прочей работы с данными - не совсем.
Поэтому существует набор методов и средств для работы ethernet для передачи данных.
В том числе все это применимо и для FCoE и для RDMA
Аббревиатуры и сокращения:
PFC - Priority-based Flow Control
RDMA - remote direct memory access
iWARP - iWARP is a computer networking protocol that implements remote direct memory access (RDMA) for efficient data transfer over Internet Protocol networks. Contrary to some accounts[1], iWARP is not an acronym[2].
RoCE - RDMA over Converged Ethernet
DCB - Data Center Bridging; https://docs.microsoft.com/en-us/windows-server/networking/technologies/dcb/dcb-top
FIP - Fibre Channel over Ethernet (FCoE) Initialization Protocol (FIP)
FSB - FIP Snooping Bridge
Из переписки:
я тут устал сетевику доказывать что для s2d pfc must have
пропали ошибки все и фрупут по сети вырос в 3 раза сразу
человеку просто непонятно зачем делать qos на трубе в 80г и как это теоретически может повлять
не учел он что это хардкодед для roce в винде
лекция про loseless ethernet блджад
там прикол в том, что не пакеты пропадают а соединения дропаются

Для FCoE - не забываем про CX110 and CX31x Series Switch Modules V100R001C00 Configuration Guide 11 и новее тут
https://support.huawei.com/enterprise/en/doc/EDOC1000044778/2790c3b7/default-configuration
FirstBurstLength - Maximum amount of unsolicited data an iSCSI initiator can send to the target during the execution of a single SCSI command, in bytes.
MaxBurstLength - Maximum SCSI data payload in a Data-In or a solicited Data-Out iSCSI sequence, in bytes.
MaxRecvDataSegLen - Maximum data segment length, in bytes, that can be received in an iSCSI PDU.


https://vdc-download.vmware.com/vmwb-repository/dcr-public/24be7af7-d9cd-48d9-bab8-8c91614be19d/0ca33108-8017-4b40-86b9-f066456894ea/vsphere-esxi-vcenter-server-67-command-line-interface-concepts-examples-guide.pdf

Помимо командной строки, эти параметры можно смотреть-менять в адвансед сеттингах для iSCSI-vmhba
The Chinese tech giant Huawei has offered the UN’s International Telecommunication Union (ITU) a technology that may drastically “change the way the internet works”, according to the Financial Times (FT).

The proposal was made together with the state-run companies China Unicom and China Telecom, as well as and the country’s Ministry of Industry and Information Technology (MIIT).
https://nation.com.pk/28-Mar-2020/china-unveils-fresh-ip-proposal-to-present-new-internet-architecture

The telecoms group Huawei, together with state-run companies China Unicom and China Telecom, and the country’s Ministry of Industry and Information Technology (MIIT), jointly proposed a new standard for core network technology, called “New IP”, at the UN’s International Telecommunication Union (ITU).
https://www.ft.com/content/c78be2cf-a1a1-40b1-8ab7-904d7095e0f2

China, Huawei, and other Chinese carriers wish to redesign the current internet model in China. The proposed plans offer certain positives but its possible abuse may raise some alarm. The report arrives from Financial Times and covers the newly proposed internet protocol announced at the ITU.
https://www.gizmochina.com/2020/03/31/china-and-huawei-propose-a-new-internet-protocol-with-a-built-in-killswitch/
Противовирусная акция – CCNA бесплатно
Последнее прочтение CCNA 3.0 - с бесплатным посещением

Мы бесплатно читаем базовые курсы по сетевым технологиям – в плане Cisco это был Cisco ICND1 3.0, а теперь Cisco CCNA-IACS 1.0 – уже почти десять лет. Это стало “фирменной фишкой”, особенно на фоне того, что у догоняющих обычно “бесплатными курсами” называется что-то рекламно-урезанное.

Пытались, бывало, сделать вариант бесплатного посещения и у более сложных курсов – но опыт показал, что затея эта заканчивается просто – люди сразу пишутся на сложный курс, приходят на него без нужной подготовки, не могут осилить материал, переоценив свои знания, и очень обижаются на учебный центр и курс (на себя обижаться-то неинтересно и стыдно – это ж придётся признать что годами “айпишник админил” бестолку, знаний не образовалось).

Через две неполных недели у нас стартует последнее прочтение “старого” CCNA – онлайн-курсы Cisco ICND1 3.0 и Cisco ICND2 3.0, оба в расширенном формате, в сумме на три недели. Больше в расписание ставить этот трек не планируем – есть новый и современный Cisco CCNA-IACS 1.0.

В силу ряда причин принято решение сделать в этот раз вариант “можно посещать бесплатно” распространяющимся на весь трек.

То есть можно зарегистрироваться на ICND1+ICND2 и посещать без доп.оплаты.

Разве что учитывайте, что доступ к лаб.стенду все равно технически ограничен числом студенческих комплектов оборудования – поэтому если собираетесь делать практические работы (и наконец-то закрыть для себя тему с CCNA, например) – не опоздайте.

Ну а для тех, у кого есть Knowledge Assurance – с субботы, 21 марта, стартует Cisco IINS 3.0, который хоть и относится к устаревшему менее месяца назад треку CCNA:Security, но по сути более чем наполовину перекрывает темы современного базового Cisco SCOR 1.0. Вы можете посещать его бесплатно, достаточно только зарегистрироваться.

Завтра добавим в расписание ещё немножко нового и интересного, не переключайтесь.
https://www.atraining.ru/antivirus-covid-2019-measures/
Если вдруг вы еще не знакомы с ACI, то советуют начать с просмотра видео от Сarly Stoughton
https://techfieldday.com/personnel/carly-stoughton/
https://www.youtube.com/watch?v=UcCElfcXLcc
Finally: смена сертификаций Cisco
Изменения в сертификациях Cisco с 24 февраля 2020 года

Свершилось – с сегодняшнего дня схема сертификаций Cisco значительно изменяется.

Это не значит, что все сданные ранее сертификации и экзамены превратились в полночь в тыкву, а изученный на курсах материал испарился – но если всё пропустили, то кратко напоминаем, в чём суть изменений:
https://www.atraining.ru/new-cisco-certifications-entered-into-force/

Profile

robopet3

May 2023

S M T W T F S
 12 3456
78910111213
14151617181920
21222324252627
28293031   

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Feb. 21st, 2026 10:25 pm
Powered by Dreamwidth Studios