Redbox коммутатор что это

Протоколы «бесшовного» резервирования PRP и HSR

В промышленности требования к ЛВС становятся все более серьезными, т.к. АСУ ТП берут на себя все больший функционал, и потери данных могут повлечь серьезные издержки.

Например, в энергетике, если на терминал РЗА не попадут вовремя данные от измерительных преобразователей, то это может быть чревато распространением короткого замыкания на смежные участки электросети, что скажется убытками гораздо более серьезными, нежели в случае своевременного отключения участка с КЗ. Поэтому часто в проектах энергетики можно встретить требование «Время восстановления менее 1 мс».

Резервирование сети на основе таких распространенных в промышленности протоколов, как RSTP, MRP, DLR и прочих подобных, основано на изменении топологии в случае возникновения какой-либо неисправности при передаче данных. Изменение топологии занимает определенное время (от миллисекунд до секунд в зависимости от протокола), которое и называется «временем восстановления». В течение этого времени связи с частью сети нет и, соответственно, данные теряются. Т.е. привычные технологии кольцевого резервирования не позволяют обеспечить время восстановления меньше 1 мс.

Ввиду этого набирают популярность технологии так называемого «бесшовного» резервирования — PRP и HSR. Резервирование на основании PRP и HSR осуществляется, в отличие от вышеобозначенных протоколов, не за счет перестроения топологии, а за счет дублирования фреймов. Каждый фрэйм дублируется отправителем, и оба фрейма передаются разными путями, а принимающий узел обрабатывает фрэйм, пришедший первым, и отбрасывает второй. Данный принцип работы не требует выполнения перестроения топологии и, соответственно, данный протокол действует практически «бесшовно». Под катом Вы найдете подробности реализации данных протоколов.

Структура сети

«Бесшовное» резервирование реализуется на конечных узлах, а не на сетевых компонентах. Это одно из самых главных отличий PRP и HSR от других протоколов резервирования, таких как RSTP или MRP. Рассмотрим особенности структуры сети для PRP и HSR.

PRP — структура сети

Конечный узел имеет два Ethernet-интерфейса, которые подключаются к двум изолированным друг от друга сетям, действующим параллельно и имеющим независимую топологию (т.е. топологии этих двух сетей могут быть как одинаковыми, так и различаться). Сети должны быть изолированными для того, чтобы любая неисправность и остановка передачи данных в одной сети не влияли на вторую, т.е. даже питание сетей осуществляется от разных источников. Никаких прямых соединений между этими сетями быть не должно.

Структура сети PRP

Эти две сети обычно называются LAN A и LAN B. Как уже обозначалось ранее, они могут иметь различные топологии, а также различную производительность. Задержки в передачи данных также могут различаться.

В сети могут присутствовать следующие элементы:

• DAN (Dual Attached Node) — узел, который подключается к обеим сетям и посылает/принимает дублированные фреймы.
• SAN (Single Attached Node) — узел, который подключается только к одной сети (LAN A или LAN B) и посылает/принимает обычные фреймы.
• В случае, когда к RPR -сети необходимо резервировано подключить устройство, имеющее один Ethernet-интерфейс, и без поддержки протокола PRP, используется так называемый Redundancy Box (чаще RedBox). На RedBox’е пакет от устройства дублируется и передается в сеть PRP, так словно данные передаются от DAN. Более того, устройство, которое находится за RedBox’ом, видится для остальных устройств как DAN. Такой узел называется виртуальный DAN или VDAN (Virtual DAN).

Принцип работы RedBox’а

HSR — структура сети

Структура сети HSR

Принцип действия HSR заключается в том, что все устройства объединяются в кольцо и все сообщения, также как и в PRP, дублируются. Устройство отправляет оба фрейма через кольцо: одну копию по часовой стрелке, другую — против. Приемник получает обе копии, но обрабатывает только первую, а вторую удаляет. Если с каким-то из линков что-то случается, и один из дублированных фреймов не приходит, то просто принимается другой. Все HSR-устройства имеют два Ethernet-интерфейса — порт A и порт B.

В соответствии с протоколом HSR в сети могут существовать следующие элементы:

• SAN — узел, имеющий только один Ethernet-интерфейс. Такой узел может быть подключен к HSR-сети исключительно через RedBox.
• DAN — узел, который может обмениваться данными внутри HSR-кольца (может посылать/принимать дублированные фреймы).
• RedBox — также как и в PRP RedBox позволяет подключить устройство, имеющее один Ethernet-интерфейс, к HSR-сети. Устройство, которое находится за RedBox’ом, видится для остальных устройств как DAN. Такой узел называется виртуальный DAN или VDAN (Virtual DAN).
• QuadBox – также HSR вводит один новый элемент — QuadBox. Это устройство, имеющее четыре HSR-порта. Оно позволяет объединять два HSR-кольца. В каждом кольце QuadBox выполняет роль DAN и может пересылать данные из одного кольца в в другое.

Пример использования QuadBox

Структура DAN

Для PRP и для HSR структура DAN похожа. Каждый DAN имеет два интерфейса, действующих параллельно и подключенных к верхнему уровню одного коммуникационного стека через так называемый уровень LRE — link redundancy entity. На данном уровне выполняются все функции резервирования.

Оба интерфейса DAN имеют одинаковые MAC-адреса и один IP-адрес. Это позволяет сделать резервирование прозрачным для верхнего уровня. Особенно важен тот факт, что это позволяет использовать протокол ARP для DAN также, как и для любого нерезервированного узла.

Однако, конечно, в структуре DAN для PRP и для HSR имеются и нюансы.

PRP — структура DAN

Когда с верхнего уровня посылается фрейм, LRE дублирует его и посылает оба пакета через порты практически одновременно. Оба фрейма передаются параллельно через две сети с разными задержками. В идеальной ситуации они доставляются на узел назначения с минимальной разницей во времени. При получении LRE приемника передает на верхний уровень первый принятый фрейм, а второй отбрасывает.

LRE создает дублированные фреймы при отправке и обрабатывает их при получении. Данный уровень, по отношению к верхнему уровню, представляет собой обычный интерфейс нерезервированного сетевого адаптера. LRE выполняет две задачи: обработка дублированных фреймов и управление резервированием. Для реализации управления LRE добавляет к каждому фрейму 32-битный трейлер контроля резервирования (redundancy control trailer — RCT) и удаляет его при получении фрейма.

Передача данных между двумя DAN в PRP

HSR — структура DAN

Фрейм, присланный с верхнего уровня, дублируется уровнем LRE, и пакеты посылаются через порт A и порт B практически одновременно. (1 и 2 на схеме).

Приемник при получении фрейма передает его на уровень LRE, а также перенаправляет на другой порт и передает дальше в кольце. (3, 4).

Если фрейм приходит на отправитель, то дальше этот фрейм не передается, а уничтожается (5, 6).

На уровень LRE приходят оба фрейма, но на верхний уровень передается тот, который был прислан быстрее, а дублированный фрейм отбрасывается.

LRE добавляет к каждому фрейму 48-битный HSR-тег (сродни добавлению VLAN-тега) и удаляет этот тег при получении.

Передача данных между двумя DAN в HSR

Взаимодействие между SAN и DAN

В PRP SAN может быть подключен к любой сети — LAN A или LAN B, но такой узел не поддерживает функций резервирования. Поэтому SAN, подключенный к одной сети, не сможет обмениваться данными с другим подобным узлом, подключенным ко второй сети. Для взаимодействия с SAN DAN генерирует специальные фреймы. Эта необходимость вызвана тем, что SAN в обычном фрейме от резервированного устройства должен игнорировать RCT, что сделать не представляется возможным, так как SAN не может отличить RCT от обычного блока данных IEEE 802.3. В свою очередь, DAN понимает, что отправляет фрейм на SAN и не добавляет RCT в фрейм. Он просто пересылает один фрейм с верхнего уровня на тот интерфейс, к которому подключен SAN. Другими словами, если DAN не может определить, что обменивается данными с другим DAN, то он не добавляет RCT в фрейм.

В HSR SAN не может быть подключен напрямую к сети. Его можно подключать исключительно через RedBox

Режимы работы DAN

При работе с дублированными фреймами, принимаемыми на обоих интерфейсах (в случае их исправности), DAN необходимо принять один из фреймов, а второй отбросить. В PRP есть два метода обработки:

• Duplicate accept — метод, при котором оба пришедших фрейма принимаются и перенаправляются на верхний уровень.
• Duplicate discard — метод, при котором узел-приемник считывает информацию из RCT пришедшего фрейма для того чтобы определить, какой фрейм отбрасывать.

Duplicate accept

DAN, работающий в данном режиме не отбрасывает ни один из фреймов при обработке на канальном уровне.

Фреймы отправляются в LAN A и LAN B без RCT. LRE приемника просто перенаправляет оба фрейма на верхний уровень, предполагая, что при дальнейшей передаче дубликаты будут уничтожены (в IEEE 802.1D четко прописано, что протоколы верхнего уровня должны уметь обрабатывать дублированные фреймы).

Например, протоколы TCP и UDP имеют высокий уровень устойчивости к дублированным фреймам.

Данный метод очень прост в реализации, но имеет серьезный недостаток — он не предоставляет никаких возможностей контроля сети, т.к. никаким образом не отслеживается корректность приема обоих фреймов.

Duplicate discard на канальном уровне

При использовании второго метода в фрейм добавляется поле, состоящее из четырех октет — RCT (redundancy control trailer). Трейлер добавляется на уровне LRE, когда фрейм принимается от верхнего уровня. RCT состоит из следующих параметров:

• 16-битный номер последовательности;
• 4-битный идентификатор сети, 1010 (0xA) для LAN A и 1011 (0xB) для LAN B;
• 12-битный размер фрейма.

Фрейм с добавленным RCT

Каждый раз, когда канальный уровень посылает фрейм на какой-то определенный адрес, отправитель увеличивает номер последовательности для соответствующего узла и отправляет идентичные фреймы через оба интерфейса.

Узел-приемника должен определить дубликаты, основываясь на информации из RCT.

Алгоритм метода Duplicate discard

Приемник предполагает, что фреймы, присылаемые от любого источника, работающего по протоколу PRP, посылаются последовательно с постоянно возрастающим номером. Номер последовательности, который ожидается у следующего фрейма хранится в переменных ExpectedSeqA и соответственно ExpectedSeqB.

При приеме, корректность последовательности может быть проверена при помощи сравнения значения ExpectedSeqA (ExpectedSeqB) c номером последовательности полученного фрейма, хранящемся в переменной currentSeq в RCT. При положительном результате, переменная ExpectedSeq устанавливается на один больше, чем currentSeq для того, чтобы далее можно бы было выполнять корректную проверку на данной линии.

Интервал отбрасывания фрейма (drop window)

Для обоих интерфейсов существует динамический интервал отбрасывания фрейма (sliding drop window) для парных номеров последовательности. Верхней границей данного интервала является ExpectedSeq (следующий ожидаемый номер последовательности на данном интерфейсе), исключая само данное значение, а нижней границей данного интервала является startSeq (наименьший номер последовательности, при котором происходит отбрасывание дублированного фрейма с таким номером последовательности).

После проверки правильности номера последовательности, приемник решает отбрасывать данный фрейм или нет. Предположим, что LAN A имеет ненулевой размер интервала отбрасывания фрейма (Рис.5). Фрейм из LAN B, чей номер лежит в данном интервале, будет отброшен. Все остальные фреймы из LAN B будут приняты и отправлены на верхний уровень.

Отбрасывая фрейм из LAN B, уменьшается размер интервала LAN A, т.к. после получения данного фрейма не ожидается никаких фреймов с меньшим номером на данном интерфейсе. Соответственно startSeqA устанавливается на один больше, чем currentSeqB. При этом размер интервала отбрасывания фрейма LAN B сбрасывается до 0 (startSeqB = expectedSeqB), т.к. очевидно, что фреймы LAN B “отстают” от LAN A и никакие фреймы из LAN A не должны быть отброшены.

Уменьшение интервала LAN A после отбрасывания фрейма из LAN B

В ситуации на рис.7, когда несколько фреймов из LAN A приходят подряд, но из LAN B не приходит ничего, то они принимаются, т.к. их currentSeq находится вне интервала отбрасывания фрейма LAN B и интервал LAN A увеличивается на одну позицию. Если фреймы из LAN A продолжают приходить, а из LAN B по прежнему ничего не приходит, при достижении максимального размера интервала, startSeqA начинает также увеличиваться на единицу.

Когда принимаемый фрейм находится вне интервала отбрасывания фрейма другого LAN, то этот фрейм сохраняется, а размер интервала данного интерфейса устанавливается равным 1, что означает, что только фрейм из другого LAN с таким же номером последовательности будет отброшен, в то время как drop window другого интерфейса устанавливается равным 0, что означает, что ни одного фрейма не будет отброшено (Рис.7).

Фрейм из LAN B не был отброшен

Наиболее общая ситуация — когда оба интерфейса синхронизированы и размер обоих интервалов равен 0 (Рис.8), что означает, что будет принят фрейм того интерфейса, который придет первее и интервал данного интерфейса будет увеличен до 1, что позволит отбросить фрейм от другого интерфейса с таким же номером последовательности.

Синхронизированные LAN

Из-за наличия идентификатора LAN в RCT, дублированные фреймы различаются на один бит (и имеют разные контрольные суммы). Приемник проверяет принадлежность фрейма к интерфейсу (т.е. проверяет, что фрейм с идентификатором LAN A пришел на интерфейс A). Приемник не отбросит данный фрейм, т.к. он может содержать полезную информацию в блоке данных, но в этом случае будет увеличен на единицу счетчик cntWrongLanA или cntWrongLanB. Так как подобные ошибки не разовые (перепутаны местами LAN A и LAN B), то счетчик будет возрастать постоянно.

Передача HSR-трафика на канальном уровне

При передаче данных внутри HSR-сети к каждому фрейму добавляется HSR-тег.
HSR-тег состоит из следующих параметров:

• 16-битного HSR Ethertype
• 4-битного индикатора направления (path indicator)
• 12-битного размера фрейма
• 16-битного номера последовательности

Приемник отслеживает номера последовательности всех фреймов от каждого источника, от которого он принимает данные (источники он различает по MAC-адресу). Если фреймы приходят с разных линий и имеют одинаковый источник и номер последовательности, то один из них принимается, а второй отбрасывается.

Для контроля сети, на каждом устройстве ведется таблица всех узлов в сети, от которых он принимает данные. Это позволяет обнаружить исчезновение узлов и ошибки на шине.

Узел определяет фрейм, который он отправил по источнику и по номеру последовательности.

Фрейм с добавленным HSR-тегом

Узел HSR никогда не отбрасывает фрейм, который он ранее не получал. Узел определяет практически все дублированные фреймы, но в случае, если их немного, он их не удаляет, т.е. фрейм просто проходит все кольцо и уничтожается на отправителе.

В стандарте алгоритм определения дублированных фреймов не определен. В качестве возможных методов могут быть использованы хэш-таблицы, очереди и отслеживание номеров последовательности.

Режим U

В данном режиме, узел, который принимает фрейм, уничтожает дубликат и не позволяет ему распространяться дальше. В случае, если фрейм все-таки были передан далее, то он уничтожается на следующих узлах. Данный режим позволяет разгрузить кольцо от Unicast-трафика.

На схеме красными стрелками обозначены пакеты с HSR-тегом, отправленные с порта “А” (в дальнейшем — фрейм “А”).

Зелеными стрелками обозначены пакеты с HSR-тегом, отправленные с порта “В” (в дальнейшем — фрейм “В”).

Пустыми стрелками обозначен отброшенный трафик, т.е. фреймы, которые бы передавались при обычной работе, но в данном режиме были отброшены.
Крестом обозначается удаление трафика из кольца (в любом случае).

Режим X

В данном режиме узел не передает фрейм дальше и отбрасывает его, если такой фрейм был получен с другого направления.

Например, DAN 1 на изображении не передаст дальше фрейм “B”, т.к. он уже получил фрейм “A”, а DAN 2 не будет передавать далее фрейм “A”, т.к. уже получил фрейм “B”.

В случае, если в алгоритме произошла где-то ошибка и фреймы были переданы далее, то они будут отброшены на следующих узлах или на узле, на котором они были созданы.

Режим X не применим для сообщений PTP и для передачи supervision frame.

Контроль сети

Приемник проверяет, что все фреймы приходят последовательно и корректно принимаются на обоих каналах. Он поддерживает счетчики ошибок, которые можно прочитать, например, через SNMP.

Все устройства поддерживают таблицы узлов, с которыми они обмениваются данными. В этих таблицах содержится информация о времени, когда последний фрейм был отправлен или получен от конкретного узла и другую информацию, касающуюся протокола PRP.

В то же время, данные таблицы позволяют обнаружить соединения, в которых необходимо синхронизировать номера последовательности, а также обнаружить нарушенные последовательности и пропавшие узлы.

Диагностика основана на том, что каждый DAN периодически посылает диагностический фрейм (supervision frame), который позволяет проверить целостность сети и наличие узлов. В то же время данные фреймы позволяют проверить какие устройства выступают в качестве DAN, определить их MAC-адреса и в каком режиме они работают — duplicate accept или duplicate discard.

Каждый узел постоянное проверяет все линки.

Каждый узел периодически посылает диагностический фрейм (на оба порта), содержащий информацию о состоянии узла. Этот фрейм принимается всеми узлами, включая отправителя. Когда отправитель принимает собственное диагностическое сообщение, то выполняется проверка целостности физического канала.

Интервал посылки диагностического фрейма сравнительно большой (несколько секунд), т.к. он не требуется для обеспечения резервирования, а нужен только для диагностических целей.

Все узлы заносят в таблицу всех партнеров, которых удалось обнаружить, и регистрируют время, когда узел последний раз был активен, а также все пропущенные фреймы и фреймы, присланные не последовательно.

Все произошедшие изменения топологии также регистрируются и вся информация может быть получена по SNMP.

HSR и PRP: плюсы и минусы

Заключение

Нельзя сказать, что один протокол лучше другого — они созданы немного для разных применений. И HSR, и PRP позволяют организовать бесшовное резервирование сети, но HSR позволяет создавать более бюджетные решения. Но подобная экономичность влечет за собой сложности, т.к. сеть на основе HSR достаточно сложно масштабировать, и применения не очень гибкие. Низкая гибкость обуславливается ограниченной топологией (кольцо, сопряжение колец), а также плохой совместимостью протокола с другими технологиями. Поэтому HSR лучше подходит для резервирования небольших систем и интеграции в большую сеть. Организовать резервирование всей сети на основе HSR достаточно проблематично. PRP же, в свою очередь, является решением более дорогим, но позволяющим организовать достаточно масштабную сеть, которую в дальнейшем можно будет расширять без проблем, т.к. данный протокол дает возможность удобно интегрировать практически любые технологии и реализовывать совершенно разные топологии.

IEC 62439-3 PRP/ HSR Новая концепция параллельного и кольцевого резервирования

Ruby3A

Управляемый 3-х портовый коммутатор с PRP / HSR с функциями Redbox (Redundancy Box)

3 х 1000Base-X, 100Base-FX, SFP слота или 3 х 100/1000Base-T(X), RJ45 Сombo порта;

PRP – параллельное резервирование

Несмотря на быстроту работы MRP и его универсальность для широкого круга задач, существуют приложения, где недопустимо даже минимальное время восстановления сети. Для таких приложений необходим совершенно новый подход к вопросу высокой доступности сети. В основе этого подхода – существование минимум двух одновременно активных соединений между двумя узлами сети таким образом, что отправитель информации посылает кадры данных синхронно по двум Ethernet- каналам. Получатель же с помощью протокола резервирования принимает первый кадр данных и отклоняет второй. Если второй кадр данных не получен, адресат делает вывод об обрыве связи в соответствующем канале.

Данный механизм резервирования реализован в протоколе PRP (Parallel Redundancy Protocol), описанном в стандарте IEC 62439-3. PRP использует две параллельных сети передачи данных с произвольной топологией, не ограниченной ни кольцами, ни другими структурами. Более того, в двух параллельных сетях может не быть резервирования вовсе, а могут применяться протоколы MRP и RSTP. Таким образом, принципиальное преимущество PRP состоит в его «бесшовном» резервировании с отсутствием даже малого времени переключения с основного на резервный канал связи. Высокий уровень доступности сети с параллельным резервированием соблюдается при условии, что обе подсети, объединённые PRP, не могут отказать одновременно.

Протокол PRP реализуется на конечных устройствах (рис. 1). Коммутаторы сети работают независимо от данного протокола и, соответственно, не должны обладать никакой специальной аппаратной или программной поддержкой. Конечные устройства с поддержкой PRP (DANP – Double Attached Node for PRP) имеют два сетевых интерфейса и подключаются к двум независимым сетям. При этом сети могут иметь различную топологию, среду и скорость передачи. К сети могут подключаться и обычные конечные устройства с одним сетевым интерфейсом (SAN – Single Attached Node). Также могут использоваться конечные устройства типа DANP в роли прокси-серверов (так называемые RedBox – сокращение от Redundancy Box), к которым подключены несколько SAN-устройств. От SAN- устройства не требуется никакой специальной поддержки PRP. Эту возможность удобно применять на практике, пользуясь тем, что в сетях с высокой доступностью наличие параллельного резервирования критично не для всех устройств, поэтому конечные устройства по степени важности можно разделить на типы DANP и SAN и соединить, используя дублированный или единственный канал связи соответственно. Конечные устройства с возможностью параллельного резервирования типа DANP должны контролировать дублированные кадры Ethernet. Получив данные для передачи в сеть, устройство, реализующее протокол PRP, посылает их по двум сетевым интерфейсам одновременно. Таким образом, два кадра Ethernet отправляются по независимым сетям к одному получателю и, учитывая разную топологию и пропускную способность обеих сетей, доходят до адресата с разной задержкой. Первый пришедший получателю кадр принимается и передаётся на верхний уровень, второй – удаляется. В итоге сетевое приложение, использующее полученные данные, не «ощущает» разницы между резервированным с PRP и обычным Ethernet-интерфейсом.

Идентификация дублирующих кадров осуществляется по специальному контрольному маркеру – RCT (Redundancy Control Trailer), помещённому в Ethernet-кадр PRP-устройством (рис. 1). В дополнение к идентификатору подсети и пользовательским данным в кадр помещается 32-битовое поле, включающее номер последовательности PRP. По этому номеру конечное устройство идентифицирует кадр и либо передаёт его на верхний уровень, либо удаляет. RCT-маркер находится в конце блока данных, поэтому такой формат Ethernet- данных считывается как DANP, так и SAN-устройствами. Это свойство позволяет сетевым устройствам обмениваться информацией в отсутствие резервирования.

В целом протокол PRP позволяет создать сеть с высокой степенью доступности, произвольной топологией, но требует значительно больших затрат на оборудование, инфраструктуру и сетевые компоненты.

Рис. 1. Ethernet-кадр c протоколом PRP

В протоколе PRP определены следующие типы устройств:

DAN (Double Attached Node for PRP) – устройство с двумя независимыми интерфейсами, может напрямую подключаться к двум параллельным сетям, работающим в системе PRP. Кроме того, DAN должны уметь взаимодействовать с дублированными пакетами (создавать и отбрасывать копии пакетов).
SAN (Single Attached Node) – конечное оборудование с одним сетевым интерфейсом. Для подключения SAN-устройств к PRP-сетям необходимо использовать RedBox.
RedBox (Redundancy Box) – устройство с двумя независимыми интерфейсами, служит для подключения SAN-устройств к PRP-сетям.

Рис. Схема резервированной сети с протоколом PRP c DAN устройствами

Рис. Схема резервированной сети с протоколом PRP c DAN и SAN устройствами

HSR – Бесшовное резервирование

Протокол HSR (High-availability Seamless Redundancy) – дальнейшее развитие идеи параллельного резервирования. Однако, если в случае с PRP речь шла о резервировании сети, то HSR – это протокол резервирования соединений. HSR, как и PRP, описан в стандарте IEC 62439-3. Но в отличие от PRP протокол HSR разработан для кольцевой топологии сети. Как и PRP, он использует два сетевых порта у конечного устройства для подключения к сети, но цепочкой, замкнутой в кольцо.

Рис. 2. Ethernet-кадр c протоколом HSR

Формат кадра данных у протокола HSR аналогичен PRP (рис. 2). Идентификатор HSR похож на поле RCT: включает размер пользовательских данных, тип порта отправителя (1-й или 2-й порт) и номер последовательности. Однако, если идентификатор протокола PRP идёт внутри стандартного Ethernet-кадра, то в случае с HSR идентификатор протокола идёт в начале. Поэтому HSR-устройства распознают данные на лету и быстрее их обрабатывают, передавая с первого на второй интерфейс по цепочке. При этом каждое конечное устройство пропускает через себя все кадры данных, читает заголовки и отбирает себе кадры со своим адресом получателя, а также широковещательные сообщения. Для предотвращения циркуляции по кругу широковещательных сообщений устройство-отправитель удаляет сообщения, прошедшие полный круг по сети (рис. 3).

Рис. 3. Схема резервированной сети с протоколом HSR

В отличие от сети с параллельным резервированием, в HSR-кольцо нельзя включить стандартное устройство с одним сетевым интерфейсом – кольцо не будет замкнуто и формат данных с HSR-заголовком не будет распознан. Анализ кадра данных на втором уровне OSI с идентификатором PRP (он находится в поле дополнительной информации) возможен и обычным устройством – оно попросту пропустит поле с RCT. Формат данных с HSR-заголовком получается нестандартный, и конечное устройство без поддержки HSR-протокола его не распознает. Тем не менее, в этом случае можно использовать посредника RedBox, который включается в HSR-кольцо и имеет дополнительные подключения к конечным устройствам вне кольца.

Как мы выяснили, стандартные устройства «не понимают» HSR-данные, однако сами HSR-устройства «понимают» стандартный формат данных. Это необходимо для конфигурирования и диагностики узлов кольца. При этом стандартные кадры данных не проходят по кругу, как HSR-данные, а пересылаются напрямую между станцией управления и устройством. HSR-кольцо начинает работу в штатном режиме только после отключения станции управления и замыкания цепи.

HSR-кольца можно соединять между собой двумя 4-портовыми устройствами, называемыми QuadBox. Устройства дублируют друг друга, поэтому общая сеть также остаётся резервированной (рис. 4).

Рис. 4. Схема дублированного соединения HSR-колец

Что касается времени восстановления, то тут HSR-протокол ведёт себя аналогично PRP: кадры данных одновременно рассылаются по двум портам в обоих направлениях по кольцу, в случае сбоя одна из очередей данных достигнет получателя. Такой подход гарантирует резервирование с нулевым временем восстановления, и в то же время не требует дополнительной сетевой структуры.

Из недостатков HSR можно отметить ограниченную гибкость (только кольцевая топология), двукратный объём трафика, передаваемого по сети с дублированием кадров данных, сложность реализации (специальный FPGA-чип в каждом устройстве, синхронизация по протоколу IEEE 1588).

Демонстрация работы протокола HSR от Kyland

На выставке DistribuTECH India, проходившей с 5 по 7 мая в Нью-Дели, cпециалистами компании Kyland была продемонстрирована работа протокола сетевого резервирования HSR.

В демо-стойке в HSR-кольцо были собраны 3 промышленных Ethernet-коммутатора SICOM3028GPT с модулем SM6.6-HSR/PRP, в качестве генератора трафика использовалась установка Spirent Smartbits, каждый из интерфейсов которой был подключен к соответствующему коммутатору.

Заключение

На практике не существует ни идеальной сетевой топологии, ни идеального протокола резервирования, удовлетворяющего всем требованиям промышленных сетей. Правильный выбор топологии сети и протокола резервирования зависит от многих факторов, таких как физические требования к расположению сетевых компонентов.

В качестве резюме табл. 1 отражает основные свойства протоколов резервирования, описанных в данной статье.

Протокол	Топология сети	Количество устройств	Максимальное время восстановления сети	Типовое время восстановления сети
RSTP (IEEE 802.1D-2004)	Кольцо	40	Около 2 с при сбое в двух и более мостах	100…200 мс для кольца из 40 узлов
RSTP (IEEE 802.1D-2004)	Любая	Любое	Более 2 с при сбое в двух и более мостах	Можно определить применительно к конкретной сети с простой топологией
MRP (IEC 62439-2)	Кольцо	50	500/200/30/10 мс (в зависимости от настроек)	200/60/15/<10 мс (в зависимости от настроек)
PRP (IEC 62439-3)	Любая сдвоенная	Любое	0 мс	0 мс
HSR (IEC 62439-3)	Кольца	512	0 мс	0 мс

Протокол HSR является новым (стандарт IEC 62439-3 принят в феврале 2010 года) и перспективным. Среди основных сфер его применения следует отметить АСУ в энергетике. Он даже будет включён во вторую версию стандарта для электрических подстанций IEC 61850. Протокол HSR будет обеспечивать функционирование сети Ethernet в реальном времени вместе с протоколом синхронизации часов IEEE 1588.

Для повышения надёжности и гибкости сети протоколы резервирования можно комбинировать между собой. Например, на рис. 6 показан пример сети со смешанной топологией, с применением параллельного и кольцевого резервирования. Можно сделать прогноз, что в будущем протоколы PRP и HSR (их последующие итерации) вытеснят существующие протоколы кольцевого и параллельного резервирования.

Внедрением протоколов PRP и HSR в реальные решения занимаются ведущие мировые разработчики сетевого оборудования, такие как Siemens, Hirschmann (Belden), KYLAND, MOXA. Также над идеями параллельного резервирования работают компании CISCO, RuggedCom. Первые микросхемы FPGA производства компаний Altera и Xilinx с реализацией этих протоколов существуют с середины 2010 года. Механизмы протоколов HSR и PRP были успешно протестированы с эмуляцией на программном уровне. О функционировании в реальном времени с программной реализацией, конечно, речи не идёт, зато можно положительно оценить их работоспособность в больших сетях, взаимодействие с другими протоколами резервирования второго уровня OSI, GOOSE-сообщениями протокола IEC/ МЭК 61850.

На данном этапе развития промышленного сетевого оборудования одним из самых «продвинутых» коммутаторов второго и третьего уровней OSI является KYLAND серия SICOMGPT Коммутаторы данной серии отвечают самым жёстким промышленным требованиям: функционирование в реальном времени (протокол IEEE 1588v2), поддержка технологий резервирования RSTP, MRP, LACP, а также наиболее быстрого варианта кольцевого резервирования – DT-Ring, DT-Ring+, DRP с дублированным соединением колец. Кроме того, устройства соответствует стандарту МЭК 61850-3, может функционировать в широком температурном диапазоне –40…+85°C и в условиях сильных электромагнитных помех. Устройства SICOMGPT являются, новой перспективной серией промышленных коммутаторов и призваны стать базой для интеграции протоколов резервирования PRP и HSR.

PT-G503-PHR-PTP: RedBox для энергетики

В данном обзоре рассмотрена одна из главных новинок MOXA последнего года – устройство сетевого резервирования по технологиям PRP/HSR — RedBox PT-G503-PHR-PTP.

В формате видеоролика рассмотрены основные особенности RedBox от MOXA, подробный разбор технологий PRP и HSR с наглядными схемами, порядок настройки устройств и реальное тестирование нулевого времени восстановления.

Основные темы видео:

• Обзор технологий PRP и HSR с анимированными схемами
• Зачем нужен RedBox
• Настройка и тестирование HSR на примере видеопотока
• Обзор отличий Turbo Ring/Chain и протоколов МЭК-62439 (PRP и HSR)
• Настройка и тестирование протокола PRP на примере бесконечного пинга

Длительность видеоролика — всего 6 минут. Приятного просмотра!

Товары из статьи

СТО 56947007-29.240.10.302-2020
Типовые технические требования к организации и производительности технологических ЛВС в АСУ ТП ПС ЕНЭС

Цена на этот документ пока неизвестна. Нажмите кнопку «Купить» и сделайте заказ, и мы пришлем вам цену.

Распространяем нормативную документацию с 1999 года. Пробиваем чеки, платим налоги, принимаем к оплате все законные формы платежей без дополнительных процентов. Наши клиенты защищены Законом. ООО «ЦНТИ Нормоконтроль»

Наши цены ниже, чем в других местах, потому что мы работаем напрямую с поставщиками документов.

Способы доставки

• Срочная курьерская доставка (1-3 дня)
• Курьерская доставка (7 дней)
• Самовывоз из московского офиса
• Почта РФ

Устанавливает нормы и требования к организации и производительности технологических локально-вычислительных сетей в автоматизированных системах управления технологическими процессами подстанций Единой национальной электрической сети (ЛВС в АСУ ТП ПС ЕНЭС)

Оглавление

1 Область применения

2 Нормативные ссылки

3 Термины, определения, обозначения и сокращения

3.1. Термины и определения

3.2. Обозначения и сокращения

4 Технические требования к техническому обеспечению ЛВС

4.1. Промышленный коммутатор

4.2. Промышленный коммутатор Redudancy Вох

4.3. Межсетевой экран

4.4. Система обеспечения единого времени

4.5. Промышленные устройства обнаружения и предотвращения вторжения

4.6. Регистратор событий ЦПС

4.7. Структурированные кабельные системы

5 Общие технические требования

5.1. Требования к надежности

5.2. Требования к электромагнитной совместимости

5.3. Требования к организации электропитания ЛВС

5.4. Требования к климатическим условиям

6 Организационно-технические требования

6.1. Типовые требования к общей архитектуре сети. Варианты типовых структур построения сети и внутрисистемных коммуникаций для различных архитектур построения сетей АСУ ТП и РЗА

6.2. Организационно-технические требования к безопасности, в том числе информационной

6.3. Требования к системе мониторинга и управления сетью

6.4. Требования к программному обеспечению

6.5. Типовые требования к интеграции информации от смежных систем и подсистем. Типовые требования к протоколам обмена данными

6.6. Требования к организации удаленного доступа к сети

6.7. Требования к проектированию ЛВС

6.8. Требования к производительности и допустимым нагрузкам на сеть, при которых сохраняется стабильная работа АСУ ТП и РЗА и требуемый уровень надежности

6.9. Требования к условиям и организации эксплуатации ЛВС

6.10. Требования к стандартизации и унификации ЛВС

6.11. Требования к приемке ЛВС

6.12. Требования к квалификации обслуживающего персонала

Приложение А Типовые структуры построения сети и внутрисистемных коммуникаций для различных архитектур построения сетей АСУ ТП и РЗА

Приложение Б Методика расчета количества оборудования ЛВС и ШСК

Приложение В Типовые карты обслуживания шкафов сетевой коммутации ШСК

Дата введения	26.02.2020
Добавлен в базу	01.01.2021
Актуализация	01.01.2021

Организации:

22.01.2020	Принят	АО СО ЕЭС	В31-I-2-19-714
26.02.2020	Утвержден	ПАО ФСК ЕЭС	68
Разработан	ООО Интеллектуальные Сети
Издан	ПАО ФСК ЕЭС	2020 г.

• ГОСТ 34.003-90Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения
• ГОСТ Р 1.4-2004Стандартизация в Российской Федерации. Стандарты организаций. Общие положения
• ГОСТ Р МЭК 61850-3-2005Сети и системы связи на подстанциях. Часть 3. Основные требования
• ГОСТ Р 51317.6.5-2006Совместимость технических средств электромагнитная. Устойчивость к электромагнитным помехам технических средств, применяемых на электростанциях и подстанциях. Требования и методы испытаний
• ГОСТ Р 53114-2008Защита информации. Обеспечение информационной безопасности в организации. Основные термины и определения
• ГОСТ Р МЭК 61850-7-3-2009Сети и системы связи на подстанциях. Часть 7. Базовая структура связи для подстанций и линейного оборудования. Раздел 3. Классы общих данных
• ГОСТ Р МЭК 61850-7-1-2009Сети и системы связи на подстанциях. Часть 7. Базовая структура связи для подстанций и линейного оборудования. Раздел 1. Принципы и модели
• ГОСТ Р МЭК 61850-7-2-2009Сети и системы связи на подстанциях. Часть 7. Базовая структура связи для подстанций и линейного оборудования. Раздел 2. Абстрактный интерфейс услуг связи (ACSI)
• ГОСТ Р МЭК 61850-5-2011Сети и системы связи на подстанциях. Часть 5. Требования к связи для функций и моделей устройств
• ГОСТ Р МЭК 61850-7-4-2011Сети и системы связи на подстанциях. Часть 7. Базовая структура связи для подстанций и линейного оборудования. Раздел 4. Совместимые классы логических узлов и классы данных
• ГОСТ Р 1.5-2012Стандартизация в Российской Федерации. Стандарты национальные. Правила построения, изложения, оформления и обозначения
• ГОСТ Р 55438-2013Единая энергетическая система и изолированно работающие энергосистемы. Оперативно-диспетчерское управление. Релейная защита и автоматика. Взаимодействие субъектов электроэнергетики и потребителей электрической энергии при создании (модернизации) и эксплуатации. Общие требования
• ГОСТ Р 56205-2014Сети коммуникационные промышленные. Защищенность (кибербезопасность) сети и системы. Часть 1-1. Терминология, концептуальные положения и модели
• Федеральный закон 162-ФЗО стандартизации в Российской Федерации
• ГОСТ Р 56939-2016Защита информации. Разработка безопасного программного обеспечения. Общие требования
• ГОСТ Р 57114-2016Единая энергетическая система и изолированно работающие энергосистемы. Электроэнергетические системы. Оперативно-диспетчерское управление в электроэнергетике и оперативно-технологическое управление. Термины и определения
• Показать все

Чтобы бесплатно скачать этот документ в формате PDF, поддержите наш сайт и нажмите кнопку:

ПУБЛИЧНОЕ AKIЩОНЕРНОЕ ОБЩЕСТВО «ФЕДЕРАЛЬНАЯ СЕТЕВАЯ КОМПАНИЯ ЕДИНОЙ ЭНЕРГЕТИЧЕСКОЙ СИСТЕМЫ»

СТАНДАРТ ОРГАНИЗАЦИИ ПАО «ФСК ЕЭС»

Типовые технические требования к организации и производительности технологических ЛВС’ в АСУ ТП НС ЕНЭС

Дата введения: 26.02.2020

ПАО «ФСК ЕЭС» 2020

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 29 июня 2015 г. № 162-ФЗ «О стандартизации в Российской Федерации»; общие положения при разработке и применении стандартов организации — в ГОСТ Р 1.4-2004 «Стандартизация в Российской Федерации. Стандарты организаций. Общие положения»; правила построения, изложения, оформления и обозначения национальных стандартов Российской Федерации, общие требования к их содержанию, а также правила оформления и изложения изменений к национальным стандартам Российской Федерации -ГОСТР 1.5-2012.

Сведении о стандарте организации

1. РАЗРАБОТАН: ООО «Интеллектуальные Сети».

2. ВНЕСЁН: Департаментом релейной защиты, метрологии и

автоматизированных систем управления

технологическими процессами. Департаментом

3. УТВЕРЖДЁН И ВВЕДЁН В ДЕЙСТВИЕ:

Приказом ПАО «ФСК ЕЭС» от 26.02.2020 № 68.

4. СОГЛАСОВАН: письмом АО «СО ЕЭС» от 22.01.2020 № B31-I-2-19-714.

5. ВВЕДЁН: ВПЕРВЫЕ.

Замечания и предложения по стандарту организации следует направлять в Департамент инновационного развития ПАО «ФСК ЕЭС» по адресу: 117630. Москва, ул. Ак. Чсломся. д. 5А. электронной почтой по адресу: vaea-na о fsk-ccs.ш

Настоящий доку мент нс может быть полностью илн частично воспроизведен, тиражирован и распространен в качестве официального н иания без разрешения ПАО «ФСК ЕЭС».

4 Технические требования к техническому обеспечению ЛВС

4.1 Промышленный коммутатор

4.1 Л Сетевые коммутаторы (далее коммутаторы) относятся к активному сетевому оборудованию, обеспечивающему информационные связи устройств полевого уровня и уровня присоединения, устройств уровня присоединения и станционного уровня, и вместе с структурированными кабельными сетями составляют инфраструктуру передачи информации, являющуюся неотъемлемым архитектурным элементом подстанции.

4.1.2 Коммутатор функционирует на канальном (втором) уровне модели взаимодействия открытых систем (OSI) и обеспечивает выполнение следующих функций:

— непрерывность связи между устройствами ЛВС для возможности передачи трафика иному сетевому сегменту;

— построение единственного маршрута передачи данных по ЛВС без петель коммутации, приводящих к широковещательным штормам на данном участке ЛВС;

— установку приоритетов в доступе к ресурсам сети определенным видам трафика.

Коммутаторы должны обеспечивать надежную передачу данных между источником и приемником с заданными параметрами (время доставки, приоритезация и др.).

Коммутатор может обеспечивать функции маршрутизатора при наличии соответствующих технических возможностей и соответствии требованиям к маршрутизаторам.

4.1.3 Коммутаторы шины процесса и станционной шины должны поддерживать протокол синхронизации времени РТР (поддержка режимов master, slave, transparent clock) для станционной шины — программно, для шины процесса — аппаратно.

4.1.4 Коммутаторы обязательно должны поддерживать механизмы QoS (IEEE 802.1D) и VLAN (ШЕЕ 802.1Q).

4.1.5 Коммутаторы обязательно должны поддерживать технологию зеркалирования трафика (например, SPAN) и удаленного зеркалирования (например, RSPAN или ERSPAN) от источников типа «порт» и «VLAN».

4.1.6 Коммутаторы шины процесса должны иметь коммуникационные интерфейсы с разъемами LC, выполненные на базе волоконно-оптических каналов связи. Коммутаторы должны иметь коммуникационные интерфейсы, соответствующие требованиям не хуже ШЕЕ

802.3 в части интерфейса 100BASE-FX, и коммуникационные интерфейсы, соответствующие требованиям не хуже ШЕЕ 802.3 в части интерфейса 1000В ASE-LX.

4.1.7 Конкретный состав (тип разъемов, скорость передачи) коммуникационных интерфейсов должен определяться при проектировании. Количество коммуникационных интерфейсов сетевого коммутатора должно выбираться при проектировании инфраструктуры передачи информации

подстанции в соответствии с расчетами, выполненными в соответствии с данным СТО.

4.1.8 Промышленные коммутаторы должны соответствовать требованиям, утвержденным ПАО «Россети» и ПАО «ФСК ЕЭС» [1 ], [2].

4.2 Промышленный коммутатор Redundancy Box

4.2.1 Промышленный коммутатор Redundancy Box (далее RedBox) -коммутатор, реализующий в сети ЛВС технологию резервирования PRP (Parallel Redundancy Protocol) [3]. PRP использует две параллельных сети передачи данных (Сеть «А» и Сеть «В») с произвольной топологией, не исключая ЛВС с отсутствием резервирования (MRP и RSTP).

Сеть «А» и Сеть «В» работают независимо друг от друга и могут не содержать никакой специальной аппаратной или программной поддержки PRP. Сам протокол PRP реализуется на конечных устройствах типа DANP (Double Attached Node for PRP), имеющих два сетевых интерфейса и подключенных к двум независимым сетям.

В основе PRP резервирования — существование минимум двух одновременно активных соединений между двумя узлами сети таким образом, что отправитель данных посылает кадры синхронно по двум независимым Ethernet каналам. Учитывая разную топологию, пропускную способность и загруженность обоих сетей, два кадра доходят до адресата с разной задержкой. Первый пришедший получателю кадр принимается и передается на верхний уровень, второй — удаляется. Сетевое приложение (SAN устройство), принимающее поток данных от RedBox, не ощущает разницы между резервированным с PRP и обычным Ethernet-интерфейсом.

RedBox идентифицирует дублирование кадров благодаря специальному контрольному маркеру RCT (Redundancy Control Trailer) в составе кадров протокола. В дополнение к идентификатору подсети и пользовательским данным в кадр помещается 32-бнтовое поле, включающее номер последовательности PRP, который служит идентификатором для RedBox для передачи его на верхний уровень или удаления.

4.2.2 RedBox в ЛВС АСУ ТП ПС ЕНЭС предназначены для подключения серверов удаленного доступа и осциллограмм к станционной шине.

4.3 Межсетевой экран

4.3.1 Межсетевой экран (далее МЭ) — оборудование контроля и фильтрации пакетов информации сети передачи данных, осуществляющее контроль и фильтрацию проходящих через него пакетов информации сети передачи данных в соответствии с заданными правилами. Оборудование состоит из комплекса аппаратных и/или программных средств.

4.3.2 Фильтрация пакетов выполняется в целях:

— предотвращения передачи определенного вида трафика, как в локальный сегмент сети передачи данных, так и из него;

— замены адресов, используемых в локальной сети, на адреса, транслируемые вовне, и наоборот.

4.3.3 МЭ, применяемый в АСУ ТП, может иметь программное или программно-техническое исполнение и должен обеспечивать контроль и фильтрацию промышленных протоколов передачи данных (IEC, Modbus, Profibus и (или) иные протоколы).

4.3.4 МЭ располагаются на границах демилитаризованной зоны и АСУ ТП (шина управления и шина станции) и на границе демилитаризованной зоны и оборудования связи с вышестоящими системами управления.

На границах демилитаризованной зоны и АСУ ТП применяются МЭ типа «Б» или типа «Д», на физической границе (периметре) информационной системы применяются МЭ типа «А» или типа «Д» в соответствии с методическими документами ФСТЭК России.

4.3.5 Для обеспечения надежности межсетевые экраны должны поддерживать технологию VRRP, которая позволяет формировать отказоустойчивую, прозрачную систему из группы роутеров, работающих как один отказоустойчивый шлюз по умолчанию (первый узел маршрута).

4.4 Система обеспечения единого времени

4.4.1 Система обеспечения единого времени (СОЕВ) обеспечивает синхронизацию времени на подстанции с помощью первичных и вторичных часов. Время задается на первичных часах, которые синхронизируются по внешним каналам связи (спутники GPS/ГЛОНЛСС), информация о времени передается по ЛВС подстанции.

СОЕВ состоит из:

— приемника (активной антенны) спутникового сигнала точного времени;

— сервера точного времени (ведущих часов);

— коммуникационной сети с аппаратной поддержкой протокола РТР;

— устройств подстанции с синхронизируемыми часами точного времени.

4.4.2 Устройства и каналы СОЕВ должны резервироваться. В системе синхронизации должно иметься не менее 2 серверов точного времени. СОЕВ на подстанции должна обеспечивать календарную синхронизацию времени и инструментальную синхронизацию времени.

4.4.3 Сервер точного времени должен обеспечивать поддержку стандартных сетевых протоколов SNTP, РТР. Протоколы SNTP и РТР должны обрабатываться независимо и не влиять друг на друга в процессе одновременной работы.

4.4.4 Рекомендуемое число независимых сетевых портов на сервере времени — 4.

4.4.5 Для III архитектуры с шиной процесса:

— сервер томного времени, установленный в ШСК №1, подключается к шине управления, шине станции и шине процесса (PRP сеть А);

— сервер точного времени, установленный в ШСК №2, подключается к шине управления, шине станции и шине процесса (PRP сеть Б).

4.4.6 Для I, II архитектуры и III архитекту ры с мультишиной:

— сервер точного времени, установленный в ШСК №1, подключается к шине управления и шине станции (PRP сеть А);

— сервер точного времени, установленный в ШСК №2, подключается к шине управления и шине станции (PRP сеть Б).

4.4.7 Основным сервером синхронизации для комплектов основных защит, основных КП, ЗОБ основных каналов, основных устройств шины управления и т.д. является сервер COFB, установленный в ШСК № 1, резервным — сервер СОЕВ, установленный в ШСК № 2.

4.4.8 Основным сервером синхронизации для комплектов резервных защит, резервных КП, ЭОБ резервных каналов, резервных устройств шины управления и т.д. является сервер СОЕВ, установленный в ШСК № 2, резервным — сервер СОЕВ, установленный в ШСК № 1.

4.4.9 Требования к системе обеспечения единого времени на подстанции установлены в соответствующем нормативном документе [4|.

4.4.10 Технические характеристики устройств СОЕВ, допустимые габариты, количество интерфейсов должны соответствовать утвержденному стандарту ПАО «ФСК ЕЭС» [2].

4.5 Промышленные устройства обнаружения и предотвращения вторжения

4.5.1 Система обнаружения вторжения (далее СОВ)

специализированный программно-аппаратный комплекс мониторинга сетевого обмена между узлами в промышленной сети систем защиты и управления, который позволяет определять и регистрировать аномальные и важные, с точки зрения обеспечения безопасности эксплуатации оборудования, информационные события.

Об обнаруженных отклонениях технологического процесса от нормы, а также об угрожающих ИБ событиях, СОВ оповещает обслуживающий персонал (в том числе, специалистов ИБ).

4.5.2 Список основных функциональных возможностей СОВ:

— обнаружение и регистрация подключения новых сетевых устройств к контролируемым сегментам технологической сети;

— обнаружение и регистрация новых сетевых коммуникаций между узлами по признакам: адрес узла-отправителя, адрес узла-получателя, протокол обмена, порт, количество допустимых соединений и т.д.;

— обнаружение и регистрация сетевых подключений к ИЭУ с использованием прикладных технологических протоколов, используемых для конфигурирования;

— визуализация цепочек атак: СОВ должна связывать между собой в

цепочку отдельные события, сравнивая их с векторами типичных атак; по мере развития атаки цепочка должна позволить специалистам распознать и оперативно отреагировать на угрозы ИБ;

— СОВ должна иметь возможность быть интегрированной в систему управления событиями безопасности (Security information and event management — SIEM) вышестоящего уровня.

4.5.3 Применение COB должно позволять определять большинство возможных событий в технологической сети, являющихся частью сценариев нарушения информационной безопасности, тем самым обеспечивая своевременное информирование персонала о возможном инциденте, а также качественное расследование случаев технологических нарушений.

Наличие СОВ должно позволить точно установить причину технологического нарушения и, соответственно, принять адекватные и эффективные меры недопущения или защиты от подобных инцидентов в будущем.

4.5.4 Сервер СОВ устанавливается в демилитаризованной зоне. СОВ должна иметь копию информационного трафика как шины станции, так и шины управления.

4.5.5 Применение аппаратно-программного комплекса InfoDiode, предназначенного для однонаправленной передачи данных, определяется требованиями проекта и не является обязательным.

4.5.6 Применение СОВ обязательно для подстанций с АСУ ТП категории К2 и К1, рекомендовано для подстанций с АСУ ТП категории КЗ в соответствии с приказом ФСТЭК России от 14.03.2014 №31.

4.5.7 Применение СОВ обязательно для подстанций, на которых размещены объекты КИИ 1 и 2 категории значимости в соответствии с приказом ФСТЭК России от 25.12.2017 № 239; рекомендовано для подстанций, на которых размещены объекты КИИ 3 категории значимости или значимые объекты КИИ отсутствуют.

4.6 Регистратор событий ЦПС

4.6.1 Регистратор событий ЦПС (PC ЦПС) — программно-аппаратный комплекс, выполняющий функцию анализа сетевого трафика шины станции и шины процесса.

4.6.2 Основные функции PC ЦПС:

— анализ данных стандарта МЭК 61850 GOOSE, МЭК 61850-9-2 и корпоративного профиля МЭК 61850 ПАО «ФСК ЕЭС» на предмет соответствия электронному проекту (SCD-файлу);

— контроль параметров передачи SV-потоков и GOOSE-сообщений;

— анализ конфигурации информационной сети на соответствие SCD-файлу;

— мониторинг ошибок на предмет потери или искажения пакетов;

— анализ загруженности ЛВС;

— отображение всех SV-потоков и GOOSE-сообщений в ЛВС;

— регистрация и хранение собранной информации;

— выдача обобщенной сигнализации в АСУ ТП.

4.6.3 Объем дискового хранилища PC ЦПС должен определяться при проектировании и обеспечивать хранение собранной информации в течение не менее трех месяцев.

4.7 Структурированные кабельные системы

4.7.1 Структурированные кабельные системы (СКС) относятся к пассивному оборудованию, обеспечивающему информационные связи устройств полевого уровня и уровня присоединения, устройств уровня присоединения и станционного уровня, и вместе с сетевыми коммутаторами и другим оборудованием составляют инфраструктуру передачи информации, являющуюся неотъемлемым архитектурным элементом АСУ ТП ПС.

4.7.2 В состав инфраструктуры передачи информации подстанции должны входить следующие структурированные кабельные системы:

— шина процесса, технологическая СКС передачи данных основная;

— шина процесса, технологическая СКС передачи данных резервная;

— шина станции, СКС передачи данных основная;

— шина станции, СКС передачи данных резервная;

4.7.3 Все соединения СКС на подстанции должны выполняться волоконно-оптическим кабелем.

4.7.4 Оптические коммутационные панели служат для распределения оптического сигнала, подведенного к ней по магистральному кабелю, по портам, оборудованным разъемами, к которым подключаются коммутационные шнуры, передающие сигнал на Ethemet-порты активного сетевого оборудования подстанции.

4.7.5 Для соединения устройств полевого уровня, расположенных вблизи основного электротехнического (первичного) оборудования или встроенных в него, с коммутаторами шины процесса должен применяться бронированный волоконно-оптический кабель, конструктивно предназначенный для прокладки вне помещений в кабельной канализации (линейные).

4.7.6 Для соединения устройств уровня присоединения с коммутаторами шины процесса и коммутаторами шины станции, устройств станционного уровня с коммутаторами шины станции должен применяться волоконно-оптический кабель, конструктивно предназначенный для прокладки внутри помещений.

4.7.7 Оптические коммутационные панели, волоконно-оптические кабели и коммутационные шнуры должны соответствовать утвержденному стандарту ПАО «ФСК ЕЭС» [2].

5 Общие технические требования

5.1 Требован и я к надежности

5.1.1 Одной из важнейших задач ЛВС АСУ ТП является сохранение целостности и доступности технологической информации и управляющих команд. На сегодняшний день использование в АСУ ТП широкого спектра разнообразных технологических устройств, часто принадлежащих к разным поколениям, не позволяют гарантировать доставку информации посредством реализации на этих устройствах семейства функций безопасности «неотказуемость отправления», включающего в себя функции избирательного и принудительного доказательства отправления, избирательного и принудительного доказательства получения.

В связи с этим, обеспечение гарантированной доставки информации организуется путём резервирования и дублирования каналов связи.

5.1.2 Для обеспечения надёжности передачи данных в

технологической сети передачи данных и снижения времени восстановления связи после сбоя необходимо применять кольцевую топологию сети с использованием RSTP и MRP [5], [6]. Протокол подразумевает объединение в кольцо группы коммутаторов, один из которых берёт на себя роль ведущего (MRM — Media Redundancy Manager). Ведущий коммутатор осуществляет контроль целостности кольца.

5.1.3 Для передачи наиболее критически важных и чувствительных данных в шине станции и шине процесса, таких как управляющие воздействия и данные измерений от технологического оборудования, необходимо применять протокол «параллельного резервирования» PRP [3]. В пределах каждой сети (PRP сеть А и PRP сеть Б) для коммуникационного оборудования должен использоваться протокол RSTP или иной проприетарный (фирменный) протокол резервирования, созданный на основе семейства протоколов STP, с временем конвергенции (реконфигурации) информационной сети не хуже RSTP.

5.1.4 Надежность функционирования ЛВС АСУ ТП ПС ЕНЭС должна обеспечиваться следующими дополнительными функциями:

— диагностикой коммуникационной инфраструктуры подстанции;

— автоматическим восстановлением после сбоев (перезапуском);

— применением восстанавливаемых устройств (путем использования типовых элементов замены);

— применением типовых проектных решений для проектирования и конфигу рирования оборудования системы защиты и управления подстанции;

— применением оборудования, имеющего сертификат соответствия стандарту МЭК 61850;

— проведением испытаний и проверки качества оборудования, предназначенного для применения на подстанции, на соответствие техническим требованиям ПАО «ФСК ЕЭС».

5.1.5 Устройства подстанции должны быть предназначены для функционирования в непрерывном длительном режиме с учетом периодического технического обслуживания. Регламент и периодичность технического обслуживания должны быть указаны производителем в комплекте эксплуатационной документации на устройство.

5.2 Требования к электромагнитной совместимости

5.2.1 Электромагнитная совместимость устройств, обеспечивающих информационные связи на подстанции, должна соответствовать требованиям ГОСТ Р 51317.6.5 и [2], [7].

5.2.2 Электромагнитная совместимость промышленных

комм>таторов должна соответствовать утвержденному стандарту ПАО «Россети» [1].

5.3 Требования к организации электропитания ЛВС

5.3.1 Электропитание устройств, обеспечивающих информационные связи на подстанции, должно осуществляться от СОПТ.

5.3.2 Требования к электропитанию устройств постоянным оперативным током приведены в Таблице 5.1 в соответствии с [2].