Видео примерно от 2019-2020 года.
В виде файла: 334.38 MB file on MEGA
Telegram: View @usher2 в комментах иишкой сделали краткое содержание
Да я сам буду смотреть, там много интересного, но полезного пока не нашел, кроме того, что ЦСУO кд имеет 15 минут и это он нам делает триггер.
InnerVoid:
На основе предоставленных материалов подготовлен целостный и подробный текст, описывающий архитектуру, компоненты и принципы функционирования технических средств противодействия угрозам (ТСПУ) в рамках системы АСБИ.
Общие сведения и назначение
АСБИ (Автоматизированная система обеспечения безопасности интернета) — это проект, реализуемый государством в рамках закона о «суверенном интернете». Техническую основу системы составляют ТСПУ, которые устанавливаются в разрыв каналов связи операторов для управления трафиком и нейтрализации угроз. Заказчиком выступает ГРЧЦ, а основными поставщиками оборудования являются компании «ДЦА» и RDP.RU.
Аппаратная архитектура
Комплекс ТСПУ состоит из четырех ключевых подсистем:
- Байпасы: Физические устройства, устанавливаемые непосредственно в разрыв линков оператора. Они обеспечивают сохранность трафика даже при выключении питания ТСПУ.
- Балансировщики: Высокопроизводительные программируемые коммутаторы (3,2 Тбит/с), распределяющие нагрузку между фильтрами.
- Фильтры: Устройства, выполняющие глубокий анализ (DPI) и непосредственную фильтрацию пакетов.
- Сегмент управления: Включает VPN-шлюзы для связи с центром, серверы предварительного формирования списков (SPFS) и хранения данных (SPHD).
Принципы обработки трафика и балансировки
В системе ТСПУ соблюдается строгое разделение портов на LAN (сторона абонента) и WAN (сторона интернета). Балансировщик объединяет эти порты в логические пары — «линки» — и гарантирует, что пакет, пришедший в конкретный порт оператора, вернется в него же после обработки.
Для эффективной работы фильтров используется балансировка на основе хэш-суммы (Source IP, Destination IP, Protocol). Это позволяет направлять все пакеты одной сессии в обе стороны на один и тот же фильтр и даже на одно и то же ядро процессора, что критически важно для корректной сборки сессий. Балансировщик также мониторит доступность фильтров с помощью пакетов keep-alive (heartbeats); если фильтр перестает отвечать, трафик может быть автоматически забайпасен.
Режимы работы байпаса (на примере Silicom)
Байпас поддерживает несколько режимов, обеспечивающих гибкость эксплуатации:
Inline: Трафик проходит через всю систему ТСПУ.
TAP: Канал оператора замкнут напрямую, но копия трафика отправляется на ТСПУ для отладки без влияния на сеть.
Active Bypass: Трафик замыкается внутри байпаса, не поступая на обработку.
Power-off Bypass: Физическое замыкание оптики при потере питания (может вызвать кратковременное падение линка у оператора).
Эшелонированная система (Тип А и Тип Б)
Система фильтрации делится на два эшелона:
Тип А (Первый эшелон): Стандартные ТСПУ, устанавливаемые ближе к абонентам. Они распознают протоколы (например, Telegram) и отправляют отчеты в центр управления.
Тип Б (Второй эшелон / EcoHighway): Устанавливается на ядрах сетей крупных операторов и точках обмена трафиком. Балансировщик типа Б способен самостоятельно блокировать трафик по IP-спискам через BGP, разгружая фильтры. Аппаратно он использует два независимых конвейера (pipelines) и физическую перемычку между ними для увеличения емкости правил фильтрации.
Логика работы DPI и фильтрации
Фильтр работает на уровне L2 и прозрачен для сети. Процесс обработки пакета проходит несколько стадий: сверка с ACL, попадание в пул и проверка в DPI-листах.
Распознавание и блокировка: Система может распознавать зашифрованные протоколы по косвенным признакам (размер пакетов, тайминги). Блокировка часто происходит в два этапа: сначала распознавание, затем формирование «чистых» списков в Центре управления (ЦСУ) и их обратная загрузка на устройства.
HTTPS и деградация: Для HTTPS возможна блокировка только по домену (SNI), так как URL зашифрован. Также ТСПУ поддерживает режим «деградации» — искусственное внесение потерь пакетов для дестабилизации работы конкретных приложений.
Размещение в сети и управление
ТСПУ может быть установлен в разных точках: до BRAS (виден PPPoE), между BRAS и CGNAT (наиболее удобно — видны «серые» IP абонентов) или после CGNAT (видны только общие «белые» IP). Также возможна схема On-Stick, когда трафик проходит через ТСПУ дважды, что требует его разделения по VLAN для исключения двойной нагрузки.
Управление всей сетью ТСПУ осуществляется из Центральной системы управления (ЦСУ), развернутой на двух независимых площадках. Обновление ПО производится через два раздела памяти (Primary 1 и 2), что позволяет безопасно переключаться между версиями прошивки.
ziz6956: Вот что gemini выдала)) Вот подробный структурированный пересказ лекции об архитектуре и принципах работы ТСПУ (технических средств противодействия угрозам), подготовленный в формате глубокого разбора. Введение в архитектуру АСБИ и ТСПУ Система АСБИ (Автоматизированная система обеспечения безопасности интернета) создается государством в рамках закона о суверенном интернете. ТСПУ — это комплекс оборудования, который устанавливается «в разрыв» каналов связи интернет-провайдеров для фильтрации и управления трафиком. Управление всем оборудованием осуществляется централизованно через Центральную систему управления (ЦСУ). Основные аппаратные компоненты Аппаратный комплекс на стороне провайдера состоит из трех ключевых элементов: * Байпасы (Bypass): Первое устройство на пути трафика, подключаемое напрямую к оптическим линиям оператора. Главная задача байпаса — пропустить трафик насквозь в случае аварии или отключения питания (режим Power-off Bypass), чтобы абоненты оператора не остались без интернета. Также байпас может работать в режиме TAP (копирование трафика для отладки без влияния на сеть). * Балансировщики (Balancers): Высокопроизводительные коммутаторы (до 3,2 Тбит/с), которые принимают трафик от байпаса и распределяют его по фильтрам. Распределение (балансировка) происходит на основе хэш-суммы IP-адресов источника, назначения и протокола. Это гарантирует, что пакеты одной TCP/UDP сессии от конкретного абонента всегда попадут на один и тот же порт одного и того же фильтра. * DPI-Фильтры (Filters): Серверы, выполняющие глубокий анализ пакетов (DPI). Фильтр работает на уровне L2 (как прозрачный провод), не имея маршрутизируемых IP-интерфейсов на пути трафика. Именно здесь происходит распознавание протоколов, сверка со списками Роскомнадзора и применение блокировок. Эшелонированная система (Тип А и Тип Б) Для оптимизации нагрузки в масштабах страны применяется два типа архитектуры: * Тип А (Первый эшелон): Устанавливается на уровне доступа и распределения провайдера. Здесь используется стандартный балансировщик (EcoFilterBalancer), чья единственная задача — равномерно раскидать трафик по DPI-фильтрам. Фильтры берут на себя всю работу по блокировке и распознаванию. * Тип Б (Второй эшелон): Устанавливается на магистральном уровне (core/peering) для очень крупных операторов со сложной маршрутизацией. Здесь используется продвинутый балансировщик EcoHighway. Он способен самостоятельно блокировать IP-адреса и порты (например, серверы Telegram), получая списки напрямую по протоколу BGP. В этом эшелоне DPI-фильтры занимаются исключительно фильтрацией URL по реестру Роскомнадзора, экономя вычислительные ресурсы. Принципы DPI и механики блокировки Фильтры применяют несколько методов воздействия на трафик: * Двухэтапное распознавание протоколов: Чтобы избежать ложных срабатываний при блокировке зашифрованных протоколов (например, Telegram), фильтр сначала просто распознает сессию и отправляет метаданные в ЦСУ. ЦСУ анализирует статистику сотен устройств, формирует «очищенный» список IP-адресов и отправляет его обратно на фильтры (или на EcoHighway) уже для жесткой блокировки. * Отключение TCP RST: При блокировке приложение (тот же Telegram) может начать агрессивно и бесконечно пытаться переустановить соединение, если будет получать пакет сброса (RST). Это может перегрузить сеть и телефон абонента. Поэтому ТСПУ настраивается на «тихий сброс» пакетов без отправки RST, заставляя приложение ждать тайм-аута. * Деградация трафика: Вместо полной блокировки ТСПУ может «деградировать» протокол, отбрасывая определенный процент пакетов. При уровне деградации около 50% текстовые сообщения отправляются с задержкой в десятки секунд, а голосовые звонки становятся невозможными из-за заиканий, хотя формально сервис не заблокирован. * Ограничения HTTPS: При блокировке HTTPS-трафика система видит только доменное имя (в пакете ClientHello), поэтому ресурс блокируется целиком (например, весь wikipedia.org). Блокировка конкретных страниц возможна только для незашифрованного HTTP-трафика.
Мониторинг и отказоустойчивость
- Keepalive и программный байпас: Балансировщик постоянно проверяет доступность DPI-фильтров специальными пакетами. Если фильтр перестает отвечать, балансировщик перестает отправлять на него трафик, замыкая порты напрямую (программный байпас), чтобы абоненты не заметили обрыва связи.
- Ограничения ресурсов: Одним из главных параметров здоровья DPI-фильтра является загрузка внутренних таблиц сессий. Она не должна превышать 20% от максимального объема. Превышение этого порога ведет к долгому поиску по таблицам, задержкам и возможной потере трафика.
Хотели бы вы подробнее разобрать упомянутые в лекции механизмы того, как именно внутренний движок DPI пытается распознавать обфусцированные протоколы или как технически реализована деградация пакетов?
Universal:
ТСПУ (АСБИ) — полный разбор за 5 минут вместо 5 часов
Лекция про внутренности «чёрных ящиков» РКН на сетях провайдеров. Вот вся суть:
——————————————
Что это и кто за этим стоит
ТСПУ — комплекс DPI-анализа от RDP.RU. Заказчик — ГРЧЦ, генподрядчик — АО «ДЦА». Ставится в разрыв каналов оператора, управляется полностью удалённо из Москвы. Провайдер правила менять не может — только смотреть. Помимо блокировок, ТСПУ отправляет статистику по протоколам в ЦСУ — РКН формирует общую карту трафика по стране.
——————————————
Из чего состоит стойка
Байпас-панели — физический уровень. Мониторит балансировщик L2 Heartbeat-пакетами. Если heartbeat не прошёл через балансировщик — байпас срабатывает физически, линк прокидывается насквозь. Оператор ничего не заметит, но фильтрация отвалится.
Балансировщики (EcoHighway) — программируемые коммутаторы на 32 порта, 3.2 Тбит/с. Размазывают трафик по фильтрам хэшем L3/L4. Внутри два конвейера (Pipeline 1/2), порты жёстко привязаны к ним. Для обхода ограничений инженеры кидают физические перемычки между портами разных конвейеров прямо на морде. Балансировщик в свою очередь мониторит фильтры keep-alive пакетами.
Цепочка здоровья: Байпас → (heartbeat) → Балансировщик → (keep-alive) → Фильтры
Фильтры (EcoFilter) — серваки на Intel Xeon. DPI L4-L7, сигнатурный анализ, отслеживание TCP-сессий.
——————————————
Два типа установки
Тип А (In-line) — основной вариант, в разрыв сети оператора.
Тип B (Эшелон) — на стыках с крупными операторами и точках пиринга. Ловит то, что просочилось мимо первого эшелона. Может дропать по спискам IP/портов через BGP прямо на балансировщике, а также делать Port Redirect — принудительно заворачивать пакеты на определённые порты/IP на фильтры, а весь остальной «безопасный» трафик пролетает через балансировщик насквозь. Это экономит ресурсы фильтров на жирных аплинках.
——————————————
Как работает фильтрация
Жёсткая LAN/WAN сегментация — перепутал патчкорды, ничего не заведётся.
Три режима: Normal (через фильтры) / Bypass (в обход) / Tab (зеркалирование без влияния).
DPI-листы — наборы правил с приоритетом, пакет идёт сверху вниз до первого совпадения. Лист 0 — глобальные блокировки из реестра РКН.
Действия с трафиком:
• Drop — пакет уничтожается
• Redirect — редирект на заглушку
• Degradation — шейпинг / искусственные потери пакетов
Распознаёт протоколы по отпечаткам: Telegram, WhatsApp (включая голос отдельно), WireGuard, OpenVPN и сотни других — даже в шифрованном трафике (SNI, JA3).
permit invalid flow обычно включён — чтобы при включении ТСПУ «на горячую» не убить все текущие сессии абонентов.
——————————————
Производительность (спойлер: не вывозят)
Маркетинг пишет 160 Гбит/с на фильтр — реально с DPI сильно меньше.
Таблицы сессий оптимально до 20% загрузки. Меньше 5-10% свободной памяти → паника.
Один жирный flow (например 100-200G между двумя IP) нельзя раскидать по ядрам. Всё ляжет на одно ядро одного фильтра → дропы, хотя система в целом вроде не загружена.
On-stick подключение (трафик дважды через ТСПУ, до и после NAT/BRAS) — x2 нагрузка, «плохая ситуация».
При перегрузке фильтр перестаёт отвечать на keep-alive → балансировщик переводит в байпас → фильтрация молча отключается.
Data Plane память выделяется при старте и не должна расти. Если растёт — баг прошивки.
——————————————
CLI для диагностики
show hardware info
show hardware info cpu / memory / temperature
show resources
show cps
show statistics
show flows
show dpi-list 0
show dpi-list statistics
show flow-match
show counters all / diff
show firmware
show logging
rdp firmware reset-tries
Грабля с reset-tries: если инженер сам перезагружает железку 3 раза подряд (пытаясь починить баг), он может случайно триггернуть защиту и откатить прошивку на старую версию — станет только хуже.
——————————————
Эксплуатация
LLDP отключён — прячутся от соседей на роутерах оператора. Рекомендуют Jumbo Frames (9000+) на портах. Обновления прилетают удалённо, два раздела A/B. Если новая прошивка 3 раза не загрузилась за 20 минут — откат на старую. Логи уходят на серверы предварительного хранения. Если абонент жалуется — чаще всего пишешь тикет в RDP.RU или ГРЧЦ, своих логов не хватит. —————————————— Итог: Для провайдера это автономный узел, который анализирует весь трафик в реалтайме, управляется внешней стороной, кормит статистикой центр, и при перегрузке молча уходит в байпас. Ты обязан поставить и не мешать.
С помощью иишки, осушив попутно пару озер, перегнал транскрипцию с ютуба в удобочитаемую документацию.
Выложил все в читаемом виде на github, получились 24 больших главы:
Если тут есть люди работающие в компаниях-провайдерах или работавшие в них на технических должностях, расскажите пожалуйста - где физически находится оборудование осуществляющее dpi и способное в случае интересных событий полностью вырубить интернет чтобы овцы перед забоем поменьше брыкались и не забодали пастуха?
- В том же датацентре что и оборудование провайдера или по другому адресу?
- У скольких людей обычно есть доступ к ключам от помещения где находится оборудование для dpi?
- Эти люди обычно находятся в том же помещении или приезжают туда с другого адреса?
- В этом помещении есть окна и если есть то есть ли на этих окнах решётки?
- Если оборудование находится по отдельному адресу то где обычно размещаются провода соединяющие его с серверами провайдера? Под землёй или на столбах?
наберите с гугле “схема включения ТСПУ”, там есть целые документы от РКН слитые в интернет, почитайте внимательно, и вопросы отпадут.
ТСПУ ставится на площадке провайдера, обычно отдельную стойку в ДЦ. у приличных провайдеров ДЦ обычно в специально подготовленных помещениях с СКУД и без окон.
к чему все остальные вопросы - не понятно.
если это оборудование тупо вырубить/сломать, пропадет не фильтрация интернета, а целиком интернет у всех абонентов. перевести трафик в байпасс (мимо ТСПУ) могут сотрудники провайдера (грубо говоря, поменяв маршрутизацию), но за такое дело без согласования можно лишиться лицензии.
я нагуглил документ в котором говорится
Power-off Bypass — аварийный режим, в который байпас переходит автоматически при отключении электропитания . На физическом уровне (вероятно, оптический переключатель внутри оборудования) каналы замыкаются напрямую
из этой цитаты складывается впечатление что если с оборудованием тспу произойдёт кое-что интересное то оборудование провайдера автоматически начнёт пускать трафик без цензуры, и если лица которые хотят цифрового гулага не будут в тот момент бежать в аэропорт на рейс “москва-ворсхотен” то они всё равно не смогут устроить блекаут интернета и можно будет нормально работать с населением во время интересной ситуации.
как ранее говорил болван - техническими, айтишными средствами эту проблему не решить. но чтобы её решить средствами о которых мы все думаем нужно знать как именно её решать во время интересной ситуации, тем более что интернет это современный аналог почты и телеграфа, а технические специалисты которые в этом профессионально разбираются скорее всего массово побегут в эмиграцию сразу же после начала интересной ситуации и в тот момент их особо не поспрашиваешь, поэтому нужно узнать максимум информации заранее.
Немного не корректно. Сами DPI сервера сделаны с расчетом на то, что они будут “ложиться“ довольно часто. Там есть как и программная защита, на уровне ОС (если с фильтрами что то не так, пропускать трафик), на уровне ядра ОС (Если ос не смогла запуститься 3 раза, пропускать трафик), и даже аппаратная(если сервер будет без питания, замкнётся оптическое реле и сигнал пойдет мимо сервера)
В первых версиях, когда DPI был пассивным это было так, сейчас dpi на сетевом уровне прозрачное устройство
Эта уверенность откуда? Мы на каждую проблему делали запрос и никогда никакой байпас сам не включался. Когда в фильтры прилетало говно и улетала связанность, починки после запроса мы ждали часа четыре и никакой байпас сами включить не могли ни физически, ни программно, поскольку физически там сигнализация, программно доступа вообще нет, и за любой деструктив минус лицензия.
ну так а заводка то туда от вас зависит или нет?
например нетольколишьвсе vlan
или якобы полный физический разрыв? сомнительно что все остальные ваши свитчи им доступны
сигнализация и отзыв лицензии это понятно и серьёзно на текущий момент поэтому я не призываю ни к какому деструктиву, но представим ситуацию в которой государство способное отобрать лицензию испаряется, убегает на валдай, улетает в ворсхотен к дочке или на панаму к запасу золотых унитазов, силовики как во время пригожинского марша прячутся и ждут кто победит чтобы под него лечь, а на местах из представителей власти остаётся местная этническая мафия которая живёт по шариату и в dpi вообще не сечёт. в этом случае что должно произойти с тспу чтобы цензура вырубилась а интернет остался?
В идеале, тот, у кого есть доступ к фильтрам на ТСПУ должен их обнулить. Любой провайдер фильтруется не только своим ТСПУ но и каждым магистральным. Даже если мы физически уберем наш, нужно убирать все остальные по пути трафика, а их там сейчас неизвестно сколько.
Да и в любом исходе, dpi из страны никуда не денется, поскольку это было очень дорого и на авито не продать.
печально, я думал хотя бы на магистральных линиях нет dpi. получается всё опять упирается в москву как единую точку отказа и контроль над ней, и любой кто откажется от борьбы за этот контроль закончит как деникин.
но в таком случае я не понимаю зачем пихать dpi на каждый уровень к каждому провайдеру? разве не дешевле было бы воткнуть dpi только на магистральные линии а у местных провайдеров вообще отобрать физическую возможность как-то повлиять на эти стойки?
Причина эшелонирования описана тут.
Вот тут очень неоднозначная ситуация, знаю провайдера где у серых ип есть блокировки, а когда оформлен белый ип, блокировок нету совсем, прям вообще.