Каких-то програмных ограничений там нету, во всяком случае я не слышал о них. Я не уверен что слабый роутер сможет переварить огромные ipset’ы если у тебя он на роутере находится, но от пары десятков тысяч строк ему врятли плохо станет.
Интересный проект GitHub - rcd27/blockcheckw: `blockcheck2.sh` wrapper for better scanning speed (and more) · GitHub
Ключевые возможности
Параллельный подбор стратегий — vmap dispatch через nftables, O(1) lookup. 1024 воркера работают так же быстро как 8 по nftables overhead.
Дифференциация блокировок — status автоматически определяет тип блокировки для каждого домена: SNI blocked (DPI, zapret может обойти) vs IP blocked (нужен VPN). 1000+ доменов за 30 секунд.
youtube.com ✓ 812 Kbps
rutracker.org ✗ SNI blocked
discord.com ✗ IP blocked
16KB DPI detection — некоторые DPI пропускают TLS handshake, но обрывают соединение после ~16KB данных. check ловит это автоматически — стратегия, которая грузит страницу но ломает видео, не пройдёт верификацию.
Есть понимание по какому принципу блокируют? С одной стороны есть куча заблокированных сайтов, которые не представляют никакого интереса для блокирующих. С другой, ASN блокируют частично, а не целиком, полно незаблокированных сайтов на каждой ASN.
Почему спрашиваю, наверное, будет неправильно добавлять вообще все ASN в запрет целиком. И домены по одному тоже не реально добавлять. Как тут лучше поступать?
Есть. Берут все подсети нужной CDN и вешают на них 16кб блок. А потом хорошие и нужные сайты на этой ASN добавляют в исключения.
Большая часть CDN в 16кб блок улетела именно целиком. У AS13335 100% заблокированных подсетей (кажется штук 10 из 5000 разблокированы). AS24940 100% в блоке, AS16276 100% в блоке, AS51167 в блоке. Можешь сам проверить все популярные CDN. То что у тебя работают многие сайты - результат того что эти сайты просто добавлены в исключения.
Идеального варианта здесь нету, autohostlist который когда-то был до введения 16кб блока и добавлял автоматически в список обхода только заблокированные сайты сейчас не работает нормально с 16кб блоком. По крайней мере без допиливания напильником. Либо добавляешь все подсети, либо вручную составляешь список. Других вариантов я не вижу.
Как определить какие в блоке, какие нет, откуда информация про 100% в блоке? Я целиком добавил всю AS13335, конечно это решило полностью проблемы с cloudflare, но есть ощущение что это ковровая бомбордировка а как проверить сколько там реально процентов заблокировано я не знаю.
На сколько я понимаю, все эти тесты проверяют один адрес из всего диапазона и по нему присваивают результат всему диапазону адресов. Всего адресов миллионы и проверить все невозможно. Т.е. в результате все равно придется всю целиком AS добавлять, несмотря на то что большой процент адресов в ней не были заблокированы и не нуждались в обходе блокировки.
Это ещё требует подтверждения. Пока как минимум для AS13335 и AS16509 я ещё не видел адресов, которые заведомо незаблокированы, только отдельные SNI, которые введены в белый список.
Ковровые блокировки с сопутствующим уроном всегда были любимым способом, поэтому вероятность того что они сидели что-то там точечно выбирали что заблокировать равна нулю, блокировки подсетей с последующим списком исключений более быстрый и эффективный способ. Особенно учитывая тот факт что это была целенаправленная борьба с CDN, а не с сайтами на этих CDN.
Значит для всех сетей, в том числе, например AS15169, нужно полностью добавлять все диапазоны, которые в нее входят? Или можно как-то выбрать отдельные, только заблокированные?
AS15169 нет смысла таким способом обходить, все сервисы кроме YT и GP работают нормально, а для них проще указать список из 15 доменов вместо ipset’а на 1500 строк.
Можно. Но то что разблокировано сегодня может быть заблокировано завтра. Значение заблокированных подсетей на AS13335 меняется каждые 12 часов. Вчера там было разблокировано 10 подсетей, сегодня одна. Завтра будет пять. Послезавтра ноль.
Попытки вести минимальный список просто приведут к тому что тебе придется его постоянно обновлять. Хочешь этим заниматься - пожалуйста.
Есть еще какие-то сети кроме AS15169, которые также лучше доменами обходить или для всех остальных лучше все сети целиком добавлять?
Смотри по кол-ву заблокированных. Нет смысла делать ipset подсетей ASN если она почти полностью разблокирована.
через z2 есть возможность либо отбрасывать множественные tcp сессии (которые делают браузеры, кроме первой) или делать задержку между ними,например в 3 секунды? (чтобы syn встали в очередь)
ркн своей борьбой с vless задел обычную работу браузера.
множественные tcp сессии приводят к блоку ip.dst/asn.dst
впрочем в браузерах, судя по всему, есть настройки для этого..надо будет потыкать.
- canva.com, * imdb.com, * booking.com, * tradingview.com, * zillow.com, * bankofamerica.com, * shein.com, * binance.com, * trello.com и еще много много других не заблокированы.
Как вы определяете полностью она заблокирована или не полностью и на сколько процентов?
кинул в личку, новая моделька нашла 3 проблемы
Как раз потому что эти SNI в белом списке, с их помощью пробивается блокировка других ASN в том числе (www.imdb.com, к примеру, пробивает блокировку на диапазонах Hetzner). Если к IP-адресу того же canva.com подключиться с другим SNI (www.puzzlepirates.com, например), то блокировка уже срабатывает. Очевидно, что не сам адрес не заблокирован, а конкретный SNI для конкретных ASN в белом списке.
в общем-то он не обязан это делать, это побочный эффект. это не сайт на хецнере. РКН опять не распределили белые SNI “как надо”, и в итоге белые сайты одних хостингов (здесь Amazon) пробивают другие
Где вы смотрите белые списки?
У меня тест не нашел sni для этих ASN, не знаете что с ними делать?
CreaNova AS51765 ✗ SNI не найден (все заблокированы)
Scalaxy AS58061 ✗ SNI не найден (все заблокированы)
FranTech AS53667 ✗ SNI не найден (все заблокированы)
Contabo 1 AS51167 ✗ SNI не найден (все заблокированы)
IOMART 1 AS20860 ✗ SNI не найден (все заблокированы)
IOMART 2 AS21130 ✗ SNI не найден (все заблокированы)
Contabo 2 AS141995 ✗ SNI не найден (все заблокированы)
валить с них/проксировать
там очень мало легальных ресурсов, особенно на frantech. frantech - рассадник хентай-архивов, vpn и уголовщины
если речь про “просто пробить их все, чтобы добиться максимально рабочего интернета одним запретом” - ничего не делать. в особенности frantech забыть как страшный сон
для contabo есть белый cloudlets.io