Замедление Twitter в России

Действительно.
nfqws с --dpi-desync=fake помогает от суверенной блокировки сайтов, но не помогает от шейпинга
зато
nfqws с --dpi-desync=fake,split2 помогает и от того, и от другого

провайдер tiera

Подтверждаю: на моём провайдере zapret и GoodbyeDPI не могут обойти блокировки сайтов, но обходят ограничение скорости.
С определенной долей уверенности это говоорит о наличии разного оборудования DPI на пути пакетов.

На заметку: TTL быстрых и замедленных пакетов одинаков.

Ещё потенциально может быть интересно проверить, что будет если послать тот же SNI на свой сервер (т.е. на сервер не в подсетях Twitter, а других). На сервере можно поднять NAT в сторону твиттера или socat’ом проксю. Если трафик будет троттлиться - можно будет увидеть, что происходит в pcap на другой стороне соединения и, возможно, что-то из этого понять. А если не будет - то Твиттер получает тривиальную конструкцию для убегания всем миром :slight_smile:

Валдик совершенно прав. Блокировка идет по SNI
Прописал в hosts github-releases.githubusercontent.com на IP своего VPS
Создал там файл на 100 mb. Дернул по https через curl -k (игнорировать сертификат)
Медленно. С разбиением запроса через nfqws - быстро

Прикольный артефакт. Запишешь pcap с обоих сторон “хорошей” и “плохой” сессии? Ну не 100 MiB, наверное, поменьше… Хватит ли мегабайта-двух для наблюдения эффекта?

Красноярск, Orion Telecom через магистальщика ertelecom аналогично режет gist.githubusercontent.com

Я провёл больше тестов. Сообщаю вам первым. Сравнение доменов происходит по подстроке, и блокируется строка “t.co” (короткий домен твиттера)

Любой домен, содержащий в каком-либо месте в названии домена строку t.co, замедляется.

У Github домен, на котором видно замедление — http://githubusercontent.com

githubusercontent.com

жесть

Проверил: замедляются rt.com, reddit.com, microsoft.com.

ApplicationFrameHost_LGaAeELjIR
Иконки у предлагаемых приложений в Microsoft Store выглядят примерно вот так, через несколько секунд они подгружаются
Сам Store тоже работает медленнно

упд: шейпер работает, хром сообщает что образ винды скачается через 5 дней

Сделал наглядное сравнение. Ситуация дерьмовая :frowning:

ОС windows 10, последняя версия chrome, провайдер мегафон северозапад, LTE.

С замедлением

Без замедления

googleusercontent.com

wget https://lh3.googleusercontent.com/86arOE_jc_FYR6_mPbeXrzWB4LwvgCRWPGXbbftgG4_zAjY05ajbmq3xiG0Xc_uYCoTccikGvLdo5WIlofH5pmySn1VRejqngh2pwDLquiLJYayCOJKUrZKFnOwmSxKzQqqOM1y5o42TPk6LYR1vbPjrEPx3dQIUEwS4IPRjzt3JdPZT32TkqCECm-PoQtsBAPnyN6g46PbiyD9fblgzuBcT2xuO1AaZgOkR53bom8ATCBkDgcYT_mnsxWuxLGp6cNFUR4lWBFKyYkYJWJY--KmIVCWDDoJ3SxwjimGjwRG-X2Qu3AP4wa6tRazHuBo3a8IOofm6f5arSRdpVy4AaXoacTPz8TSkcofA0YaIttHpek1Gi5v1yMSbi5mHV6Mfv4lyczXPp8c5iNR7IFPvgMz1BiCETTxNwSvDjb2JCN94_256Fzejrs-Dk-kMYeCCYQh2Zd_lt9xiEQDgZ5gufdpxxM9xDiP447vrOqKbBMcAS_6hu43EwRi97ILAhBpS3QLP-4WhKf4GHauWqML_EcBvhszB-6T1iGeCWvpAT9jZVDVgekalBvLZiZNoy5Ow9QlnHA=w1827-h711-no

=> 15 КБ/с

@ValdikSS я уже написал на хабре, напишу и здесь. Проверял на домру и теле2. На первом все ок, но на теле2 режет, причем обходится сменой SNI.
Из интересного: обычные блокировки не обходятся добавлением точки, а обрезка скорости обходится. Плюс, я тут прочитал, что блочатся все сайты с “t.co”. Учитывая все это, мне кажется, что централизовано поставили DPI где-то на границе, ведь обычно провайдерам даются определенные списки доменов, а тут такое ощущение, что тупо grep’ом сделано.

У крупных провайдеров уже стоят ТСПУ (на базе EcoDPI) от РКН.

То, что goodbyedpi/zapret/добавление точки обходит ограничение, но не блокировки, с определенной долей уверенности говорит о наличии разного оборудования DPI на пути пакетов. Т.е. один может быть провайдерский (блокирующий), а другой — Роскомнадзоровский («суверенный», rdp ru), где-то дальше на магистрали. Такое встречается, это не нетипичная ситуация, но всё равно.

История про .*t.co.* вместо ^t.co$ напомнила мне про spec/techniques at master · ooni/spec · GitHub

Возможно, если в техниках поковыряться – можно ещё какие-то интересные гипотезы для проверки найти.

И все же я бы предложил провести тест, чтобы понять, где именно стоят DPI, реализующие новые блокировки. Для этого надо взять какой-нибудь сайт без “t.co”. Потом отправить ему пакет с определенным низким ttl. В sni этого пакета указать “t.co”. Далее необходимо начать нормальный обмен данными с этим сайтом на том же сокете, измеряя при этом скорость. Алгоритм повторять увеличивая значение ttl до тех пор, пока не станет резаться скорость. В этом случае пакет дойдет до фильтра и вся сессия пометиться, что ее надо блокировать.

Можно нагрепать ещё кучу домендов на:

Возможно, там найдётся что-то пожирнее rt.com.

Сайты с t.co, отсортированы по популярности.

Из наиболее популярных в РФ:

pinterest.com
microsoft.com
blogspot.com
reddit.com
snapchat.com
googleusercontent.com (специальный домен для раздачи различных файлов от Google, вкл. медиа)
deviantart.com
beget.com (российский хостер Бегет)
appspot.com (домены сервиса Google App Engine)

Также vc.ru сообщает, что под ограничение скорости попадает домен steam *.steamcontent.com.

9,pinterest.com,84
10,microsoft.com,82
18,enable-javascript.com,79
48,blogspot.com,75
60,bluehost.com,72
71,mydomaincontact.com,70
72,reddit.com,70
78,namebright.com,70
79,dreamhost.com,70
84,t.co,69
112,akismet.com,
140,trustpilot.com,
159,dynadot.com,
193,constantcontact.com,
245,hubspot.com,
247,cointernet.com.co,
254,getpocket.com,
256,washingtonpost.com,
286,opencart.com,
301,sciencedirect.com,
314,shinystat.com,
318,huffingtonpost.com,
351,snapchat.com,
352,proofpoint.com,
354,googleusercontent.com,
389,pinterest.co.uk,
434,cnet.com,
463,format.com,
472,cookiebot.com,
486,onetrust.com,
495,independent.co.uk,
504,ewebdevelopment.com,
526,matterport.com,
532,deviantart.com,
537,indiamart.com,
538,blogspot.co.uk,
542,quantcast.com,
578,ft.com,
579,angieslist.com,
584,blogspot.com.es,
585,mapquest.com,
591,xinhuanet.com,
610,sharepoint.com,
615,swsoft.com,
670,walmart.com,
693,marriott.com,
695,cdnbest.com,
716,justhost.com,
727,beget.com,
767,aparat.com,
781,about.com,
785,appspot.com,
786,carecredit.com,
788,zdnet.com,
831,cookieconsent.com,
843,vistaprint.com,
854,redhat.com,
887,economist.com,
911,photobucket.com,
942,venturebeat.com,
987,childnet.com,
996,providesupport.com,
1061,domainmarket.com,
1063,lbpicmt.com,
1064,pardot.com,
1088,target.com,
1089,netcraft.com,
1127,yoast.com,
1128,hotmart.com,
1144,shieldbreakfast.com,
1159,wolt.com,
1163,nypost.com,
1167,allaboutdnt.com,
1172,projectrockit.com.au,
1174,geotrust.com,
1233,huffpost.com,
1238,engadget.com,
1251,theknot.com,
1294,cvent.com,
1318,pinterest.com.au,
1319,zibbet.com,
1323,themezhut.com,
1324,b-eat.co.uk,
1325,just-eat.com,
1353,att.com,
1384,talabat.com,
1408,facebookblueprint.com,
1417,mimecast.com,
1508,toreta-takeout.com,
1544,tencent.com,
1594,techtarget.com,
1613,adjust.com,
1660,intuit.com,
1696,producthunt.com,
1723,thelancet.com,
1731,semalt.com,
1736,dropboxusercontent.com,
1740,githubusercontent.com,
1747,provenexpert.com,
1776,pixieset.com,

Источник: Top 1 Million Domains - DomainRank

icloud-content.com

Вот айфоноводы удивятся