Google начал вносить IP Proxy серверов в список адресов РФ (геотаргетинг)

Заметили, что загрузка видео на youtube через прокси стала надолго повисать. Иногда требуется обновить страницу (а некоторые видео не начинают грузиться даже после нескольких F5).
В режиме разработчика браузер показывает множество timeout при соединении с googlevideo. Если скопировать адрес из строки с таймаутом, выясняется, что этот хост GGC расположен в РФ. У него соответствующий ip и он пингуется за 23мс. После ряда таймаутов иногда начинает грузить из Киевского GGC.

  • Причина не в протечке DNS. -Резолв выполняется внутри прокси. Да и в TUN режиме то же самое. Поэтому можно исключить такую проблему, как выдача DNS сервером IP адреса для конкретного региона, когда резолв идет мимо прокси.
  • Смена dns сервера ничего не даёт.
  • Утечка по v6 так же исключена полностью.
  • webrtc вырублен (тем более, ситуация повторяется при проверке командой yt-dlp --get-url).
  • При загрузке через yt-dlp напрямую из терминала NL сервера всё равно отправляет в рф.
  • Проблема наблюдается с разными хостингами.

Но по всей видимости не касается (или в меньшей степени касается) юзеров крупных публичных VPN сервисов, т.к. в отношении них бесполезно проводить маркировку по регионам.

Если завернуть Warp в Proxy (Detour Warp Through Proxies) или запустить warp прямо на прокси сервере, чтобы google видел IP CF, а не прокси. Тогда timeout до GGC РФ исчезают, видео начинает грузиться нормально. А yt-dlp --get-url получает корректные адреса googlevideo

Подробнее о проверке симптомов у себя в браузере:

UPD:
После Report IP problems - Google Search Help IP пробыл в Нидерландах сутки, а затем вернулся обратно в РФ. Но при этом уже нет таймаутов. Только 403 ошибки.
Снова посылает на РФ хосты, но сейчас они уже отдают видео поток, чего не наблюдалось несколько дней назад (когда качало только из киева, а РФ показывала таймауты).

На проксе из другого хостинга, для которой тикетов не создавалось и регион не менялся, тоже починился просмотр.

Интересное наблюдение:

  1. Когда IP был привязан к NL региону, даже 403 ошибок не возникало. Сразу выдавало корректные хосты для googlevideo.
  2. Аналогично при работе через CDN CF: ни одной 403 ошибки - все соединения с googlevideo корректные.
    Т.е. оно вроде и починилось, просмотр не виснет теперь. Но, когда регион IP, который видит google, соответствует фактическому местоположению этого сервера, то работает без 403 ошибок. И без петли размером в пол мира из рф в NL и обратно.

Из другого треда:

Думаю, что для залета в базу IP РФ достаточно недельку посмотреть ютуб через проксю.
В других GeoIP базах адрес будет правильно показывать регион. Но у гугла своя отдельная база регионов.

DNS тут не причём, писал об этом:

Если попадаются видео, скрипт которых не хочет лезть на европейские сервера, запускаю через прокси, а после загрузки первого куска пускаю через byedpi остальное.

Я тоже написал, что днс тут ни при чем.
Локальный ggc для IP прокси сервера в NL это точно не GGC в РФ. А когда после прокси в detour режиме warp, то гугл уже правильно отправляет на ggc в NL или лондоне, например. Вы читали пост вообще?

Да, три раза перечитал.

Гугл отправляет вас на ру кеш серверы и вы видите в этом что-то большее чем распределение нагрузки на серверы? Иначе я не понял поста

Четыре года смотрю через американскую проксю, в базу не попадал пока.

Что непонятного? Гугл отправляет амстердамского юзера грузить видео из РФ. Но РФ GGC вообще не могут отвечать на запросы из амстера. Если вы тут не видите ничего странного, ну ладно. Будете просто страничку почаще обновлять, пока к киеву не прицепится.

Возможно IP этого юзера привязан к российскому юр. лицу.

Браузер чистый? Вход в аккаунт не выполнен? Попробуйте в incognito mode.

что в этом странного? так работают кеш серверы, они созданы для снижения нагрузки на основные серверы, а то что в рф они лагучие, гугл еще не разобрались. я несколько месяцев назад мониторил трафик на молдавской впс, там видео грузились с турецких кеш серверов местных инет провайдеров. на немецкой впс щас посмотрел: в основном франкфурт, но проскакивает сша (as google)

Я же сказал, что yt-dlp --get-url показывает то же поведение, а это наиболее чистый браузер по сути из всех возможных. Без варпа получает адреса в РФ. С варпом получает нормальные адреса, близкие к прокси серверу.
Я больше не будут отвечать на одни и те же вопросы, раскрытые в посте.

в гугл поиске пролистайте вниз, там будет написано к какой стране гугл вас относит. на чистых айпи адресах берет локацию по geoip, но если как-то засветить реальную локацию (может по gps, точно не знаю), то она поменяется и привяжется к ip адресу

Пробейте IP амстердамского юзера по базам, мои европейские VPS приобретённые у хостеров в РФ в половине случаев определяются как РФ.

Сейчас попробую полностью через прокси подключится и проверить перенаправление в РФ.

Я бы всё-таки не сбрасывал со счетов dns, слышал doh передаёт регион для распределения нагрузки. Попробуйте 9.9.9.9, он не передаёт. Вдруг, он у вас всё-таки напрямую или по accept language какому-нибудь смотрит.

Проверил: Полностью через прокси через Ctrl+F5 загрузил страницу — скрипт в РФ не лезет. Если во время просмотра переключить *.googlevideo.com на byedpi, то скрипт начинает долбится в РФ, мой плагин это отсекает и видео продолжает грузится из старого места.

Добавлено: Если переключить обратно всё через прокси, то скрипт ломается и продолжает пытается подключится к РФ через американский прокси, хотя с точки зрения кэша надо перестать это делать.

У меня en-US, по часовому поясу спуфинг Лондона.

Киев и москва через амстердамский прокси. Таймаутов не меньше. Появились еще таймауты до GGC в сша.
9999 выдало в США WoodyNet

Может быть дело в видео, которое вы качаете? Можете предположить, в каких странах его целевая аудитория? В Амстердаме оно кому-нибудь интересно? Как вариант - отдается из кеша, где подавляющее число зрителей, несмотря на ваш европейский IP-адрес.

Видео из тайваня на китайском для очень узко специализированной аудитории.
https://www.youtube.com/watch?v=8BR987FOuF8

Запрос непосредственно из сервера без проксей - лезет в рф.

Открыл — лезет в РФ и не кажет, нажал Ctrl+F5 — начал грузить из Франкфурта и показывать.