Если честно, я тот ещё советчик в плане диагностики сети. Как минимум попробуйте сделать трассировку в проблемные часы, как описано в этом сообщении: Странная работа XTLS-Reality - #14 by 0ka
Там возможно будет видно, в каком месте затык. В теории надо тестировать и VPS тоже (хоть вы и уверены, что проблемы у провайдера, но я тоже был уверен, а оказалось нет), проблемы могут быть и на той стороне, причём speedtest ничего особо не покажет (в моём случае не показывал). Честно не знаю, как это лучше сделать подручными средствами, мне в упомянутой ветке помогли с постоянным мониторингом пинга через smokeping, но думаю должны быть и более простые варианты (например, банально запустить бесконечный ping до 1.1.1.1 на VPS и перенаправить вывод в файл, то же самое сделать на ПК в направлении VPS, затем взять точки и построить график). Но я не специалист, может кто умнее что-то подскажет.