У вас VLESS Reality с маскировкой под чужой сайт или под свой?
Если первое - для подключения используется чужой сертификат, который вполне себе валидный и беспокоится не вижу особого смысла. В данном контексте под самоподписанным сертификатом вы возможно подразумевали сертификаты для 3X-UI, то тоже не вижу никаких проблем. Только в таком случае советую настройках панели в Listen IP и Listen Doman прописать 127.0.0.1 Это скроет панель от посторонних лиц, зайти на неё можно будет после подключения по SSH с коммандой ssh -L 8080:127.0.0.1:3XUIPORT root@YOURIP -p SSHPORT по адресу https://127.0.0.1/YOURSECRET3XUIURL
Если же второе (без домена, чисто айпишник и серт от какого-нибудь openssl) - то самоподписанный сертификат для прокси в целом рабочий вариант, но выглядит довольно нетепично, подозрительно и как-то… Палевно, что-ли. В любом случае маскировка под чужой сайт или под свой но с доменом и нормальным сертификатом будет однозначно лучше.
Насчёт настройки - сам недавно озадачился этим вопросом, реализаций достаточно много, зависит лишь от вашей фантазии, потребностей и опыта работы с тем же NGINX.
Если хочется максимально простой, быстрый в настройке и бесплатный, но при этом всё равно довольно годный вариант, то создайте свой поддомен на duckdns.org, пропишите в него свой айпишник и настройте по этой инструкции. Сам пару дней уже так сижу, по ощущениям стало малость шустре, будто блокировок и вовсе не было. В итоге плачу только за хостинг минимальные деньги. Из минусов - сайт на субдомене нельзя пустить через CloudFlare CDN, но это будет полезно лишь в специфических ситуациях, до которых, надеюсь, не дойдёт.