Для разных сайтов работают разные стратегии обхода, ищите ту, которая будет работать для нужных вам сайтов. Скрипт в помощь.