spatie/crawler - php скрипт для обхода ссылок на сайте

PHP 
Crawler::create()
    ->setCrawlObserver(<class that extends \Spatie\Crawler\CrawlObserver>)
    ->startCrawling($url);

https://github.com/spatie/crawler