Robots.txt

Роботы поисковых систем используют файл robots.txt для определения того, какие страницы сайта они могут сканировать. Небольшие ошибки в этом файле…