Оптимизация
10.10.2009 07:36

Начнём с самого понятия файла robots.txt. Robots.txt - это такой текстовый файл, который, как правило, находится в корневой папке Вашего сайта (по адресу http://адрес_сайта/robots.txt) и служит для того, чтобы запретить поисковым роботам лазить в каких-то конкретных разделах, папках, страницах и т.д.. Вы можете посмотреть robots.txt совершенно любого сайта просто набрав адрес http://адрес_сайт/robots.txt. Помимо того, чтобы запрещать, robots.txt содержит ещё некоторые команды. Например, чтобы показать поисковым роботам где находится
sitemap Вашего сайта, нужно вписать в robots.txt такую команду:
Подробнее...