Оптимизация

Начнём с самого понятия файла robots.txt. Robots.txt - это такой текстовый файл, который, как правило, находится в корневой папке Вашего сайта (по адресу http://адрес_сайта/robots.txt) и служит для того, чтобы запретить поисковым роботам лазить в каких-то конкретных разделах, папках, страницах и т.д.. Вы можете посмотреть robots.txt совершенно любого сайта просто набрав адрес http://адрес_сайт/robots.txt. Помимо того, чтобы запрещать, robots.txt содержит ещё некоторые команды. Например, чтобы показать поисковым роботам где находится sitemap Вашего сайта, нужно вписать в robots.txt такую команду:

Sitemap: http://адрес_сайта/sitemap.xml

Чтобы уменьшить количество запросов от поисковых систем и тем самым уменьшить нагрузку Вашего сайта на хостинг или сервер, нужно ввести такие строчки для яндекса:

User-agent: Yandex
Crawl-delay: 10 

и такие для Гугла:

User-agent: Google
Crawl-delay: 10 

Вообще, robots.txt предназначен для того, чтобы запретить поисковым роботам индексиовать разный ненужный хлам на Ваше сайте, например, картинки, административную панель, компоненты, страницу поиска и т.д. У каждого движка есть свои варианты составления файла Robots.txt. Например, для Joomla нормальный robots.txt выглядит так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/ 
Host: ваш_домен без http:// и www
Sitemap: http://адрес_сайта/sitemap.xml

Интересное:

Удобная и быстрая сдача нулевой отчетности ип. Всего за 1500руб и по времени около 10минут.