Если же у вас возникла необходимость скрыть какие-то страницы от поисковых машин вы можете прописать это при помощи файла robots.txt.

Это не только увеличит ресурсы поисковых машин, потраченные на ваши важные страницы, но также поможет защитить ваш сайт от хакеров, которые могут в своих целях использовать результаты поисковой машины или заполучить важную информацию о вашем сайте. Спайдеры поисковых машин очень часто индексируют не только содержимое ваших страниц, но и то что они могут найти в сети, включая файлы, где хранятся пароли.

Файл Robots.txt служит для того, чтобы помочь спайдерам поисковых машин в поиске страниц, а также указать им какие страницы индексировать не нужно.

Незнание принципов создания и применения robots.txt зачастую приводит к проблемам. Очень многие вебмастера при ошибочном указании информации, находящейся в файлах robots.txt препятствуют спайдерам поисковых машин нормально их индексировать.

Нужно помнить, что при заходе на ваш сайт поисковый робот первым делом проверяет наличие файла robots.txt. Если таковой имеется, то робот анализирует его и руководствуется полученным содержанием.

Для того, чтобы поисковые машины никогда не зашли на ваш сайт достаточно прописать в файле robots.txt следующее:
User-agent: ^*
Disallow: ⁄

И все! Эти строки запрещают определенным роботам просматривать заданные каталоги и страницы сайта. Звездочка означает, что указания распространяются на всех роботов, но если вы хотите, чтобы запрет действовал на какого-то отдельного робота, напишите вместо звездочки его имя.

В строке Disallow следует указать файлы и каталоги, которые вы не хотите индексировать. В этом случае в файл Robots.txt будет выглядеть следующим образом:
User-agent: ^*
Disallow: ⁄название папки, которую вы прячете от поисковых роботов⁄

Еще раз хочу обратить ваше внимание, на то, что прятать страницы и папки я не рекомендую.

« ОГЛАВЛЕНИЕ »

• Поделиться: