Для того, чтобы начать любую оптимизацию сайта необходимо обладать хотя бы минимальными знаниями о работе поисковых машин и индексации страниц сайта. Как только вы сможете понять, что такое поисковые машины и как они работают, вам станет ясно, как происходит поиск и какие результаты поиска выдаются нам при наборе поискового запроса. Именно эти знания и могут помочь вам создавать оптимизированные веб-страницы.
Поисковая машина - комплекс программ, предназначенный для поиска информации. Обычно является частью поисковой системы. Основными критериями качества работы данной машины являются релевантность (степень соответствия запроса и найденного, т.е. уместность результата), полнота индекса, учёт морфологии языка.
Поисковые машины (системы) обычно состоят из пяти отдельных программных компонентов:
1) Система выдачи результатов (Search engine results engine) — которая извлекает результаты поиска из базы данных.
2) Паук (Spider) — это программа, которая скачивает веб-страницы.
3) Краулер (Crawler) — программа, которая автоматически проходит по всем ссылкам, найденным на странице, и выделяет их. Его задача — определять, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Краулер, следуя по найденным ссылкам, осуществляет поиск новых документов, еще не известных поисковой системе.
4) Индексатор (Indexer) — разделяет страницу на части и анализирует их.
5) База данных (Database) — хранилище всех данных, которые поисковая система скачивает и анализирует.
И так общие (технические) сведения о машинах поиска мы уже имеем. Перейдем к их работе.
Как только вы ввели поисковый запрос начинается просмотр не всего Интернета в поисках нужного запроса, а осуществляет поиск только в пределах собственной базы данных (индекса). И поэтому если новые страницы вашего сайта еще не попали в базу данных поисковой системы - вы их не увидите.
Скорость (период времени) индексации новых страниц в разных поисковых системах разные. Поисковые алгоритмы каждого из поисковых сервисов уникальны. В различных поисковых машинах вы всегда получите разную информацию.
Базы данных поисковых машин постоянно изменяются и отличаются друг от друга. К примеру, Google может иметь больше страниц, внесенных в свой индекс, чем Yandex. Но если Yandex обновил свои данные быстрее, чем Google, то даже при его относительно небольшом числе страниц это может дать пользователю более свежие и разносторонние результаты.
Приоритет поисковых машин — обнаружение и индексация страниц или так называемых релевантных страниц (Релевантность). Спайдеры поисковых машин ежедневно находят миллионы страниц, которые заносятся в базу данных и индексируются. Но поисковикам очень трудно определить частоту изменений страниц. Спайдер может "заползти" на страницу один раз, затем вернуться к ней и обнаружить внесенные вами изменения.
Для чего это я вам рассказал? Ответ очень прост: как только вы уясните, откуда и куда приходят результаты поиска в разных поисковых машинах, то сможете сконцентрироваться на планировании только самого важного, где ваши усилия по оптимизации дадут максимальные результаты.