Как работает поисковик

Большинство пользователей интернета думают, что поисковая система ищет страницы прямо во всемирной паутине. Это не так. На самом деле она осуществляет поиск в своей базе данных, которую предварительно составляет для каждого поискового запроса. Эта база состоит из клонов веб-страниц, каждый из которых создан в определенный момент времени. Поисковая система проходит по интернету и словно фотографирует каждую веб-страницу. А эти фотографии затем складывает в свою базу данных. У Яндекса такие «фотокарточки» доступны по ссылке «копия», у Гугла – по ссылке «сохраненная копия». Если поисковик не успел сделать обновление базы после изменения страницы, то сохраненная копия будет отличаться от оригинала. А еще бывает, что вы щелкаете по результату поиска, а браузер выдает ошибку. Это значит, что вебмастер уже удалил страницу со своего сайта, а поисковая система еще не успела исключить ее из своей базы данных. В этом случае вы можете посмотреть страницу как раз по ссылке «копия».

Например, наберите в Яндексе любой поисковый запрос и найдите под первым же результатом ссылку «копия». Перейдите по ссылке и взгляните в верхнюю часть страницы. Там будет написано когда была сохранена версия этого документа. По сути – это дата индексации страницы.

Итак, вначале поисковая система должна составить поисковую базу, которую нужно непрерывно обновлять в связи с тем, что всемирная паутина – вещь динамичная, и изменения в ней происходят каждую секунду. Начинается составление базы с работы так называемого паука.

Паук – это компонент поисковой системы, который непрерывно ходит по страницам интернета, не останавливаясь никогда. Один большой цикл работы паука состоит в следующем.

Он первым делом заходит на самые посещаемые сайты, анализирует их страницы, а затем переходит по найденным ссылкам. Так паук шаг за шагом проходит всю всемирную паутину, находя в ней те страницы, на которые ведет хотя бы одна ссылка.

Каждой найденной странице ставится в соответствие один или несколько поисковых запросов. В итоге по каждому поисковому запросу появляется список релевантных веб-страниц, которые впоследствии могут быть выданы пользователю, набравшему этот запрос.

Список релевантных страниц затем упорядочивается согласно факторам ранжирования. В конце концов, появляется так называемая поисковая выдача. По каждому поисковому запросу – своя. Именно ее мы и видим, когда набираем тот или иной запрос.