Что делает поисковая система?
Поисковые системы — это цифровая версия библиотекаря. Они используют комплексный индекс, чтобы помочь найти нужную информацию для запроса. Понимание основ поиска подготовит вас к тому, чтобы сделать ваш контент доступным для обнаружения пользователями.
Как сканеры просматривают веб-страницы
Сканирование похоже на чтение всех книг в библиотеке. Прежде чем поисковые системы смогут выдать какие-либо результаты поиска, им нужно получить как можно больше информации из Интернета. Для этого поисковые системы используют краулер — программу, которая перемещается с сайта на сайт и действует как браузер.
Если книга или документ отсутствуют или повреждены, сканер не может их прочитать. Сканер пытается получить каждый URL, чтобы определить состояние документа. Если документ возвращает код статуса ошибки, сканер не может использовать его содержимое и может повторить попытку URL позже. Это гарантирует, что в индекс попадут только общедоступные документы.
Если сканеры обнаруживают код статуса перенаправления (например, 301 или 302), они следуют перенаправлению на новый URL и продолжают работу там. Получив успешный ответ, что означает, что они нашли документ, доступный пользователям, они проверяют, разрешено ли его сканирование, а затем загружают содержимое.
Эта проверка включает HTML и весь контент, упомянутый в HTML, такой как изображения, видео или JavaScript. Краулеры также извлекают ссылки из HTML-документов, чтобы краулер мог также посетить связанные URL-адреса. Следуя ссылкам, краулеры находят новые страницы в Интернете.
Краулеры не нажимают активно на ссылки или кнопки, а вместо этого отправляют URL-адреса в очередь, чтобы сканировать их позже. При доступе к новому URL-адресу не доступны файлы cookie, сервис-воркеры или локальное хранилище (например, IndexedDB).
Создание индекса
После извлечения документа краулер передает контент поисковой системе для добавления его в индекс. Теперь поисковая система визуализирует и анализирует контент, чтобы понять его. Визуализация означает отображение страницы так, как это сделал бы браузер ( с некоторыми ограничениями ).
Поисковые системы смотрят на ключевые слова, заголовок, ссылки, заголовки, текст и многое другое. Это называется сигналами , которые описывают содержание и контекст страницы. Сигналы позволяют поисковым системам отвечать на любой заданный запрос с помощью наилучшей возможной страницы.
Поисковые системы могут находить один и тот же контент по разным URL. Например, рецепт «яблочного пирога» может находиться в /recipes/apple-pie и в /recipes/1234 . Чтобы избежать индексации и показа рецепта дважды, поисковые системы определяют, каким должен быть основной URL, и отбрасывают альтернативные URL, показывающие тот же контент.
Предоставление наиболее полезных результатов
Поисковые системы выполняют больше работы, чем просто сопоставление запроса с ключевыми словами в индексе. Чтобы предоставить полезные результаты, они могут учитывать контекст, альтернативные формулировки, местоположение пользователя и многое другое. Например, «силиконовая долина» может относиться к географическому региону или телешоу. Но если запрос — «силиконовая долина в ролях», результаты по региону не очень полезны.
Некоторые запросы могут быть косвенными, например «песня из криминального чтива», и поисковые системы должны интерпретировать это и показывать результаты для музыки из фильма. Когда пользователь что-то ищет, поисковые системы определяют наиболее полезные результаты и затем показывают их пользователю. Ранжирование, или упорядочивание, страниц происходит на основе запроса. Порядок часто может меняться со временем, если становится доступной более точная информация.
Следующие шаги: как оптимизировать для поисковых систем
Теперь, когда вы понимаете основы работы поисковых систем, вы можете увидеть ценность оптимизации для поисковых систем. Это называется SEO или «поисковая оптимизация». Убедившись, что поисковые системы могут находить и автоматически понимать ваш контент, вы улучшаете видимость вашего сайта для релевантных поисков. Это может привести к тому, что на ваш сайт будет заходить больше заинтересованных пользователей. Проведите аудит вашего сайта с помощью Lighthouse и проверьте результаты SEO, чтобы увидеть, насколько хорошо поисковые системы могут информировать пользователей о вашем контенте.