Вы здесь

Для чего нужен robots.txt

03.07.2018 |
0
196

Robots.txt – текстовый файл, который ограничивает доступ к содержимому сайта для поисковых роботов. Он включает в себя ряд инструкции, которые запрещают индексировать заданные каталоги, страницы и файлы на сайте. 
Пример:

При наличии данных параметров в файле robots.txt поисковому роботу системы Google будет запрещено индексировать на сайте каталог и все его разделы.

Присутствие файла robots.txt играет важную роль при seo-оптимизации сайта. С его помощью можно исключить страницы, которые не содержат полезных материалов. В следствие чего нагрузка на сайт уменьшится, а скорость индексации сайта увеличится.

Создать robots.txt можно с помощью блокнота или любого другого редактора текста. Открываем текстовый редактор, прописываем все необходимые инструкции для робота, после чего сохраняем в расширении txt - файл готов. Так же можно использовать различные онлайн сервисы для создания robots.txt, но в данном случае наверняка знать, что вы хотите индексировать, а что нет. Если при создании файла будет допущена ошибка или что-то случайно выбрано, впоследствии это может значительно снизить эффективность сайта. Поэтому рекомендуется делать этот файл вручную. После создания файла стоит его проверить и перепроверить, после чего уже размещать на сайте.

Файл robots.txt можно отредактировать и изменить содержимое так, как вам это нужно. Если вы решите добавить несколько новых разделов на ваш сайт и часть из них нужно будет запретить для индексации, необходимо просто добавить эти разделы в соответствующую директиву. После чего просто загрузите новую версию файла на сайт.

Проверить корректность robots.txt можно с помощью Google Search Console или Яндекс.Вебмастер

При seo-продвижении сайта robots.txt является необходимым инструментом, ведь с его помощью можно напрямую управлять индексацией сайта и показывать в поисковой выдаче те страницы, которые необходимы.

Автор: 
Андрей Мордач

Добавить комментарий

Похожие статьи

7 (499) 110-13-08 - Москва

Menu