Как писать robots.txt?

illustration robot

И так, после создания вашего сайта, создания sitemap.xml — файла и конечного добавление его в поисковые машины, нужно “помочь” ботам. Для этого есть файл robots. txt.

У всякой поисковой машины имеется очень много роботов: один приходит на сайт и подтверждает его существование, 2-ой — приходит и включает в индекс страницы сайта, 3-ий — смотря на перечень страниц, заходит на их и считывает содержание, и т. д. Это, естественно, суженный перечень, роботов на самом деле немало, и у всякого бота ПМ уникальное имя. Однако нас это в данный момент не интересует. Вернемся к robots.txt

Файл robots. txt нужен для условно обозначенного “второго” бота из предыдущего абзаца. Когда этот бот прибывает, он считывает с сервера присутствие файла robots. txt. И ежели таковой имеется и прописан “правильно”, то Ваши дела меж сайтом и ПМ наладятся отлично и отменно. Отчего?Поэтому что бот проиндексирует лишь нужные странички и разделы интернет-сайта!Идем дальше и обучаемся писать файл robots. txt.

Какие строки может содержать файл robots.txt:
# User-Agent: * (* говорит, что далее прописаны правила для всех роботов ПМ);
# Disallow: /adminka (Disallow — строка, говорящая о запрете директории/файла к индексации — добавлении в ПМ, а далее /дирректория, запрещенная к индексации; одна строка — один файл/дирректория);
# Allow: / (Allow — строка, говорящая о разрешении на индексацию директории/файла, в данном случае разрешен весь сайт, кроме запрещенных дирректорий/файлов строками Disallow:);
# Host: www.yoursite.ru (Host говорит ПМ, как ему инициировать основной домен сайта: если с www.gdfgdf — то инициирует, как с субдомена www, если просто прописать site.ru — то с основного домена без www, Данная строка обычно прописывается для ПМ Yandex, приведу пример ниже)
# Sitemap: http://www.yoursite.ru/sitemap.xml (Sitemap говорит о местонахождении еще одного важного сео-файла sitemap.xml, о нем я рассказывал в ранних постах).

Это все основные строки для файла robots.txt, Их достаточно для хорошей индексации сайта. Сделаем в качестве примера файл robots.txt для сайта, у которого не стоит вносить в индекс папки users, admin и tags. Получится так:

User-Agent: *
Disallow: /users
Disallow: /admin
Disallow: /tags
Allow: /

User-Agent: Yandex
Host: site.ru
Sitemap: http://yoursite.ru/sitemap.xml

Резумеется, не забываем закидывать файлик robots.txt в корень Вашего сайта. Enjoy!!!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

19 − 16 =