Как писать robots.txt?

И так, после создания вашего сайта, создания sitemap.xml - файла и конечного добавление его в поисковые машины, нужно “помочь” ботам. Для этого есть файл robots. txt.

У всякой поисковой машины имеется очень много роботов: один приходит на сайт и подтверждает его существование, 2-ой - приходит и включает в индекс страницы сайта, 3-ий - смотря на перечень страниц, заходит на их и считывает содержание, и т. д. Это, естественно, суженный перечень, роботов на самом деле немало, и у всякого бота ПМ уникальное имя. Однако нас это в данный момент не интересует. Вернемся к robots.txt

Файл robots. txt нужен для условно обозначенного “второго” бота из предыдущего абзаца. Когда этот бот прибывает, он считывает с сервера присутствие файла robots. txt. И ежели таковой имеется и прописан “правильно”, то Ваши дела меж сайтом и ПМ наладятся отлично и отменно. Отчего?Поэтому что бот проиндексирует лишь нужные странички и разделы интернет-сайта!Идем дальше и обучаемся писать файл robots. txt.

Какие строки может содержать файл robots.txt:
# User-Agent: * (* говорит, что далее прописаны правила для всех роботов ПМ);
# Disallow: /adminka (Disallow - строка, говорящая о запрете директории/файла к индексации - добавлении в ПМ, а далее /дирректория, запрещенная к индексации; одна строка - один файл/дирректория);
# Allow: / (Allow - строка, говорящая о разрешении на индексацию директории/файла, в данном случае разрешен весь сайт, кроме запрещенных дирректорий/файлов строками Disallow:);
# Host: www.yoursite.ru (Host говорит ПМ, как ему инициировать основной домен сайта: если с www.gdfgdf - то инициирует, как с субдомена www, если просто прописать site.ru - то с основного домена без www, Данная строка обычно прописывается для ПМ Yandex, приведу пример ниже)
# Sitemap: http://www.yoursite.ru/sitemap.xml (Sitemap говорит о местонахождении еще одного важного сео-файла sitemap.xml, о нем я рассказывал в ранних постах).

Это все основные строки для файла robots.txt, Их достаточно для хорошей индексации сайта. Сделаем в качестве примера файл robots.txt для сайта, у которого не стоит вносить в индекс папки users, admin и tags. Получится так:



Резумеется, не забываем закидывать файлик robots.txt в корень Вашего сайта. Enjoy!!!