robots.txt — является одним из самых важных вспомогательным документом на сайте.
И к его созданию нужно подходить очень внимательно.
Сегодня мы будем делать следующее:
Проанализируем robots.txt двух популярных сайтов;
Рассмотрим главные функции файла robots.txt;
И, наконец, составим свой файл robots.txt;
Для начала заглянем в robots.txt двух достаточно популярных сайтов.
1)
2)
Шакин
Шакин и Терехов это два профессионала в мире продвижения и раскрутки сайтов, поэтому мы можем им доверять.
Единственным отличием между robots.txt Шакина и robots.txt Терехова являеться строчка:
Disallow: /category/*/*
Если у Шакина /category/*/* от индексации закрыты, то у Терехова они разрешены к индексации.
Но тут есть один маленький нюансик
На обоих сайтах стоит движок WordPress, и категории по умолчанию закрыты от индексации, поэтому строчка:
Disallow: /category/*/*
Особого значения не имеет.
Если вы внимательно посмотрели файл robots.txt этих двух сайтов, то увидели что страницы, которые администратор не желает видеть, в выдаче закрыты при помощи атрибута
Disallow:
Это очень важно.
Поисковики не любят видеть дубликаты контента в поисковой выдаче.
И если вдруг, по какому-нибудь запросу одна и та же статья покажется в выдаче несколько раз, поисковику придётся разобраться с вашим сайтом достаточно грубым методом.
Для этого и нужны запреты категорий, тегов и прочих страниц на которых находятся дубликаты контента.
Поэтому самым лучшим способом будет закрыть эти странички от индексации. Так мы и сделаем.
Мы не будем изобретать велосипед и просто возьмём себе готовый файл robots.txt с другого сайта и немножко изменим его под себя.
Итак, вот исходник моего файла robots.txt
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: blog-kota.ru
Sitemap: http://blog-kota.ru/sitemap.xml
Вы должны заменить две строчки:
Host: — указываем присутствует ли в домене вашего сайта www.
Если да, то пишем так:
Host: www.blog-kota.ru
Если нет, то так:
Host: blog-kota.ru
Sitemap:
Указываем путь до файла Sitemap (карты сайта).
Если таковой файл иметься.
Файл robots.txt создаётся при помощи простого блокнота, обратите внимание, что название robots нужно писать с маленькой буквы, а файл .txt – это расширение текстовых файлов.
После того как мы создали наш файл robots.txt мы загружаем его на сайт.
Причём файл robots.txt должен лежать на хостинге таким вот образом:
blog-kota.ru/robots.txt
Вот и всё!
Файл robots.txt готов!
Теперь поисковики будут знать, каким образом вы хотите, чтобы ваш сайт индексировался, и всё будет очень-очень хорошо.
Сегодня хотел бы, чтобы вы послушали и посмотрели клип на песню «Унылое говно», автор песни Вася Обломов.
В клипе учувствуют: Михаил Ефремов и сам автор песни.