| Так, теперь поговорим об управлении индексацией. Все документы на вашем сайте можно разделить на два типа: рабочие, с релевантным содержанием, и вспомогательные (графика, архивы, страницы, где текста мало и он неинформативный, служебные каталоги). Индексацию последних лучше запретить, т.к. она снизит общую релевантность сайта. Да и индексация рабочей группы затормозится. Кроме того, на вашем сайте могут оказаться папки с секретными материалами, которые вам захочется спрятать. Для таких случаев существует файл robots.txt. Точнее, будет существовать, когда вы его создадите :) С его помощью можно запретить индексировать отдельные файлы и каталоги (или все сразу) всем поисковикам, либо некоторым, выборочно. Содержание файла robots.txt формируется всего из 2 строчек: User-agent – имя робота, и Disallow – перечень закрываемых каталогов. Если в строке User-agent стоит * – значит рекомендация относится ко всем поисковым роботам, если, скажем, Yandex – то только к Яндексу. Слэш (/) в строке Disallow означает, что запрещается индексировать все файлы и каталоги на сайте. Пустая строка Disallow – значит индексировать можно все. Запрещаем Яндексу индексировать все: User-agent: Yandex
Disallow: / Запрещаем Яндексу и Апорту индексировать каталог /cgi-bin/: User-agent: Yandex Aport
Disallow: /cgi-bin/ Запрещаем всем индексировать каталоги /cgi-bin/, /img/ и /faq/ и файл faq.htm: User-agent: *
Disallow: /cgi-bin/
Disallow: /img/
Disallow: faq Если вы пишете в строке Disallow слово, не обрамляя его слэшиками, то под запретом на индексацию окажется не только каталог, но и все файлы, в названии которых это слово присутствует. Можно накладывать ограничения и на отдельные файлы: User-agent: *
Disallow: /zoo/slon.html Запрещаем всем все, кроме Яндекса: User-agent: Yandex
Disallow: User-agent: *
Disallow: / Ну, думаю здесь все ясно. Управлять индексацией можно и с помощью мета-тэга . Выглядит это дело так: В content должно стоять что-то из следующего: Index – эту страницу нужно индексировать
Noindex – эту нельзя индексировать
Follow – прослеживать ссылки на странице
Nofollow – не прослеживать
All - = index, follow
None - = noindex, nofollow
Для примера, если эта строка у вас будет выглядеть так: … то сама страница индексироваться не будет, но робот будет прослеживать на ней ссылки, чтобы проиндексировать по ним остальную часть сайта. Мета-тэг имеет приоритет над указаниями, содержащимися в файле robots.txt. Если в robots.txt разрешается индексировать все файлы в каталоге, то мета-тэг может запретить индексирование конкретной страницы в этом каталоге.
| 
