Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
 
Формат файла robots.txt - особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:

<Поле> ":" <значение>

Robots.txt должен создаваться в текстовом формате Unix. Большинство хороших текстовых редакторов уже умеют превращать символы перевода строки Windows в Unix. Либо ваш FTP-клиент должен уметь это делать. Для редактирования не пытайтесь пользоваться HTML-редактором, особенно таким, который не имеет текстового режима отображения кода.

          Некоторые из Вас спрашивают: ” Как мне запретить или разрешить  ‘поисковику №1’ индексировать страницы, разработанные для ‘поисковика №2’.’ Ответ состоит в использовании robots.txt. Имеются также другие причины для предохранения поисковых систем от индексации некоторых или всех страниц на сайте. Поэтому я написал эту детальную статью, чтобы показать Вам, как сделать это, и избежать общих ошибок.
Если Вы создаете различные версии по существу одного и того же дорвея или страницы и каждый механизм поиска индексирует каждую копию страницы, то Вы, в теории, занимаетесь спамом. AltaVista в особенности, как известно, ненавидит дубликат или похожее содержание на страницах. Поэтому, если Вы создаете страницы, которые являются слишком похожими, Вы подвергаетесь риску получить красную карточку от поисковых машин. Практически, большинство людей не беспокоятся относительно наличия слишком большого количества дублирующих страниц, проиндексированных одной поисковой системой, потому что они не создают огромные числа похожих страниц. Если ваши страницы изменяются достаточно в размере и числе слов, то Вы не должны волноваться.