Если вы не хотите, чтобы поисковые машины индексировали некоторые ваши страницы, вы можете использовать для этого специальный файл — robots.txt.
Этот файл следует размещать в корневом каталоге вашего сервера — /http.
Примеры содержания файла robots.txt:
Данные строки запрещают всем роботам инексировать все документы, размещенные на вашем сервере:
User-Agent: *
Disallow: /
Данные строки запрещают всем роботам индексировать все документы, размещенные в директории /test:
User-Agent: *
Disallow: /test/
Данные строки запрещают всем роботам индексировать файл secret_place.html в директории /test:
User-Agent: *
Disallow: /test/secret_place.html
Обратно