robots.txt
Имеем сайт mysite.biz.
Задача.
Сайт должен быть закрыт от всех поисковиков кроме поисковика search.com.
На самом сайте должны быть закрыты от любого поиска папки dir1 и dir2.
Помогите правильно составить файл robots.txt.
Я не грамотная и читать умею только еву.
Не откажите в любезности - составьте файл robots.txt по тамошним инструкциям в сооответстве с тем что я написала плизушки.
Сочувствую. В таком случае остается надеяться, что тут найдется кто-нибудь умеющий делать это, и кому в то же время катастрофически нечем заняться.
Ежели не ошибаюсь
User-agent: *
Disallow: / # закрываем сайт от всех роботов
User-agent: search.com #[название робота]
Allow: / # открываем сайт только для данного робота
Disallow: /dir1* # закрываем dir1 от данного робота
Disallow: /dir2* # закрываем dir2 от данного робота
О!!!
ОГРОМНАЯ вам благодарность!
Миллион поцелуев и море цветов!
Нашла ошибку - пропустила инструкцию Allow: /
А вы уверены что порядок не обратный?
В смысле что сперва User-agent: *
а потом User-agent: search.com?
Не получаетса что search.com увидев запрет не станет искать следующую инструкцию?