9
robots.txt
Имеем сайт mysite.biz.
Задача.
Сайт должен быть закрыт от всех поисковиков кроме поисковика search.com.
На самом сайте должны быть закрыты от любого поиска папки dir1 и dir2.
Помогите правильно составить файл robots.txt.
Это amp страница - сокращенная версия обсуждения
Читать полную версию обсужденияИмеем сайт mysite.biz.
Задача.
Сайт должен быть закрыт от всех поисковиков кроме поисковика search.com.
На самом сайте должны быть закрыты от любого поиска папки dir1 и dir2.
Помогите правильно составить файл robots.txt.
Задача.
Сайт должен быть закрыт от всех поисковиков кроме поисковика search.com.
На самом сайте должны быть закрыты от любого поиска папки dir1 и dir2.
Помогите правильно составить файл robots.txt.
Ежели не ошибаюсь
User-agent: *
Disallow: / # закрываем сайт от всех роботов
User-agent: search.com #[название робота]
Allow: / # открываем сайт только для данного робота
Disallow: /dir1* # закрываем dir1 от данного робота
Disallow: /dir2* # закрываем dir2 от данного робота
User-agent: *
Disallow: / # закрываем сайт от всех роботов
User-agent: search.com #[название робота]
Allow: / # открываем сайт только для данного робота
Disallow: /dir1* # закрываем dir1 от данного робота
Disallow: /dir2* # закрываем dir2 от данного робота
Это amp страница - сокращенная версия обсуждения
Читать полную версию обсуждения