Robots.txt: разрешить только основные SE

Вопрос задан: 10 лет назад Последняя активность: 1 год назад
up 22 down

Есть ли способ настроить robots.txt так, чтобы сайт принимал посещения ТОЛЬКО от Google, Yahoo! а пауки MSN?

4 ответа

Возможно, для Вашего проекта будут необходимы бесплатные векторные карты. На нашем сайте представлены карты для всех стран.

Реклама

up 32 down accepted

User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Slurp
Allow: /
User-Agent: msnbot
Disallow: 

чавкать робот Yahoo

up 18 down

Зачем?

Любой, кто совершает зло (например, собирает адреса электронной почты для спама), просто игнорирует robots.txt. Таким образом, вы будете блокировать только легальные поисковые системы, так как соответствие robots.txt является добровольным.

Но - если вы все равно настаиваете на этом - это то, что User-Agent: строка в robots.txt предназначена для.

User-agent: googlebot
Disallow: 

User-agent: *
Disallow: /

Конечно же, со строками для всех других поисковых систем, с которых вы хотели бы получать трафик. Robotstxt.org имеет частичный список.

up 3 down

В зависимости от того, в какой стране вы говорите, существует более 3 основных поисковых систем. Facebook, кажется, делает хорошую работу, перечисляя только законные: https://facebook.com/robots.txt

Таким образом, ваш robots.txt может быть что-то вроде:

User-agent: Applebot
Allow: /

User-agent: baiduspider
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Facebot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: msnbot
Allow: /

User-agent: Naverbot
Allow: /

User-agent: seznambot
Allow: /

User-agent: Slurp
Allow: /

User-agent: teoma
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: Yandex
Allow: /

User-agent: Yeti
Allow: /

User-agent: *
Disallow: /
up 0 down

Как всем известно, robots.txt является стандартом, которому должен следовать сканер, и, следовательно, только хорошо действующие агенты делают это. Так что, неважно, выразить это или нет.

Если у вас есть некоторые данные, которые вы не отображаете на сайте, вы можете просто изменить разрешение и повысить безопасность.