Отключить подобласть в stormcrawler потока

Вопрос задан: 1 год назад Последняя активность: 1 год назад
up 0 down

Как мы можем отключить инъекционный поддомен в потоковом? Теперь, если мы вводим www.ebay.com в потоке, чем в из нас есть субдомна страница: my.ebay.com, community.ebay.com, ...

1 ответ

Возможно, для Вашего проекта будут необходимы бесплатные векторные карты. На нашем сайте представлены карты для всех стран.

Реклама

up 1 down accepted

Вы можете настроить HostURLFilter для исключения URL-адресов, которые находятся за пределами семян хостами, установив ignoreOutsideHost истину в urlfilters.json

{
  "class": "com.digitalpebble.stormcrawler.filtering.host.HostURLFilter",
  "name": "HostURLFilter",
  "params": {
    "ignoreOutsideHost": true,
    "ignoreOutsideDomain": true
  }
}