Как сохранить содержимое сайта в Индексе состояния с помощью StormCrawler?

Вопрос задан: 2 года назад Последняя активность: 2 года назад
up 1 down

Мы пытаемся сохранить содержимое веб-страницы в индексе состояния вместе с URL-адресом, информацией о состоянии и метаданными.

Мы пытались редактировать ES_IndexInit.sh и добавьте следующее свойство в раздел отображения Status:

"content": {
                "type": "text",
                "index": "true",
                "store": true
            }

но мы ничего не видим в Кибане после процесса сканирования.

Мы предполагаем, что нам придется изменить исходный код Java в проекте штормового сканера, но мы не знаем, как это сделать.

Любое понимание было бы очень полезно. Заранее спасибо.

1 ответ

Возможно, для Вашего проекта будут необходимы бесплатные векторные карты. На нашем сайте представлены карты для всех стран.

Реклама

up 0 down accepted

Содержимое обычно хранится в отдельном индексе, статус которого используется главным образом для планирования URL-адресов и хранения их метаданных. Это также, вероятно, повлияет на производительность.

Однако если вы хотите продолжить, вы можете написать собственный ParseFilter для хранения текстового содержимого в метаданных. Как обычно, вам нужно добавить ключ, используемый для хранения текста, в запись конфигурации, содержащую метаданные для сохранения в индексе состояния (metadata.persist).