Скачать или смотреть Загрузка 350 миллионов документов в большой кластер Solr — Дион Олстхорн, Wolters Kluwer

Эта сессия представляет собой пример из практики, демонстрирующий, как можно быстро, эффективно и контролируемо загрузить большой набор XML-документов в многоколлекционный кластер Solr.

Докладчик покажет, как Solr используется в его организации, а затем объяснит, как его команда начала загрузку контента в SolrCloud с помощью стандартного инструмента post.jar, который имеет некоторые скрытые ограничения.

Вы увидите, как это привело к их текущему решению, состоящему из множества облачных процессов «публикации контента», управляемых интеллектуальной системой очередей без главного узла в ZooKeeper. Также докладчик расскажет, как загружать контент в загруженный кластер Solr, не слишком влияя на время отклика выполняемых запросов.

Доклад представлен на конференции Lucene/Solr Revolution. Подробнее: https://activate-conf.com/