Скачать или смотреть Путь к оптимизированному по затратам OpenSearch: глубокое погружение в репликацию сегментов — В. ...

Путь к оптимизированному по стоимости OpenSearch: подробный анализ репликации сегментов — Варун Бансал и Ашиш Сингх, Amazon Web Services

Масштабная эксплуатация OpenSearch часто означает оплату одной и той же работы по индексированию N+1 раз. Репликация документов перезапускает весь конвейер индексации на каждой реплике, увеличивая затраты на процессор, кучу и операции ввода-вывода. Репликация сегментов меняет кривую затрат: первичные серверы индексируют один раз, реплики копируют сегменты Lucene, сокращая избыточные вычисления и повышая стабильную пропускную способность для рабочих нагрузок с интенсивным использованием записи, таких как журналы и метрики.

В этом сеансе мы подробно рассмотрим внедрение репликации сегментов для оптимизации затрат: как это работает, когда это окупается и как безопасно внедрить её с правильной наблюдаемостью и ограничениями. Мы рассмотрим сокращение времени восстановления и повышение устойчивости при оттоке узлов, а также то, как более равномерное распределение ресурсов процессора реплики влияет на распределение и балансировку сегментов для равномерного использования ресурсов между узлами.

Мы также рассмотрим сопряжение репликации сегментов с удалённым хранилищем для устранения узких мест локального ввода-вывода и повышения надёжности. Публикуя сегменты в общем удалённом репозитории и используя реплики для извлечения данных из одного и того же источника, кластеры уменьшают разветвление данных между первичной и репликационной базами данных, обеспечивают плавное восстановление и предотвращают перегрузку дисков, сохраняя при этом корректность поиска.