Elastic Alerting A to Z

2021-09-15 진행한 Elastic Alerting A to Z 웨비나 입니다.
다음 내용들을 설명하고 있습니다.

- 5:54 Watcher (과거에 사용하던 알람 기능) 설명
- 13:15 7.7 버전부터 추가된 새로운 Alerting 설명
- 20:00 watcher 데모
- 31:48 새로운 Alerting 데모 / System Log, Index connector 생성
- 39:58 Watcher vs Alerting 비교 / Machine Learning 에서 Alerting 사용 데모 / Slack, Email 연동 데모
- 54:00 Q&A

==== Q&A 질문 내용 ====

네트워크 보안솔루션과 연계한 자동화 등은 어떤 기능등이 있는지 시나리오나 플레이북과 같은 자동화등이 있는지 궁금합니다. → Elastic으로 일단 데이터를 다 가져와야 하고, Integration을 사용하면 Elastic으로 재저장한 후 사용 가능합니다.

Watcher의 동작 성능이 일반 Query와 차이가 있는지 궁금합니다. ElasticSearch 같은 경우 초당 조회가 어느 이상 되는 경우 쿼리 제한으로 검색이 진행되지 않는것으로 알고 있는데요, Watcher의 동작도 비슷한건지요? Watcher 동작이 실행중 오류 발생시 재시도 형태로 동작하는 건지요?

alter 메시지 알람창을 띄울수 있는 쉬운 방법이 있나요?

Watcher 생성 시 input query를 상세하게 조정하는 UI가 있나요?
동일한 이벤트의 Alert이라고 판단해서 알람을 skip할 수 있는 방법이 Watcher나 Kibana Alert에 있나요? 저희는 현재 Atlassian Opsgenie로 alert을 suppress 하고 있거든요

국내 실정(?) 에 맞게 카톡이나 문자, 라인? 등으로 얼럿 기능은 가능한가요?

여러개의 space를 사용하고 있을때 공통된 Rule을 사용하거나 Connector를 사용할 수 있는 방법이 있습니까? 하나의 로그로 인해 여러개의 Alert Rule이 발생 할 경우 우선순위와 처리는 어떻게 됩니까?

Kibana Guide의 Alerting과 Elasticsearch의 Watcher는 키바나가 Elasticsearch의 Watcher를 호출하는 식으로 동작하는 건가요? 두개의 정확한 차이점이 궁금합니다.

rule에서 발생하는 alerts 정보를 조회, 상태값을 변경하는 요청을 보내려고 찾아보던 와중 alerts 정보들인 .siem-signal-default라는 인덱스에 저장되는 것을 확인했습니다. alerts 정보를 확인하고 싶다면 해당 인덱스에서 값을 조회하고 상태값을 변경하는 식으로 처리하면 되나요?
저장된 rule 정보들을 자바에서 조회, 수정하고 싶습니다. RestHighLevelClient를 사용해서 키바나와 통신하여 rule 정보에대한 요청을 보낼 수 있을까요? 있다면 관련 문서 링크를 부탁드립니다
검색했을 때 엘라스틱 클라우드는 로그스태시를 포함하지 않는다는 글들을 보았는데 키바나 스택 매니지먼트로 들어가보면 로그스태시 파이프라인 설정이 있습니다. 엘라스틱 클라우드는 로그스태시를 포함하는 건가요? 포함한다면 사용방법에 대한 문서가 있는지 궁금합니다.

스케줄된 Alert을 수행하는 주체는 Kibana 인가요? 그렇다면 Kibana 또는 kibana가 탑재된 호스트가 다운되었을 때 Alert이 동작하지 않게 되는지 궁금합니다.
Alert이 부하 측면에서 ES에 주는 부담이 어느정도일까요? 웨비나 설명에서는 Alert이 정기적으로 ES에 조건을 확인하는 Pull 방식인 것으로 이해되는데, 그렇다면 alert 조건식이 복잡하거나 검색 데이터가 많은 클러스터에서는 alert 부하가 클 수도 있을까요? 만약 그렇다면 벤치마크 자료나 alert쿼리 튜닝 팁도 있을까요?

동영상을 꼭 공유해 주시면 내용을 조금 더 충분히 습득해보고 싶습니다.
클라우드 처음 사용하는 사람의 관점에서 환경 구축 및 기본 기능 활용을 하려면, elastic search 툴을 사용하여 얼마나 걸릴까요?

망분리 환경으로 운영되는 상황입니다. 내부망에 전사적인 alert 담당 서버가 있는데 rule 생성 후 connector가 아닌 외부 alert 서버와 연동이 가능할까요?
connector도 내부 메일서버를 사용해야하는데 연동이 가능할까요?
filebeat / metricbeat를 서버측에 설치해야하는데 agent의 안정성은 어떤식으로 확인할 수가 있을까요?

금융권 폐쇄망에서 사용시 어떤 사례가 있을까요?