[ELK] ELK 개요

[ELK] ELK 개요

작성일자 : 2019년 01월 30일

1. ELK란? 

ELK( ELK Stack )는 Elastic사 에서 제공하는 Elasticsearch, Logstash, Kibana의 세 가지 오픈 소스 프로젝트의 약자입니다. 

각 제품이 연동되어 데이터 수집 및 분석 툴로서 동작합니다. Elastic이라는 기업명에 걸맞게 높은 확장성과 뛰어난 이식성을 가지고 있어 다른 여러가지 툴과도 연동이 가능합니다.

Elasticsearch는 검색 및 분석 엔진입니다. RDB와 비슷하나 검색 및 분석 성능은 훨씬 뛰어납니다.

Logstash는 여러 소스의 데이터를 동시에 가져 와서 변환 한 다음 Elasticsearch와 같은 stash로 보내는 서버 측 데이터 처리 파이프 라인입니다. 

Kibana를 사용하면 Elasticsearch에서 차트와 그래프로 데이터를 시각화 할 수 있습니다.

+ Beats란?

단일 목적의 데이터 수집기 플랫폼인 Beats는 수백 수천 개의 장비와 시스템으로부터 Logstash나 Elasticsearch에 데이터를 전송합니다.

2. Architecture

1. 1개 이상의 Client( 수집할 Data 발생 서버 )에서 beats가 특정 트리거에 의해 logstash로 Data를 전송합니다. (각 Client마다 Beats 존재)

2. logstash로 전달 된 Data를 커스터마이징이 가능한 필터를 통해 가공하여 Elasticsearch로 전달 합니다.

3, Elasticsearch로 전달 받은 데이터를 서버(Elasticsearch)에 저장합니다.

4. kibana에서 연동되있는 Elasticsearch에 저장된 데이터 셋을 토대로 시각화를 제공 합니다.

3. Reference

주로 많이 함께 사용하는 제품들을 묶어 ELK( ELK Stack)이라 부르고 있으나, 앞서 말했듯이 각 제품은 확장성이 뛰어나기 때문에 모든 제품을 같이 사용할 필요는 없습니다. 적용할 상황에 따라 다른 제품으로 대체할 수도 있고 특정 제품은 제외시킬 수도 있습니다. 

Elastic ELK : https://www.elastic.co/kr/elk-stack