ELK 설치(Elasticsearch, Logstash, Kibana)

 

ELK란?

• Logstash

 -> 데이터를 수집하여 변환한 후, Elasticsearch 같은 stash로 전송하는 데이터 처리 파이프라인.

 

• Elasticsearch

 -> 검색 및 분석 엔진. JSON 기반의 분산형 RESTFul 검색 엔진.

 

• Kibana

 -> Elasticsearch에서 차트와 그래프를 이용해 데이터 시각화를 가능하게 해주는 도구.

 

 

---

ElasticSearch 설치

필자의 OS 환경

 - CentOS Linux release 7.9.2009 (core) 64bit

 - openjdk version "1.8.0_292"

※ Elasticsearch는 최소 1.8이상의  JDK를 필요로 합니다. ( JDK 버전에 따른 호환성은 링크를 확인해주세요)

 

 - 다음의 명령어 또는 해당 홈페이지에서 설치파일을 다운로드 합니다.(2022. 01. 14 기준 version : 7.16.3)

(홈페이지 URL : https://www.elastic.co/downloads/elasticsearch)

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.3-x86_64.rpm

 - rpm 파일을 설치합니다.

rpm -i elasticsearch-7.16.3.rpm

 - 방화벽을 해제합니다.

firewall-cmd --permanent --zone=public --add-port=9200/tcp
firewall-cmd --reload

 - 설치 이후의 정상 동작을 확인합니다.

curl -XGET localhost:9200

---

Logstash 설치

 - 다음의 명령어를 통해 Logstash tar 파일을 다운로드 합니다.

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.12.0-linux-x86_64.tar.gz

 - 다운로드 받은 파일의 압축을 해제합니다.

tar xvfz logstash-7.12.0-linux-x86_64.tar.gz

 - 압축해제 파일 내의 logstash/bin 디렉토리로 이동하여 정상 동작을 확인합니다.

./logstash -e 'input { stdin {}} output { stdout {} }'

Pipeline started, Pipelines running이 출력되면 정상 동작중 입니다.

---

Kibana 설치

 - 다음의 명령어를 통해 Kibana 설치파일을 다운로드 합니다.

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.1.-x86_64.rpm

 - 다운받은 rpm 파일을 설치합니다.

rpm -i kibana-6.2.1-x86_64.rpm

 - 설치 이후에 yml파일(kibana 설정파일)을 설정합니다.

vim /etc/kibana/kibana.yml

 - server.port / server.host / elasticsearch.url 세 개의 항목을 다음과 같이 설정합니다.

주석만 해제해 주시면 됩니다.

(※ 만일 외부에서 해당 서버 kibana에 접속이 필요한 경우 server.host를 0.0.0.0으로 설정해주세요)

 - 다음으로 방화벽을 해제합니다.

firewall-cmd --permanent --zone=public --add-port=5601/tcp
firewall-cmd --permanent --zone=public --add-service=kibana
firewall-cmd --reload

 - 키바나 서비스를 실행합니다.

systemctl start kibana

- http://server-ip:port로 접속하여 화면을 확인합니다.

http://localhost:5601

---

Conclusion

 이렇게 하여 ELK 설치 포스팅을 종료합니다.

 다음 포스팅에는 ELK를 이용하여 실제 데이터를 Import하고 분석하는 내용을 포스팅하겠습니다. :)

 

 

[출처] : https://ksr930.tistory.com/39

[ElasticStack] logstash 설치및 실행

[출처] : https://soyoung-new-challenge.tistory.com/99

[Logstash] 로그스테이시 사용법 (설정파일) + Elastic

[출처] : https://goddaehee.tistory.com/85

11-1. [CentOS7] Elasticsearch 설치