노는 게 제일 좋아

맨날 다운받아서.. 서비스로 이용하다보니까 귀찮아서 도커파일로 말아서 어디서든 쓸 수 있게 만들고 싶다. 알아보자 Dockerfile # 공식적인 이미지 사용 FROM docker.elastic.co/beats/filebeat:7.13.2 # Filebeat Configuration 경로 환경변수 -> 여기서 정의한 ENV 같은 변수들은 Container 내부에서 쓰이거나 Dockerfile에서 쓰임 ENV FILEBEAT_CONFIG_PATH /usr/share/filebeat/filebeat.yml # Filebeat Configuration 파일 ★★★ COPY filebeat.yml ${FILEBEAT_CONFIG_PATH} # 추가적인 Configuration 파일 필요하면 복사 # COPY m..

정의 고가용성의 확장 가능한 문서 기반의 데이터 저장소 기존에는 Full-Text 검색엔진으로 활용했고 최근에는 웹/앱 서버의 로그나 매트릭을 모아서 집계, 분석하는데 사용하는 분석 엔진으로 사용됨 JSON이 Elasticsearch가 지원하는 유일한 형식 구조 Elasticsearch는 여러 대의 노드(서버)로 구성된 분산 데이터 저장소 각 노드는 역할에 따라 마스터 노드와 데이터 노드로 구분하며, 운영 환경에서는 최소 3대의 마스터 노드와 데이터 사용량을 기준으로 여러 대의 데이터 노드를 사용하여 클러스터를 배포 사용자가 저장하는 데이터는 인덱스에 저장되며 인덱스는 여러 개의 샤드로 분리되어 여러 노드에 걸쳐서 저장 이를 통해 데이터의 분산 저장과 복제본 관리 용도 검색 엔진 검색엔진으로 Elasti..

Log 파일의 위치와 Logstash 또는 Filebeat 프로세스가 위치한 머신이 같을 때 → Logstash 해도 cost가 그렇게 높지 않음 다를 때 → Filebeat가 좀 더 적은 cost를 씀 Log에 대한 transform 이나 complex한 작업이 필요할 때 → Logstash 사용 x → Filebeat 사용 Filebeat나 Logstash 프로세스가 있는 instance가 down되었을 때 filebeat → 자체적으로 registry를 사용하고 있음 때문에 last read position을 기억하고 있고 restart가 되었을 때 해당 부분부터 다시 resending함 중복된 로그가 담길 염려가 없음 Logstash → 자체적으로 persistent queue를 사용하고 있음 때..

더 자세한 내용은 Logstash를 보면 좋다. [DevOps/ELK] - Logstash Tutorial, 로그스태시 튜토리얼 Filebeat Turorial -https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html 목적 경량으로 log를 forwarding 할 수 있음 설치 - https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation-configuration.html 직접 curl을 통해 다운로드 가능 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.5..

E + L + K Elasticsearch : 분석 및 저장 기능 Logstash : 수집 기능 Kibana : 시각화 도구 1. Elasticsearch - Apache Lucene 기반의 검색 엔진으로 Logstash를 통해 수신된 데이터를 저장소에 저장하는 역할 - 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합 - 모든 레코드를 JSON document 형태로 입력하고 관리하고 있으며, 일반적인 DB와 마찬가지로 쿼리한 결과에 대해 일치하는 원본 도큐먼트를 반환 (텍스트 외에도 숫자, 날짜, IP 주소, 지리(geo) 정보 등 다양한 데이터 타입에 대해 최적화) - 모든 통신을 REST API를 이용하도록 만들어 사용하기 쉽고, 확장 가능하며, 유연함 2...

Logstash Tutorial 설치 (https://www.elastic.co/kr/downloads/logstash) 패키지 매니저로 다운 받거나 직접 wget, curl ( https://www.elastic.co/downloads.) 으로 binaries 다운 가능 예시 curl -O https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.tar.gz tar -xvzf logstash-5.1.1.tar.gz #링크를 설정하여 유용하게 이용 가능 ln -s logstash-5.1.1 logstash +필요한 패턴 (grok 패턴 추가 등) 특정 디렉토리에 해당 패턴 파일을 추가 mkdir /{user}/service/logstash/patte..

Logstash 에서 제공하는 filter 플러그인 grok를 위해 아래 2가지 레퍼를 읽는 것이 좋음 https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns https://grokdebugger.com/ 문자열 포맷을 생각하면 이해하기 쉬움 ${PATTERN:FIELD} 형태로 지정함 예시 logstash.conf input { file { path => "C:/tpwork/logstash/bin/log/input.log" } } filter { grok { match => [ "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} - %{NOTSPACE:logger} - %{WORD:lab..