Logstash vs Filebeat

Log 파일의 위치와 Logstash 또는 Filebeat 프로세스가 위치한 머신이

같을 때 → Logstash 해도 cost가 그렇게 높지 않음

다를 때 → Filebeat가 좀 더 적은 cost를 씀

 

Log에 대한 transform 이나 complex한 작업이

필요할 때 → Logstash 사용

x → Filebeat 사용

 

 

Filebeat나 Logstash 프로세스가 있는 instance가 down되었을 때

filebeat → 자체적으로 registry를 사용하고 있음

때문에 last read position을 기억하고 있고 restart가 되었을 때 해당 부분부터 다시 resending함

중복된 로그가 담길 염려가 없음

 

Logstash → 자체적으로 persistent queue를 사용하고 있음

때문에 입력된 log queue들을 disk에 가지고 있고 restart가 되었을 때 해당 큐부터 다시 읽어나감

 

'file을 input으로 쓸 때

 

Logstash

Logstash plugin이 파일을 읽는 도중에 down이 될 수 있음

이 경우에는 plugin이 processing을 끝낼 수 없고 로그 데이터가 손상되거나 유실될 수 있음

 

Filebeat

위와 같은 이유로 plugin이 processing을 끝마치지 못할 수 있기 때문에 손상되거나 유실될 수 있음

 

 

** Logstash는 resilient하게 설계되었지만 디스크가 꽉 찼거나 queue가 삭제될 경우에는 해당 로그 데이터를 잃어버릴 수 있음

→ 일반적인 경우는 아니지만 발생할 수는 있음

→ 때문에 Buffer를 쓰는 경우가 많음(Kafka)

 

 

 

 

---

참고링크

https://stackoverflow.com/questions/58585855/difference-between-using-filebeat-and-logstash-to-push-log-file-to-elasticsearch