노는 게 제일 좋아

E + L + K Elasticsearch : 분석 및 저장 기능 Logstash : 수집 기능 Kibana : 시각화 도구 1. Elasticsearch - Apache Lucene 기반의 검색 엔진으로 Logstash를 통해 수신된 데이터를 저장소에 저장하는 역할 - 정형, 비정형, 위치정보, 메트릭 등 원하는 방법으로 다양한 유형의 검색을 수행하고 결합 - 모든 레코드를 JSON document 형태로 입력하고 관리하고 있으며, 일반적인 DB와 마찬가지로 쿼리한 결과에 대해 일치하는 원본 도큐먼트를 반환 (텍스트 외에도 숫자, 날짜, IP 주소, 지리(geo) 정보 등 다양한 데이터 타입에 대해 최적화) - 모든 통신을 REST API를 이용하도록 만들어 사용하기 쉽고, 확장 가능하며, 유연함 2...

Logstash Tutorial 설치 (https://www.elastic.co/kr/downloads/logstash) 패키지 매니저로 다운 받거나 직접 wget, curl ( https://www.elastic.co/downloads.) 으로 binaries 다운 가능 예시 curl -O https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.tar.gz tar -xvzf logstash-5.1.1.tar.gz #링크를 설정하여 유용하게 이용 가능 ln -s logstash-5.1.1 logstash +필요한 패턴 (grok 패턴 추가 등) 특정 디렉토리에 해당 패턴 파일을 추가 mkdir /{user}/service/logstash/patte..

Logstash 에서 제공하는 filter 플러그인 grok를 위해 아래 2가지 레퍼를 읽는 것이 좋음 https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns https://grokdebugger.com/ 문자열 포맷을 생각하면 이해하기 쉬움 ${PATTERN:FIELD} 형태로 지정함 예시 logstash.conf input { file { path => "C:/tpwork/logstash/bin/log/input.log" } } filter { grok { match => [ "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} - %{NOTSPACE:logger} - %{WORD:lab..

Shell은 간단하게 말하자면 Kernel을 조작하기 위한 수단이라고 보면 된다. 진짜 뜻 그대로 껍데기다. 그 중에서도 우리가 많이 알고 있는 Bash 는 무엇일까? Bash는 Bourn Again SHell 이란 뜻이다. 즉, Bash Shell이란 말은 사실 중복되는 말이다. 하지만 뭐 다 알아들으니까.. 상관없다. Bash에 대해서 알아보자 다시 말하면 Shell Scripting에 대해서 알아보자 기초 [DevOps/Shell] - Shell Script - 1, 작성하기 변수 [DevOps/Shell] - Shell Script - 2, Variable(1) [DevOps/Shell] - Shell Script - 8, Variable(2) [DevOps/Shell] - environment ..

CDN이 캐싱하는 방법에 대해서 배워보려고 한다. 캐싱은 CDN에 있어서 핵심적인 부분이다. OS 가 캐싱을 하는 것처럼 빠른 작업을 위해 임시로 저장해놓는 것을 의미한다. CDN 에서는 유저가 조금 더 빠르게 컨텐츠에 접근하여 서비스를 받을 수 있게 한다. 그래서 캐시가 정말 중요하다. 그 중 우리가 CDN에서 주로 올리는 파일인 static file을 알아보자 정적 파일로 해석되는데.. 파일을 다시 재구성할 필요가 없는 그 파일 그자체로써의 역할만하는 것이 정적 파일이라고 할 수 있다. DB의 정보를 그대로 가져온다면.. DB도 Static이 될 수 있고 DB의 querying 결과를 가져온다면 DB가 Dynamic이 될 수 있다. 대부분의 웹사이트는 정적과 동적을 나누어놓았는데 우리가 웹페이지를 볼..

CDN이란 Content Delivery Network의 약자로 컨텐츠( 이미지, 동영상, 각종 파일)등을 유저가 가장 가까운 서버에서 받을 수 있게 해주는 서비스이다. 더욱 나아가 CDN으로 얻을 수 있는 장점은?? 속도가 빨라지고 안정성이 높아지는 것이 가장 큰 장점이다.그 외에도 있다. Improve page load speed Handle high traffic loads Block spammers, scrapers and other bad bots Localize coverage without the cost Reduce bandwidth consumption Load balance between multiple servers Protect your website from DDoS attacks..

스크립트에서 사용자 정의 함수를 만들 수 없다면 스크립트라고 할 수도 없다. 스크립트의 꽃 함수를 알아보자 일반적으로 함수는 2가지 형태로 쓰인다. 1).h 헤더파일(라이브러리)과 같이 다른 파일에 선언, 정의되고 include 만 해서 쓰이는 경우(linking 작업이 일어남) 2)같은 파일에 선언,정의가 되어 자체적으로 바로 쓰는 경우 둘 다 상관없다. 하지만 library를 쓰는 경우는 예외가 있다. 아래 command가 예외다. 항상 스크립트 시작에 써놓아야 한다. . ./library.sh 헷갈리는 것들이 몇가지 있는데 일반적으로는 function과 procedure는 다르다고 생각한다. function은 값을 반환하고 procedure는 출력한다. 쉘 에서는 둘 중 하나만, 둘 다, 아무것도 ..

외부 프로그램이라는 뜻인데 쉘에서 외부 프로그램을 실행할 때도 있다는 말이다. 키보드 숫자 1 왼쪽에 있는 기호 `를 아는가? backtick이라고 부른다. external command와 연관이 있는 문자다. 그렇기 때문에 `에 대해서 먼저 알고가자 `은 우선 text를 command로 사용하겠다라는 선언을 하는 것이다. 예시를 보면 더 쉽다. $ grep "^${USER}:" /etc/passwd | cut -d: -f5 Steve Parker 우선 /etc/passwd 에서 이름을 가져온다. 그렇게 되면 출력이 되는 것을 알 수 있는데 이 출력을 변수에 넣고 싶다면 어떻게 할까?? 다시 말하자면 command의 결과를 변수에 넣고 싶은데 어떻게 할까?? 그럴 땐 command를 `로 래핑하면 된다...

**여기선 예약된 변수에 대해 알아볼 것이다. 우리는 variable 중에서 ${x} $ 뒤에 오는 기호에 대해서 먼저 알아볼 것이다. $0은 프로그램의 basename이라고 부른다. $1…$9는 9개의 파라미터다. $@은 모든 parameter를 지칭한다. $*은 @와 비슷하지만 whitespace, quoting을 전혀 보존하지 않는다. 다시 말해서 "File with spaces" 라면 "File" "with" "spaces" 3개로 된다. $#은 파라미터의 숫자를 말한다.(parameter가 몇개인지) 솔직히 말로만 하면 잘 이해가 안된다. 예시를 보자 var3.sh #!/bin/sh echo "I was called with $# parameters" echo "My name is $0" ech..

이제 case를 알아보자 case는 우리가 이미 알던대로 if, elif, else 문으로 벅찬 분기문을 도와주는 구문이다. talk.sh #!/bin/sh echo "Please talk to me ..." while : do read INPUT_STRING case $INPUT_STRING in hello) echo "Hello yourself!" ;; bye) echo "See you again!" break ;; *) echo "Sorry, I don't understand" ;; esac done echo echo "That's all folks!" 이런 식으로 작동한다. $ ./talk.sh Please talk to me ... hello Hello yourself! What do you t..