[logstash] logstash 설치 및 활용

https://www.elastic.co/kr/

오픈소스 검색 및 분석· Elasticsearch | Elastic

Elasticsearch 는 실시간 검색엔진이라 익숙만 하다면, 검색엔진 도입으로 아주 좋은것 같다.

Elasticsearch 에서 제공하는 유틸중에 유용한 도구도 많은것 같다.

 

회사에서 사용중인건 Elasticsearch, Kibana 뿐이지만, 이제 도입할 로그 관리 시스템을 Elasticsearch 의 logstash 로 도입을 해볼까 뒤적거리고 있다.

생각보다 쉬운 사용에 깜짝 놀랐고, logstash 만 가지고도 다른 곳에서 활용을 할수 있을꺼라 생각이 든다.

 

logstash 를 가지고 데이터를 집계 및 저장을 할수 있다. 이 logstash 를 가지고 redis 의 데이터를 elasticsearch 및 mysql 에 저장할 예정이다.

 

redis 를 queue 형태로 사용하여, 로그를 쌓을 예정이며, 각 서버는 redis 서버로 접속을 하여 로그만 쌓는 구조로 만들 정이다.

 

 

1. redis 설치

sudo apt-get install redis-server

1.1 redis 설정 변경

sudo vi /etc/redis/redis.conf

• 외부 접속 추가

bind 127.0.0.1 => bind 0.0.0.0

• 암호 추가

requirepass xxxxxxxx

• redis 재시작

sudo service redis restart

 

2. logstash 설치

 

https://www.elastic.co/kr/downloads/logstash

Download Logstash Free • Get Started Now | Elastic

에서 logstash 를 다운로드 한뒤에 압축을 풀어준다.

• mysql plugin 설치 및 connector lib 설치

./bin/logstash-plugin install logstash-input-jdbc cd vendor mkdir jar cd jar mkdir jdbc wget https://downloads.mysql.com/archives/get/file/mysql-connector-java-5.1.46.tar.gz tar xvfz mysql-connector-java-5.1.46.tar.gz cd mysql-connector-java-5.1.46 mv *.jar ../

 

3. logstash 설정[logConfig.conf]

input
{
	redis
	{
		host => 'localhost'
		password => 'xxxxx'
		data_type => 'list'
		key => 'key'
		codec => 'json'
	}
}

output
{
	stdout
	{
	}

	elasticsearch {
        hosts => ["localhost:9200"]
		index => "test_index"
	}

	jdbc {
		driver_class => "com.mysql.jdbc.Driver"
		connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=false"
		username => "test"
		password => "test"
		statement => ["INSERT INTO test(a,b, regdate) values(?,?, now())","a","b"]
	}

}

 

4. 실행

bin/logstash -f logConfig.conf