fluentd #S3 #GetRequest #비용절약
-
fluentd를 이용하여 S3로 로그전송시 불필요한 Get Request를 없애는 방법fluentd 2020. 7. 23. 17:27
Fluentd를 이용하여 S3로 로그를 전송할 때에 다음과 같은 설정을 사용하면 불필요한 Get Request가 발생하게 됩니다. check_object true (default true) s3_object_key_format 에서 %{index}를 사용 상기 설정으로 S3에 저장되는 로그파일은 로그파일명_0.txt, 로그파일명_1.txt 형식으로 번호가 자동적으로 부여되면서 저장되게 됩니다. 제 경우에는 60초마다 로그를 전송하는데 1시간에 60개의 로그파일이 저장되고 24시간이면 1440개의 로그파일이 저장됩니다. 마찬가지로 로그파일명_0.txt 부터 로그파일명_1439.txt 까지 생기게 되죠. 잠시 fluentd가 로그파일을 중복되지 않고 전송하는 흐름을 살펴보면 S3에 로그파일명_0.txt 이 ..