[Grafana] Grafana NoData Alert 이슈 해결

개요

• Grafana 에서 Loki 로 수집된 로그 정보를 LogQL 로 조회를 시도하려던 중, 그라파나에서는 수집된 데이터가 없으면 return 값을 NoData 로 반환해 줍니다.
• LogQL 을 이용하여, Grafana Alert 를 생성하는 일이 있었는데 NoData 또한 Grafana 에서는 Alert 를 발생하는 이슈가 있어서 해당 이슈를 해결하는 방법에 대해서 정리 진행합니다.

NoData 화면

• 아래와 같이, LogQL 로 서비스 로그를 조회하는데 만약 해당 시간 범위내에서 조회된 로그가 없다면 NoData 라고 표시가 되는 것을 확인할 수 있습니다.

NoData Error Handling

• 앞서, NoData 가 표시되는 것을 확인할 수 있습니다.
• 만약 NoData 가 표시된 채로, Alert 를 생성하게 되면 Grafana 에서는 Alert 를 발생시키게 됩니다.
• 해당 문제를 해결하고 싶으면, NoData Error Handling 을 해야 합니다.
• Configure no data and error handling 옵션에서 NoData Error Handling 이 가능합니다.
• Alert state if no data or all values are null 이 기본적으로 NoData 로 되어있는데, 해당 값을 NoData 에서 OK 로 변경해 주면 NoData 가 나와도 Alert가 발생하지 않습니다.