'인프라/그라파나 & 프로메테우스' 카테고리의 글 목록

인프라/그라파나 & 프로메테우스 (21)

[Grafana] Grafana NoData Alert 이슈 해결

인프라/그라파나 & 프로메테우스 범범조조 2023. 1. 6. 19:13

개요 Grafana 에서 Loki 로 수집된 로그 정보를 LogQL 로 조회를 시도하려던 중, 그라파나에서는 수집된 데이터가 없으면 return 값을 NoData 로 반환해 줍니다. LogQL 을 이용하여, Grafana Alert 를 생성하는 일이 있었는데 NoData 또한 Grafana 에서는 Alert 를 발생하는 이슈가 있어서 해당 이슈를 해결하는 방법에 대해서 정리 진행합니다. NoData 화면 아래와 같이, LogQL 로 서비스 로그를 조회하는데 만약 해당 시간 범위내에서 조회된 로그가 없다면 NoData 라고 표시가 되는 것을 확인할 수 있습니다. NoData Error Handling 앞서, NoData 가 표시되는 것을 확인할 수 있습니다. 만약 NoData 가 표시된 채로, Alert ..

[Grafana] ssl key 발급 및 https 설정하기

인프라/그라파나 & 프로메테우스 범범조조 2023. 1. 5. 22:32

참고 https://www.turbogeek.co.uk/grafana-how-to-configure-ssl-https-in-grafana/ 1. 개요 grafana 에서 ssl key 를 발급 받아서, https 로 설정할 수 있습니다. grafana http -> https 로 변경하는 방법에 대해서 정리 진행합니다. 2. 리눅스 SSL 인증서 생성 그라파나 호스팅을 http 에서 https 로 바꾸려면, 먼저 SSL 키가 필요합니다. SSL 인증서 생성하는 방법은 다음과 같습니다. 참고로, 현재 CentOS Linux 환경에서 테스트 진행하였습니다. 다른 종류의 Linux 환경에서는 방법의 차이가 있을 수 있습니다. SSL 인증서 생성하려면, 다음 명령어를 입력해 줍니다. openssl genrsa ..

[Grafana] Grafana DashBoard URL iframe 태그 호출 방법

인프라/그라파나 & 프로메테우스 범범조조 2023. 1. 5. 21:32

개요 Grafana DashBoard 의 URL 을 가져와 웹 Client 에 보여주려고 한다면, Grafana 에서는 별도의 설정이 필요합니다. 저 같은 경우에는, Blaozr Server 환경에서 iframe 태그에 Grafana DashBoard 의 URL 정보를 가져와 보여주는 경우가 필요하여 해당 기능 설정이 필요했습니다. 그럼, grafana 의 DashBoard 정보를 iframe 으로 보여주려면 어떤 설정이 필요한지 알아 보겠습니다. grafana.ini 파일에서 security 옵션 설정하기 grafana DashBoard 를 다른 웹 브라우저 iframe 태그에 호출하여 사용하려면, grafana.ini 파일의 security 옵션을 추가해 주어야 합니다. 추가해 주어야 할 옵션 내용은..

[Grafana] Slack Alert 메시지 커스텀 하는 방법

인프라/그라파나 & 프로메테우스 범범조조 2022. 12. 15. 19:27

참고 https://jaeyung1001.tistory.com/296 https://grafana.com/docs/grafana/v9.0/alerting/contact-points/message-templating/ https://faun.pub/overview-of-grafana-alerting-and-message-templating-for-slack-6bb740ec44af 개요 Grafana 에서 Alert 발생 시, 아래 이미지와 같이 Slack 으로 메시지를 전송 받을 수 있습니다. 하지만, 아래 메시지를 보게 되면 정확히 어떤 에러가 발생 되었는지에 대한 명확한 메시지 내용이 보이지 않습니다. 찾아보니, Alert 메시지 커스텀 할 수 있다고 하여 메시지 커스텀 하는 방법에 대해서 정리 진행합..

[Grafana] Alert Slack 연동하기

인프라/그라파나 & 프로메테우스 범범조조 2022. 12. 14. 20:43

참고 https://grafana.com/docs/grafana/v9.0/alerting/notifications/ https://cleaning-toolbox.tistory.com/94 https://gurumee92.tistory.com/272 개요 그라파나에서 Alert Rule 을 생성 후, Slack 과 연동하여 알람 메시지를 Slack 으로 전달 받는 방법에 대해서 정리 진행합니다. 그라파나 버전 8.5.5 버전 Slack 설정하기 Grafana 에서 Alert 가 발생했을 떄, Slack 으로 메시지를 받으려면 Slack 에서 Web Hook 을 생성해야 합니다. Slack API 홈페이지 에 접속합니다. 만약 로그인이 되어 있지 않다면, 로그인을 진행해 주시기 바랍니다.로그인이 되어 있다고..

[인프라] RabbitMQ Prometheus 개별 Queue Metric 수집 방법

인프라/그라파나 & 프로메테우스 범범조조 2022. 10. 13. 20:21

개요 RabbitMQ 에서 개별 Queue 정보를 Prometheus Metric 으로 수집 가능 한지 조사 진행합니다. 참고 https://github.com/rabbitmq/rabbitmq-prometheus https://www.rabbitmq.com/prometheus.html RabbitMQ Per-Object RabbitMQ 공식 홈페이지에서 확인 결과, Per-Object 를 이용하여 개별 Metric 정보를 제공받을 수 있다고 합니다. Per-Obejct Metric 정보를 제공받으려면, prometheus.return_per_object_metrics = true 로 옵션을 설정해 주어야 합니다. Per-Object 옵션 설정하기 현재 RabbitMQ 를 Docker Container 로..

[인프라] Grafana Login 페이지 Disable 방법

인프라/그라파나 & 프로메테우스 범범조조 2022. 9. 29. 19:31

참고 https://grafana.com/docs/grafana/latest/setup-grafana/configure-grafana/ 개요 현재 Grafana 접속을 하게 되면, 초기에 Login 을 하게 되어 있습니다. Login 페이지가 뜨지 않도록 설정 추가 합니다. Login 페이지 Disable 방법 Login 페이지 Disable 하는 방법은 grafana.ini 파일에서 [auth.anonymous] 항목 중, enable 옵션 값을 true 로 변경해 주면 됩니다. #################################### Anonymous Auth ########################## [auth.anonymous] # enable anonymous access enab..

[인프라] Grafana Multiple Y Axis 사용방법

인프라/그라파나 & 프로메테우스 범범조조 2022. 9. 18. 17:45

개요 Grafana 에서는 Multiple Y Axis 를 사용할 수 있습니다. Multiple Y Axis 를 사용하기 위해서는, TimeSeries Chart 를 필히 사용해야 합니다. Multiple Y Axis 사용 방법 Multiple Y Axis 를 사용하기 위해서는 Overrides 기능을 이용하면 됩니다. 총 3개의 Property 항목을 추가해야 합니다. Fields with name Standard options > Unit Axis > Placement 위 3가지의 속성을 추가해서 Multiple Y Axis 를 사용할 수 있습니다. 실행 결과 실행 결과 Right, Left 각각 다른 대상의 값 기준으로 Axis 가 표시되는 것을 확인할 수 있습니다.

[인프라] Loki Grafana Log수집 연동

인프라/그라파나 & 프로메테우스 범범조조 2022. 8. 20. 07:10

개요 Loki, Grafana Log 수집 PoC 진행합니다. 디렉터리 구성 Loki, Grafana Log 수집 관련하여 docker-compose 를 이용하여 로그 수집 테스트 진행할 예정입니다. docker-compose.yml 작성 하기 전, Volumn Mount 를 하기 위한 선행 작업으로 디렉터리 구조를 다름과 같이 진행하였습니다. loki-config.yaml 파일 작성 auth_enabled: false server: http_listen_port: 3100 grpc_listen_port: 9096 ingester: wal: enabled: true dir: /tmp/wal lifecycler: address: 127.0.0.1 ring: kvstore: store: inmemory re..

[인프라] 프로메테우스 아키텍처

인프라/그라파나 & 프로메테우스 범범조조 2022. 7. 25. 06:03

참고 프로메테우스 오픈소스 모니터링 시스템 구조 다음 이미지는 프로메테우스의 전반적인 아키텍처를 보여줍니다. 프로메테우스는 서비스 검색을 통해 데이터 수집 다생을 발견합니다. 익스포터를 통해 데이터 수집이 가능한 자체적인 계측 애플리케이션이나 서드파티 애플리케이션 등이 데이터 수집 대상이라 할 수 있습니다. 수집된 데이터가 저장되면 PromQL 을 이용해 대시보드에서 활용 되거나 알림 매니저를 통해 알림이 발송되고 알림은 다시 무선 호출, 이메일 같은 통보로 바뀝니다. 클라이언트 라이브러리 메트릭은 애플리케이션에서 마법처럼 튀어나오는 것이 아닙니다. 누군가 메트릭을 만들기 위한 계측 코드를 추가해야 합니다. 바로 이 부분이 클라이언트 라이브러리가 관여하는 부분입니다. 보통 2~3 중의 코드로 메트릭을 정..

[인프라] 프로메테우스 모니터링 개념

인프라/그라파나 & 프로메테우스 범범조조 2022. 7. 25. 02:01

참고 프로메테우스 오픈 소스 모니터링 시스템 개요 프로메테우스 개념을 익히기 전, 간단히 모니터링 개념에 대해서 정리 진행합니다. 모니터링이란? 모니터링의 종류는 크게 4가지로 분류할 수 있습니다. 알림 : 문제가 발생한 시기나 시점을 파악하는 것이 모니터링에서 가장 중요합니다. 문제가 생기면 모니터링 시스템은 책임 운영자를 호출할 수 있어야 합니다. 디버깅 : 이제 운영자를 호출 했으니, 운영자는 문제의 근본 원인을 규명하고, 문제가 무엇이든 간에 반드시 해결해야 합니다. 추세 파악 : 알림과 디버깅은 보통 몇 분 부터 몇 시간까지 시간 단위로 발생합니다. 긴급하지 않은 문제인 경우에는 시스템이 어떻게 사용되고 시간에 따라 변화하는지를 확인할 수 있는 기능도 유용합니다. 추세 파악은 용량 계획 같은 설..

[인프라] 프로메테우스 데이터 구조

인프라/그라파나 & 프로메테우스 범범조조 2022. 7. 24. 21:01

참고 https://blog.naver.com/alice_k106/221535163599 개요 프로메테우스 기본 데이터 구조를 파악하여, 추후에 ASP.NET Core 서비스에서 수집되는 메트릭 정보를 이해합니다. 기본적인 데이터 구조 프로메테우스의 데이터 구조를 처음 접하게 되면 복잡하고 어렵게 느껴지지만 PromQL 까지 익히게 되면 잘 만들어진 TSDB 임을 알게 됩니다. 프로메테우스의 기본적인 데이터 구조는 다음과 같습니다. 데이터 이름 : Metrics 를 구분하기 위한 고유의 이름입니다. 프로메테우스에서는 데이터 이름을 입력하는 것 만으로도 해당 데이터의 목록을 조회할 수 있습니다. 라벨(Label) : 동일한 데이터에서 종류를 구분하기 위한 식별자 입니다. 같은 데이터 이름이라도 다른 레벨을..

1
2

Sidebar

Copyright © BeomBeomJoJo All Rights Reserved

Designed by JB FACTORY

티스토리툴바