Plateforme de données · Observabilité
Analyse de logs ELK
Un pipeline d'analyse de logs qui transforme les logs applicatifs bruts en données consultables, en analyses approfondies, en tableaux de bord et en alertes.
Logs bruts
- 12:04:31INFOapiGET /health 200 4ms
- 12:04:31WARNworkerretry job=881 attempt=2
- 12:04:32ERRORapiPOST /checkout 502 184ms
- 12:04:32INFOauthlogin ok user=•••
- 12:04:33INFOapiGET /orders 200 21ms
- 12:04:33ERRORapiPOST /checkout 502 201ms
- 12:04:34INFOworkerjob=882 done 1.2s
- 12:04:35WARNdbslow query 840ms
- 12:04:31INFOapiGET /health 200 4ms
- 12:04:31WARNworkerretry job=881 attempt=2
- 12:04:32ERRORapiPOST /checkout 502 184ms
- 12:04:32INFOauthlogin ok user=•••
- 12:04:33INFOapiGET /orders 200 21ms
- 12:04:33ERRORapiPOST /checkout 502 201ms
- 12:04:34INFOworkerjob=882 done 1.2s
- 12:04:35WARNdbslow query 840ms
Événement structuré
{ "level": "error", "service": "api", "route": "/checkout", "status": 502, "latency_ms": 184 }
Règle d'alerte
- SI
- status ≥ 500
- TAUX
- au-dessus du seuil
- ALORS
- alerter l'astreinte
Évaluation
Le problème
Les logs applicatifs sont volumineux et non structurés. Sans pipeline, ils sont difficiles à rechercher, à analyser ou à exploiter.
L'approche
- 01Logstash ingère et analyse les logs applicatifs.
- 02Elasticsearch indexe les événements pour la recherche et l'agrégation.
- 03Spark exécute les analyses plus lourdes sur les données.
- 04Les tableaux de bord Kibana exposent les KPI et déclenchent les alertes.
Architecture
Comment Analyse de logs ELK s'articule.
Chaque étape, dans l'ordre. Sélectionnez un nœud pour voir son rôle.
Événements de logs bruts émis par les applications en cours d'exécution.
Stack
- Logstash
- Elasticsearch
- Spark
- Kibana
Projet suivant
Pipeline RAG documentaire
Un pipeline de génération augmentée par la recherche qui répond aux questions à partir d'un corpus de documents, grâce à la recherche vectorielle dans PostgreSQL.