docs: Backfill-Weg fuer alte Logs (messen -> archivieren -> nur ins Archiv einspielen)

This commit is contained in:
mm committed 2026-09-14 01:29:01 +02:00
1 parent 4da9a59527
commit 24c04f8eff
1 file changed
+32
+32
View File
@@ -472,6 +472,38 @@ Wer kein sudo hat, aber in der Gruppe `docker` ist: Container-Variante aus
[netbird-observability/stacks/telegraf-node](https://gitea.m-m.bio/mm/netbird-observability) (privates Repo).
Dort ist `network_mode: host` gesetzt — ohne das sieht Telegraf nur `lo`+`eth0` statt der echten Interfaces.
## Alte Logs archivieren (Historie nachträglich auswertbar machen)
`inputs.tail` liest mit `initial_read_offset = "saved-or-end"` nur **Neues** — die
vorhandene Historie bleibt unausgewertet. Dafür gibt es ein eigenes Skript, das
dieselben Zeilen parst und als Prometheus-Blöcke ablegt:
```sh
# Auf der Node: erst messen (ändert nichts)
curl -fsSL <raw>/scripts/x22-log-archive.sh -o /root/archiv.sh
bash /root/archiv.sh # Bestandsaufnahme
# dann archivieren
bash /root/archiv.sh --backfill # erzeugt apache-archive.openmetrics + tar.gz
```
Das Skript prüft seine eigene Ausgabe **vor** der Übergabe: Zeitraum, Einheit
(Sekunden) und ein **Zukunfts-Check** — Punkte nach „jetzt" werden gemeldet, weil
sie später beim Import die Zeitreferenz verschieben würden.
Eingespielt wird **nur in die Archiv-Instanz**, nie in die Produktions-TSDB:
```sh
scp /root/apache-archive/apache-archive.openmetrics mm@<imac>:/tmp/
ssh mm@<imac> 'sudo /usr/local/bin/prom-archive-import.sh --file /tmp/apache-archive.openmetrics'
```
Geparst werden Access- **und** Error-Logs, inklusive rotierter `.log.1`/`.log.N.gz`.
Was entsteht: `apache_archive_requests_total` (je Domain/Status/Methode/Stunde),
`_response_bytes_total`, `_unique_clients`, `_errors_total` (je Level),
`_log_lines_total`. Als Datasource in Grafana einhängen
(`http://archive-prometheus:9090`) — Live und Archiv sind dann getrennt abfragbar.
## Archiv-Import: Schutzschichten
Alte Logs lassen sich als Prometheus-Blöcke archivieren (`scripts/apache-log-archive.py`).