docs: Backfill-Weg fuer alte Logs (messen -> archivieren -> nur ins Archiv einspielen)
This commit is contained in:
1 parent
4da9a59527
commit
24c04f8eff
1 file changed
+32
@@ -472,6 +472,38 @@ Wer kein sudo hat, aber in der Gruppe `docker` ist: Container-Variante aus
|
|||||||
[netbird-observability/stacks/telegraf-node](https://gitea.m-m.bio/mm/netbird-observability) (privates Repo).
|
[netbird-observability/stacks/telegraf-node](https://gitea.m-m.bio/mm/netbird-observability) (privates Repo).
|
||||||
Dort ist `network_mode: host` gesetzt — ohne das sieht Telegraf nur `lo`+`eth0` statt der echten Interfaces.
|
Dort ist `network_mode: host` gesetzt — ohne das sieht Telegraf nur `lo`+`eth0` statt der echten Interfaces.
|
||||||
|
|
||||||
|
## Alte Logs archivieren (Historie nachträglich auswertbar machen)
|
||||||
|
|
||||||
|
`inputs.tail` liest mit `initial_read_offset = "saved-or-end"` nur **Neues** — die
|
||||||
|
vorhandene Historie bleibt unausgewertet. Dafür gibt es ein eigenes Skript, das
|
||||||
|
dieselben Zeilen parst und als Prometheus-Blöcke ablegt:
|
||||||
|
|
||||||
|
```sh
|
||||||
|
# Auf der Node: erst messen (ändert nichts)
|
||||||
|
curl -fsSL <raw>/scripts/x22-log-archive.sh -o /root/archiv.sh
|
||||||
|
bash /root/archiv.sh # Bestandsaufnahme
|
||||||
|
|
||||||
|
# dann archivieren
|
||||||
|
bash /root/archiv.sh --backfill # erzeugt apache-archive.openmetrics + tar.gz
|
||||||
|
```
|
||||||
|
|
||||||
|
Das Skript prüft seine eigene Ausgabe **vor** der Übergabe: Zeitraum, Einheit
|
||||||
|
(Sekunden) und ein **Zukunfts-Check** — Punkte nach „jetzt" werden gemeldet, weil
|
||||||
|
sie später beim Import die Zeitreferenz verschieben würden.
|
||||||
|
|
||||||
|
Eingespielt wird **nur in die Archiv-Instanz**, nie in die Produktions-TSDB:
|
||||||
|
|
||||||
|
```sh
|
||||||
|
scp /root/apache-archive/apache-archive.openmetrics mm@<imac>:/tmp/
|
||||||
|
ssh mm@<imac> 'sudo /usr/local/bin/prom-archive-import.sh --file /tmp/apache-archive.openmetrics'
|
||||||
|
```
|
||||||
|
|
||||||
|
Geparst werden Access- **und** Error-Logs, inklusive rotierter `.log.1`/`.log.N.gz`.
|
||||||
|
Was entsteht: `apache_archive_requests_total` (je Domain/Status/Methode/Stunde),
|
||||||
|
`_response_bytes_total`, `_unique_clients`, `_errors_total` (je Level),
|
||||||
|
`_log_lines_total`. Als Datasource in Grafana einhängen
|
||||||
|
(`http://archive-prometheus:9090`) — Live und Archiv sind dann getrennt abfragbar.
|
||||||
|
|
||||||
## Archiv-Import: Schutzschichten
|
## Archiv-Import: Schutzschichten
|
||||||
|
|
||||||
Alte Logs lassen sich als Prometheus-Blöcke archivieren (`scripts/apache-log-archive.py`).
|
Alte Logs lassen sich als Prometheus-Blöcke archivieren (`scripts/apache-log-archive.py`).
|
||||||
|
|||||||
Reference in new issue
Block a user