fix(logs): journald via exec+Cursor statt inputs.journal (existiert nicht) bzw. syslog (fehlt auf PVE)

This commit is contained in:
mm committed 2026-09-13 22:27:26 +02:00
1 parent 49b5811d94
commit 258157c943
3 files changed
+107 -32

No files matched your search

+7 -3
View File
@@ -270,14 +270,18 @@ esac
# --- System-Logs (journald) → Loki — nur auf systemd-Systemen --- # --- System-Logs (journald) → Loki — nur auf systemd-Systemen ---
if command -v journalctl >/dev/null 2>&1 && [ -d /run/systemd/system ]; then if command -v journalctl >/dev/null 2>&1 && [ -d /run/systemd/system ]; then
fetch scripts/journal-tail.sh /etc/telegraf/journal-tail.sh
chmod 0755 /etc/telegraf/journal-tail.sh
fetch_conf telegraf/journal.conf /etc/telegraf/telegraf.d/journal.conf fetch_conf telegraf/journal.conf /etc/telegraf/telegraf.d/journal.conf
log "journald-Logs aktiv (Warnungen+ ab jetzt; PVE-Units inklusive)." # Zustandsverzeichnis fuer den Journal-Cursor
# Journal-Zugriff fuer den Dienst-Benutzer mkdir -p /var/lib/telegraf-journal
if [ "$ROLE" = "proxmox" ]; then if [ "$ROLE" = "proxmox" ]; then
: # laeuft als root (Drop-in) — voller Zugriff : # laeuft als root (Drop-in) — voller Journal-Zugriff
else else
chown telegraf:telegraf /var/lib/telegraf-journal 2>/dev/null || true
usermod -aG systemd-journal telegraf 2>/dev/null || true usermod -aG systemd-journal telegraf 2>/dev/null || true
fi fi
log "Journald-Logs aktiv (Warnungen+, inkrementell ueber Cursor)."
fi fi
# --- Node-Info (LAN-IP, NetBird-IP/FQDN, PVE-URL) — auf jeder Node --- # --- Node-Info (LAN-IP, NetBird-IP/FQDN, PVE-URL) — auf jeder Node ---
+82
View File
@@ -0,0 +1,82 @@
#!/usr/bin/env bash
# journal-tail.sh — journald-Logs inkrementell als Influx Line Protocol liefern.
#
# Warum dieses Script:
# * inputs.journal existiert in den offiziellen Telegraf-Builds NICHT
# (Docker-Image + InfluxData-Debian-Paket 1.40 geprüft).
# * Auf PVE gibt es KEIN rsyslog — /var/log/syslog existiert dort nicht.
# * Der JSON-Parser von inputs.exec liest nur EIN Objekt, keine NDJSON-Zeilen.
# * Das fertige Line Protocol ist dasselbe Muster wie gpu-rocm.sh (bewährt).
#
# Zustand: der Cursor steckt in jeder journalctl-JSON-Zeile ("__CURSOR").
# Er wird in $STATE_DIR/cursor gemerkt -> keine Duplikate, kein Verlust.
#
# Telegraf:
# [[inputs.exec]]
# interval = "30s"
# timeout = "25s"
# data_format = "influx"
# commands = ["/etc/telegraf/journal-tail.sh"]
set -u
PRIORITY="${JOURNAL_PRIORITY:-warning}" # warning|err|info|debug
SINCE="${JOURNAL_SINCE:-}" # optional, nur beim Erstanlauf
MAX_LINES="${JOURNAL_MAX_LINES:-500}" # Schutz vor Flut pro Lauf
STATE_DIR="${JOURNAL_STATE_DIR:-/var/lib/telegraf-journal}"
CURSOR_FILE="$STATE_DIR/cursor"
mkdir -p "$STATE_DIR" 2>/dev/null || true
args=(-o json --no-pager --no-hostname -p "$PRIORITY" -n "$MAX_LINES")
if [ -s "$CURSOR_FILE" ]; then
args+=(--after-cursor "$(cat "$CURSOR_FILE" 2>/dev/null)")
elif [ -n "$SINCE" ]; then
args+=(--since "$SINCE")
else
args+=(--since "-5min")
fi
last_cursor=""
journalctl "${args[@]}" 2>/dev/null | while IFS= read -r line; do
case "$line" in \{*) ;; *) continue ;; esac
# Felder aus dem JSON ziehen (jq-frei, damit kein Extra-Paket nötig ist)
get() { printf '%s' "$line" | sed -n "s/.*\"$1\":\"\([^\"]*\)\".*/\1/p" | head -1; }
getnum() { printf '%s' "$line" | sed -n "s/.*\"$1\":\([0-9]*\).*/\1/p" | head -1; }
cur="$(get '__CURSOR')"
[ -n "$cur" ] && last_cursor="$cur"
msg="$(get 'MESSAGE')"
[ -n "$msg" ] || continue
unit="$(get '_SYSTEMD_UNIT')"; [ -n "$unit" ] || unit="$(get 'SYSLOG_IDENTIFIER')"
ident="$(get 'SYSLOG_IDENTIFIER')"
prio="$(get 'PRIORITY')"
ts_us="$(getnum '__REALTIME_TIMESTAMP')"
host="$(get '_HOSTNAME')"
# Line Protocol: Escaping für Tag-Werte und String-Felder
esc_tag() { printf '%s' "$1" | sed 's/[ ,=]/\\&/g'; }
esc_str() { printf '%s' "$1" | sed 's/\\/\\\\/g; s/"/\\"/g'; }
# Nanosekunden: __REALTIME_TIMESTAMP ist in Mikrosekunden
if [ -n "$ts_us" ]; then
ns="${ts_us}000"
else
ns="$(date +%s)000000000"
fi
printf 'journal,unit=%s,ident=%s,priority=%s,host=%s message="%s" %s\n' \
"$(esc_tag "${unit:-unknown}")" \
"$(esc_tag "${ident:-unknown}")" \
"$(esc_tag "${prio:-0}")" \
"$(esc_tag "${host:-unknown}")" \
"$(esc_str "$msg")" \
"$ns"
# Zustand nach jedem Datensatz sichern
[ -n "$cur" ] && { printf '%s' "$cur" > "$CURSOR_FILE.tmp" && mv -f "$CURSOR_FILE.tmp" "$CURSOR_FILE"; }
done
+18 -29
View File
@@ -1,33 +1,22 @@
# System-Logs (Syslog) → Loki # System-Logs (journald) -> Loki
# #
# Warum: inputs.docker_log deckt nur Container ab. PVE-Knoten und alle # Warum dieses Script statt eines Plugins:
# Nicht-Docker-Hosts lieferten damit gar keine Logs — genau dort stehen aber # * inputs.journal existiert in den offiziellen Telegraf-Builds NICHT
# die relevanten Meldungen (pvedaemon, pveproxy, qemu, Kernel, Storage). # (Docker-Image UND InfluxData-Debian-Paket 1.40 geprueft, Web-Recherche
# bestaetigt: Plugin braucht einen Build mit systemd-Headern).
# * Auf PVE gibt es KEIN rsyslog -> /var/log/syslog existiert dort nicht.
# * Der JSON-Parser von inputs.exec liest nur ein Objekt, keine NDJSON-Zeilen.
# * Line Protocol direkt ist dasselbe bewaehrte Muster wie gpu-rocm.sh.
# #
# Umsetzung: inputs.tail auf die Syslog-Dateien. # Cursor-Zustand liegt in /var/lib/telegraf-journal/cursor -> keine Duplikate,
# HINWEIS: inputs.journal existiert in den offiziellen Telegraf-Builds NICHT # kein Verlust bei Neustart oder Journal-Rotation.
# (Docker-Image und InfluxData-Debian-Paket 1.40 wurden beide geprüft) — das
# Plugin braucht einen Build mit systemd-Headern. Deshalb der Datei-Weg.
# #
# Voraussetzung: rsyslog schreibt eine Datei. Auf PVE ist das /var/log/syslog # Feintuning per Umgebungsvariable in /etc/default/telegraf:
# (pve-manager hängt an rsyslog). Prüfen mit: ls -la /var/log/syslog # JOURNAL_PRIORITY=warning (warning|err|info|debug)
# JOURNAL_MAX_LINES=500
[[inputs.tail]] [[inputs.exec]]
# Fehlende Dateien sind unkritisch (Debian hat kein /var/log/messages). interval = "30s"
files = ["/var/log/syslog", "/var/log/messages", "/var/log/kern.log", "/var/log/daemon.log"] timeout = "25s"
name_override = "journal" data_format = "influx"
# Default "saved-or-end": beim ersten Start nichts nachholen, danach merken. commands = ["/etc/telegraf/journal-tail.sh"]
initial_read_offset = "saved-or-end"
# Zeilen als Text durchreichen (kein Parsing nötig)
data_format = "value"
data_type = "string"
# Pfad als Tag, damit man in Loki nach Datei filtern kann
path_tag = "logfile"
# Feldname vereinheitlichen: tail/value liefert "value", das Logs-Panel
# erwartet (wie docker_log) "message". Umbenennen statt Panel-Sonderfall.
[[processors.rename]]
namepass = ["journal"]
[[processors.rename.replace]]
field = "value"
dest = "message"