fix(logs): journald via exec+Cursor statt inputs.journal (existiert nicht) bzw. syslog (fehlt auf PVE)
This commit is contained in:
1 parent
49b5811d94
commit
258157c943
3 files changed
+107
-32
No files matched your search
+7
-3
@@ -270,14 +270,18 @@ esac
|
|||||||
|
|
||||||
# --- System-Logs (journald) → Loki — nur auf systemd-Systemen ---
|
# --- System-Logs (journald) → Loki — nur auf systemd-Systemen ---
|
||||||
if command -v journalctl >/dev/null 2>&1 && [ -d /run/systemd/system ]; then
|
if command -v journalctl >/dev/null 2>&1 && [ -d /run/systemd/system ]; then
|
||||||
|
fetch scripts/journal-tail.sh /etc/telegraf/journal-tail.sh
|
||||||
|
chmod 0755 /etc/telegraf/journal-tail.sh
|
||||||
fetch_conf telegraf/journal.conf /etc/telegraf/telegraf.d/journal.conf
|
fetch_conf telegraf/journal.conf /etc/telegraf/telegraf.d/journal.conf
|
||||||
log "journald-Logs aktiv (Warnungen+ ab jetzt; PVE-Units inklusive)."
|
# Zustandsverzeichnis fuer den Journal-Cursor
|
||||||
# Journal-Zugriff fuer den Dienst-Benutzer
|
mkdir -p /var/lib/telegraf-journal
|
||||||
if [ "$ROLE" = "proxmox" ]; then
|
if [ "$ROLE" = "proxmox" ]; then
|
||||||
: # laeuft als root (Drop-in) — voller Zugriff
|
: # laeuft als root (Drop-in) — voller Journal-Zugriff
|
||||||
else
|
else
|
||||||
|
chown telegraf:telegraf /var/lib/telegraf-journal 2>/dev/null || true
|
||||||
usermod -aG systemd-journal telegraf 2>/dev/null || true
|
usermod -aG systemd-journal telegraf 2>/dev/null || true
|
||||||
fi
|
fi
|
||||||
|
log "Journald-Logs aktiv (Warnungen+, inkrementell ueber Cursor)."
|
||||||
fi
|
fi
|
||||||
|
|
||||||
# --- Node-Info (LAN-IP, NetBird-IP/FQDN, PVE-URL) — auf jeder Node ---
|
# --- Node-Info (LAN-IP, NetBird-IP/FQDN, PVE-URL) — auf jeder Node ---
|
||||||
|
|||||||
Executable
+82
@@ -0,0 +1,82 @@
|
|||||||
|
#!/usr/bin/env bash
|
||||||
|
# journal-tail.sh — journald-Logs inkrementell als Influx Line Protocol liefern.
|
||||||
|
#
|
||||||
|
# Warum dieses Script:
|
||||||
|
# * inputs.journal existiert in den offiziellen Telegraf-Builds NICHT
|
||||||
|
# (Docker-Image + InfluxData-Debian-Paket 1.40 geprüft).
|
||||||
|
# * Auf PVE gibt es KEIN rsyslog — /var/log/syslog existiert dort nicht.
|
||||||
|
# * Der JSON-Parser von inputs.exec liest nur EIN Objekt, keine NDJSON-Zeilen.
|
||||||
|
# * Das fertige Line Protocol ist dasselbe Muster wie gpu-rocm.sh (bewährt).
|
||||||
|
#
|
||||||
|
# Zustand: der Cursor steckt in jeder journalctl-JSON-Zeile ("__CURSOR").
|
||||||
|
# Er wird in $STATE_DIR/cursor gemerkt -> keine Duplikate, kein Verlust.
|
||||||
|
#
|
||||||
|
# Telegraf:
|
||||||
|
# [[inputs.exec]]
|
||||||
|
# interval = "30s"
|
||||||
|
# timeout = "25s"
|
||||||
|
# data_format = "influx"
|
||||||
|
# commands = ["/etc/telegraf/journal-tail.sh"]
|
||||||
|
|
||||||
|
set -u
|
||||||
|
|
||||||
|
PRIORITY="${JOURNAL_PRIORITY:-warning}" # warning|err|info|debug
|
||||||
|
SINCE="${JOURNAL_SINCE:-}" # optional, nur beim Erstanlauf
|
||||||
|
MAX_LINES="${JOURNAL_MAX_LINES:-500}" # Schutz vor Flut pro Lauf
|
||||||
|
STATE_DIR="${JOURNAL_STATE_DIR:-/var/lib/telegraf-journal}"
|
||||||
|
CURSOR_FILE="$STATE_DIR/cursor"
|
||||||
|
|
||||||
|
mkdir -p "$STATE_DIR" 2>/dev/null || true
|
||||||
|
|
||||||
|
args=(-o json --no-pager --no-hostname -p "$PRIORITY" -n "$MAX_LINES")
|
||||||
|
if [ -s "$CURSOR_FILE" ]; then
|
||||||
|
args+=(--after-cursor "$(cat "$CURSOR_FILE" 2>/dev/null)")
|
||||||
|
elif [ -n "$SINCE" ]; then
|
||||||
|
args+=(--since "$SINCE")
|
||||||
|
else
|
||||||
|
args+=(--since "-5min")
|
||||||
|
fi
|
||||||
|
|
||||||
|
last_cursor=""
|
||||||
|
|
||||||
|
journalctl "${args[@]}" 2>/dev/null | while IFS= read -r line; do
|
||||||
|
case "$line" in \{*) ;; *) continue ;; esac
|
||||||
|
|
||||||
|
# Felder aus dem JSON ziehen (jq-frei, damit kein Extra-Paket nötig ist)
|
||||||
|
get() { printf '%s' "$line" | sed -n "s/.*\"$1\":\"\([^\"]*\)\".*/\1/p" | head -1; }
|
||||||
|
getnum() { printf '%s' "$line" | sed -n "s/.*\"$1\":\([0-9]*\).*/\1/p" | head -1; }
|
||||||
|
|
||||||
|
cur="$(get '__CURSOR')"
|
||||||
|
[ -n "$cur" ] && last_cursor="$cur"
|
||||||
|
|
||||||
|
msg="$(get 'MESSAGE')"
|
||||||
|
[ -n "$msg" ] || continue
|
||||||
|
|
||||||
|
unit="$(get '_SYSTEMD_UNIT')"; [ -n "$unit" ] || unit="$(get 'SYSLOG_IDENTIFIER')"
|
||||||
|
ident="$(get 'SYSLOG_IDENTIFIER')"
|
||||||
|
prio="$(get 'PRIORITY')"
|
||||||
|
ts_us="$(getnum '__REALTIME_TIMESTAMP')"
|
||||||
|
host="$(get '_HOSTNAME')"
|
||||||
|
|
||||||
|
# Line Protocol: Escaping für Tag-Werte und String-Felder
|
||||||
|
esc_tag() { printf '%s' "$1" | sed 's/[ ,=]/\\&/g'; }
|
||||||
|
esc_str() { printf '%s' "$1" | sed 's/\\/\\\\/g; s/"/\\"/g'; }
|
||||||
|
|
||||||
|
# Nanosekunden: __REALTIME_TIMESTAMP ist in Mikrosekunden
|
||||||
|
if [ -n "$ts_us" ]; then
|
||||||
|
ns="${ts_us}000"
|
||||||
|
else
|
||||||
|
ns="$(date +%s)000000000"
|
||||||
|
fi
|
||||||
|
|
||||||
|
printf 'journal,unit=%s,ident=%s,priority=%s,host=%s message="%s" %s\n' \
|
||||||
|
"$(esc_tag "${unit:-unknown}")" \
|
||||||
|
"$(esc_tag "${ident:-unknown}")" \
|
||||||
|
"$(esc_tag "${prio:-0}")" \
|
||||||
|
"$(esc_tag "${host:-unknown}")" \
|
||||||
|
"$(esc_str "$msg")" \
|
||||||
|
"$ns"
|
||||||
|
|
||||||
|
# Zustand nach jedem Datensatz sichern
|
||||||
|
[ -n "$cur" ] && { printf '%s' "$cur" > "$CURSOR_FILE.tmp" && mv -f "$CURSOR_FILE.tmp" "$CURSOR_FILE"; }
|
||||||
|
done
|
||||||
+18
-29
@@ -1,33 +1,22 @@
|
|||||||
# System-Logs (Syslog) → Loki
|
# System-Logs (journald) -> Loki
|
||||||
#
|
#
|
||||||
# Warum: inputs.docker_log deckt nur Container ab. PVE-Knoten und alle
|
# Warum dieses Script statt eines Plugins:
|
||||||
# Nicht-Docker-Hosts lieferten damit gar keine Logs — genau dort stehen aber
|
# * inputs.journal existiert in den offiziellen Telegraf-Builds NICHT
|
||||||
# die relevanten Meldungen (pvedaemon, pveproxy, qemu, Kernel, Storage).
|
# (Docker-Image UND InfluxData-Debian-Paket 1.40 geprueft, Web-Recherche
|
||||||
|
# bestaetigt: Plugin braucht einen Build mit systemd-Headern).
|
||||||
|
# * Auf PVE gibt es KEIN rsyslog -> /var/log/syslog existiert dort nicht.
|
||||||
|
# * Der JSON-Parser von inputs.exec liest nur ein Objekt, keine NDJSON-Zeilen.
|
||||||
|
# * Line Protocol direkt ist dasselbe bewaehrte Muster wie gpu-rocm.sh.
|
||||||
#
|
#
|
||||||
# Umsetzung: inputs.tail auf die Syslog-Dateien.
|
# Cursor-Zustand liegt in /var/lib/telegraf-journal/cursor -> keine Duplikate,
|
||||||
# HINWEIS: inputs.journal existiert in den offiziellen Telegraf-Builds NICHT
|
# kein Verlust bei Neustart oder Journal-Rotation.
|
||||||
# (Docker-Image und InfluxData-Debian-Paket 1.40 wurden beide geprüft) — das
|
|
||||||
# Plugin braucht einen Build mit systemd-Headern. Deshalb der Datei-Weg.
|
|
||||||
#
|
#
|
||||||
# Voraussetzung: rsyslog schreibt eine Datei. Auf PVE ist das /var/log/syslog
|
# Feintuning per Umgebungsvariable in /etc/default/telegraf:
|
||||||
# (pve-manager hängt an rsyslog). Prüfen mit: ls -la /var/log/syslog
|
# JOURNAL_PRIORITY=warning (warning|err|info|debug)
|
||||||
|
# JOURNAL_MAX_LINES=500
|
||||||
|
|
||||||
[[inputs.tail]]
|
[[inputs.exec]]
|
||||||
# Fehlende Dateien sind unkritisch (Debian hat kein /var/log/messages).
|
interval = "30s"
|
||||||
files = ["/var/log/syslog", "/var/log/messages", "/var/log/kern.log", "/var/log/daemon.log"]
|
timeout = "25s"
|
||||||
name_override = "journal"
|
data_format = "influx"
|
||||||
# Default "saved-or-end": beim ersten Start nichts nachholen, danach merken.
|
commands = ["/etc/telegraf/journal-tail.sh"]
|
||||||
initial_read_offset = "saved-or-end"
|
|
||||||
# Zeilen als Text durchreichen (kein Parsing nötig)
|
|
||||||
data_format = "value"
|
|
||||||
data_type = "string"
|
|
||||||
# Pfad als Tag, damit man in Loki nach Datei filtern kann
|
|
||||||
path_tag = "logfile"
|
|
||||||
|
|
||||||
# Feldname vereinheitlichen: tail/value liefert "value", das Logs-Panel
|
|
||||||
# erwartet (wie docker_log) "message". Umbenennen statt Panel-Sonderfall.
|
|
||||||
[[processors.rename]]
|
|
||||||
namepass = ["journal"]
|
|
||||||
[[processors.rename.replace]]
|
|
||||||
field = "value"
|
|
||||||
dest = "message"
|
|
||||||
Reference in new issue
Block a user