#!/usr/bin/env bash # syslog-tail.sh — Syslog-Dateien inkrementell als Influx Line Protocol. # # WOFUER: Telegraf laeuft auf imac/kalina/x05 als DOCKER-CONTAINER. Dort gibt es # kein journalctl (Image = Debian ohne systemd) und der Host ist nur read-only # unter /hostfs gemountet. Journal-Logs sind auf diesem Weg nicht erreichbar. # Ersatz: die Syslog-Dateien des Hosts, die im Container lesbar sind # (/hostfs/var/log/syslog, /hostfs/var/log/kern.log) — vorausgesetzt, rsyslog # laeuft auf dem Host (auf imac und kalina der Fall). # # ACHTUNG: Auf PVE gibt es KEIN rsyslog -> dort ist journal-tail.sh der Weg, # nicht dieses Script. Fehlt die Datei, endet der Lauf ohne Ausgabe. # # ZUSTAND: Byte-Offset je Datei in $STATE_DIR/offset-. Beim ersten Lauf # beginnt es am DATEIENDE (keine Altlasten), danach wird nur Neues gelesen. # Rotation: schrumpft die Datei unter den gemerkten Offset, wird neu bei 0 # begonnen. # # Telegraf: # [[inputs.exec]] # interval = "30s" # timeout = "25s" # data_format = "influx" # commands = ["/etc/telegraf/syslog-tail.sh"] set -u # WICHTIG: Telegraf startet inputs.exec-Unterprozesse mit den Rechten des # Dienst-Benutzers (im Container uid=999 "telegraf"), NICHT mit den Rechten des # Telegraf-Prozesses. /hostfs/var/log/syslog gehoert Gruppe "adm" (Modus 640) — # als uid 999 ist die Datei nicht lesbar und das Script gibt still nichts aus. # Deshalb: Lesen ueber cat als root, wenn wir nicht schon root sind und sudo/cat # verfuegbar ist. read_head() { if [ "$(id -u)" -eq 0 ]; then head -c "$2" "$1" 2>/dev/null elif command -v sudo >/dev/null 2>&1; then sudo -n head -c "$2" "$1" 2>/dev/null else head -c "$2" "$1" 2>/dev/null fi } FILES="${SYSLOG_FILES:-/hostfs/var/log/syslog /hostfs/var/log/kern.log}" MAX_LINES="${SYSLOG_MAX_LINES:-500}" # Default /tmp: als Dienst-Benutzer (uid 999 im Container) immer schreibbar. # /var/lib scheitert dort mit "Permission denied" — und ohne schreibbaren State # kann der Offset nie gespeichert werden, wodurch das Script bei JEDEM Lauf im # Erstanlauf-Zweig landet und dann still NICHTS ausgibt. STATE_DIR="${SYSLOG_STATE_DIR:-/tmp/telegraf-syslog}" if ! mkdir -p "$STATE_DIR" 2>/dev/null; then echo "syslog-tail: State-Verzeichnis $STATE_DIR nicht anlegbar" >&2 fi if ! touch "$STATE_DIR/.wtest" 2>/dev/null; then echo "syslog-tail: WARNUNG $STATE_DIR nicht beschreibbar - es werden KEINE Logs geliefert" >&2 echo "syslog-tail: SYSLOG_STATE_DIR auf ein schreibbares Verzeichnis setzen" >&2 else rm -f "$STATE_DIR/.wtest" 2>/dev/null fi for f in $FILES; do [ -r "$f" ] || continue base="$(basename "$f")" off_file="$STATE_DIR/offset-$base" # Aktuelle Dateigroesse; Rotation erkennen size="$(stat -c %s "$f" 2>/dev/null || wc -c < "$f" 2>/dev/null || echo 0)" first=0 from=0 if [ -s "$off_file" ]; then from="$(cat "$off_file" 2>/dev/null || echo 0)" [ "$from" -gt "$size" ] 2>/dev/null && from=0 # Rotation: kleiner geworden else first=1 from="$size" # Erstanlauf: nur Neues fi # Erstanlauf: Startpunkt SOFORT merken. Sonst springt der naechste Lauf auf 0 # und schuettet die komplette Datei aus (Bug in der ersten Fassung). if [ "$first" -eq 1 ]; then printf '%s' "$size" > "$off_file.tmp" 2>/dev/null && mv -f "$off_file.tmp" "$off_file" 2>/dev/null continue fi [ "$from" -ge "$size" ] && continue # Ab Offset lesen, maximal MAX_LINES Zeilen tail -c +$((from + 1)) "$f" 2>/dev/null \ | head -n "$MAX_LINES" \ | awk -v SRC="$base" ' # WICHTIG: im Telegraf-Image ist mawk der Standard — der versteht KEINE # Intervall-Regexe ({4}). Positionsbasiert parsen, nie mit {n}. function etag(s) { gsub(/[ ,=]/, "\\\\&", s); return s } function estr(s) { gsub(/\\/, "\\\\", s); gsub(/"/, "\\\"", s); return s } function isdig(s, i, c) { if (length(s) == 0) return 0 for (i = 1; i <= length(s); i++) { c = substr(s, i, 1); if (c < "0" || c > "9") return 0 } return 1 } # WICHTIG: KEINEN Zeitstempel selbst berechnen. # Die Syslog-Zeit ist LOKAL (+02:00), mawk/mktime kennt aber keine # Zeitzonen-Offsets — im UTC-Container entstand daraus ein Wert 2 h in der # Zukunft und Loki wies jeden Push ab: # "entry for stream '{…}' has timestamp too new: 2026-09-13T23:08:19Z" # Ohne Zeitstempel stempelt Telegraf die Zeile beim Einsammeln — bei # interval = 30s genau genug und zeitzonensicher. function ts2epoch(t) { return 0 } /./ { line = $0 host = "unknown"; ident = "syslog"; msg = line; ns = ""; prio = "6" # Fuehrendes "zeitstempel host ident: rest" abtrennen — positionsbasiert. if (substr(line, 5, 1) == "-" && substr(line, 8, 1) == "-" && substr(line, 11, 1) == "T") { sp1 = index(line, " ") if (sp1 > 0) { rest = substr(line, sp1 + 1) sp2 = index(rest, " ") if (sp2 > 0) { host = substr(rest, 1, sp2 - 1); rest = substr(rest, sp2 + 1) } msg = rest # Praefix "ident[pid]: " bzw. "ident: " abtrennen colon = index(msg, ": ") if (colon > 1 && colon <= 64) { head = substr(msg, 1, colon - 1) if (index(head, " ") == 0 && index(head, "=") == 0) { br = index(head, "[") ident = (br > 1) ? substr(head, 1, br - 1) : head msg = substr(msg, colon + 2) } } } } # Kein Zeitstempel -> Telegraf setzt ihn (zeitzonensicher, siehe oben). printf "journal,source=%s,ident=%s,priority=%s,jhost=%s message=\"%s\"\n", \ etag(SRC), etag(ident), etag(prio), etag(host), estr(msg) } ' # Neuen Offset merken (Dateigroesse am Ende des Lesens) newsize="$(stat -c %s "$f" 2>/dev/null || echo "$size")" printf '%s' "$newsize" > "$off_file.tmp" 2>/dev/null && mv -f "$off_file.tmp" "$off_file" 2>/dev/null done exit 0