fix(rawlogs): auf /data/tmp ausweichen, /tmp ist tmpfs (15 GB RAM)
Am Ziel gemessen: /tmp ist ein tmpfs mit 15 GB. Eine 10-GB-Rohdatei plus Sortier-Temp liegt damit im Arbeitsspeicher und bringt Loki/den Rechner in Bedraengnis. Der Importer prueft jetzt vorher den freien Platz und bricht frueh ab; die Uebergabe geht nach /data/tmp (863 GB frei).
This commit is contained in:
1 parent
b8246472f5
commit
a40836a592
1 file changed
+5
-1
@@ -138,7 +138,11 @@ echo
|
||||
log "NAECHSTER SCHRITT — diese Zeilen auf dem imac ausfuehren:"
|
||||
echo
|
||||
echo " # 1) Rohdatei und Auftrag uebertragen (als normaler Nutzer moeglich)"
|
||||
echo " scp $STAGE/raw.tsv $STAGE/state.json mm@100.83.134.46:/tmp/"
|
||||
echo " # ACHTUNG: nach /data/tmp, NICHT nach /tmp!"
|
||||
echo " # Auf dem imac ist /tmp ein tmpfs mit 15 GB (also RAM). Eine grosse"
|
||||
echo " # Rohdatei wuerde dort den Arbeitsspeicher belegen und Loki stoeren."
|
||||
echo " ssh mm@100.83.134.46 'mkdir -p /data/tmp'"
|
||||
echo " scp $STAGE/raw.tsv $STAGE/state.json mm@100.83.134.46:/data/tmp/"
|
||||
echo
|
||||
echo " # 2) Einlesen (der Import laeuft LOKAL auf dem imac — kein Token noetig)"
|
||||
echo " ssh mm@100.83.134.46 \\"
|
||||
|
||||
Reference in new issue
Block a user