Sehr wenig Traffic...normal?

Hallo

Ist das normal?

Traffic kommt zum erliegen.?
Ich habe auch schon https://support.storj.io/hc/en-us/articles/360029233952-Some-statistics-from-logs
[https://support.storj.io/hc/en-us/articles/360029233952-Some-statistics-from-logs]

Da wird mir überall 0 zurückgegeben…

Sowie sudo smartctl -H /dev/sdb ergibt bei der Festplatte Passed

Hatte vorhin einen Thread eröffnet ist aber weg. :face_with_raised_eyebrow:

Tja bei meiner Node kommt sehr wenig Traffic an. Liegt bei mir ein Fehler vor?
Wie gehe ich vor um Fehler zu finden ?

Habe schon die Befehle durch überall kommt 0 zur Ausgabe.

Hast du nur die eine node? Ist sie auf Windows oder Linux installiert? Ist es eine VM?
Du kannst auch hier Neighbors mal schauen, geb deine IP ein und du siehst wie viele notes noch im selben Netz sind. Idealerweise stimmt die Zahl mit deinen nodes überein, sonst hast du noch jemanden der sich mit dir den traffic teilt

Ja ist eine einzene Node, zuhause.
Auf Linux raspi

Laut Eingabe 1
Also Traffic nur für mich…

Da sollte eigentlich 1 stehen da du ja eine Node in dem Netz hast. Vielleicht habe ich mich falsch ausgedrückt, du musst natürlich deine öffentliche IP da eintragen nicht deine interne IP vom raspi.

Wie ist den die Auslastung des Systems und der HDD? Was ist das für eine HDD und wie ist die angeschlossen? War der Traffic letzten Monat besser? Aktuell kommen eigentlich noch haufenweise Testdaten von Saltlake. Als ersten Eindruck habe ich das deine HDD nicht hinterher kommt.
Ich sehe auch das die Node vor 12 Stunden neu gestertet wurde, es läuft dann sicher noch min ein filewalker. Der könnte natürlich auch ein grund sein wenn deine HDD oder das System eh schon am limit ist

Sorry ja habe es korrigiert es ist eine 1

Seagate exos 18Tb auf Usb
Ribbelt gemütlich vor ihr hin…

Ja voriges Monat war der Traffic extrem…Tests von Storj…das waren ja 30Tb oder so…
Sie wurde von mir neu gestartet. Nur testweise.

Nun die Auslastung des Systems kann ich wie abrufen?
Und die der Hdd?

Jede Party ist irgendwann vorbei. Für mich sieht das normal aus.

Die Systemauslastung und welche Prozesse dieses auslasten kannst du z.b mit top, htop oder btop anzeigen lassen, ich persönlich mag htop oder btop am liebsten. Wegen der HDD auslastung kann ich dir grad gar nicht sagen, ich nutze den prometheus node exporter und lasse mir die auslastung über Grafana anzeigen.

Die Testdaten laufen aber wieder seit ein paar tagen daher denke ich das dass system oder die hdd nicht mehr verarbeiten kann grad.

Hast du denn irgendwas von der Standarteinstellung geändert in der config oder als docker command? ich nehme an das die HDD als ext4 formatiert ist?

Nein es wurde bei den starteinstellungen nicht geändert.
Ja sie ist ext4 formatiert.

Ich schau das ich btop zum laufen bringe. Melde mich wenn ich Daten habe…

Habs schon :+1::wink:

Ha man sieht auch schon den grund denke ich. zum einen siehst du die IO Last der HDD auch in btop, die ist ausgelastet aber zum anderen ist die auch so gut wie voll. Was sagt das Dashboard wie voll sie ist?

Und man sieht das ein GC und ein used space filewalker grad läuft der die platte auslastet.

Wenn deine node voll ist dann kannst du auch keine Daten mehr runterladen, er läd dann immer nur wieder welche runter wenn mehr als 5 GB laut dashboard frei sind.

Dashboard sagt

Used: 10.19Tb
Free : 3.64Tb
trash: 2.16Tb
Overused 0b

Heißt du hattest der Node 16 TB zugewiesen? Dann musst du die node auf jeden fall laufen lassen das alle used filewalker laufen und erfolgreich sind. deine node denkt sie nutzt nur 10,19 + 2,16 GB trash aber in wirklichkeit liegen 16,2 tb auf deiner hdd.
Wie viele ordner hast du im storage ordner? Da sollten nur 4 sein, wenn du mehr hast musst du hier mal schauen How To Forget Untrusted Satellites

edit: hier kannst du dann auch deine Logs prüfen ob die filewalker ordentlich durchgelaufen sind. Denk dran das bei der größe und dem traffic das ganze auch 1 woche und mehr dauern kann.
cat /pfad/zu/deiner/node.log | grep “used-space-filewalker” | grep -E “started|finished”

Ja ich hatte nur 16 Tb zigewiesen …Es war ja laut Anleitung so das man 10% oder so weniger nehmen soll.
Daran habe ich mich gehalten.

Ja im storage sind vier Ordner.

Was macht ein Fileworker?
Kannst du mir diese Zeile erklären ?

》 Und man sieht das ein “GC” wast ist das ? und ein used space filewalker grad läuft der die platte auslastet.
Wo siehst du was? :smiley: sorry für die Fragen aber davon kann ich viel lernen!!

Ja das ist gut und auch richtig, was leider auch ein Fallstrick ist die unterscheidung zwischen TB und TiB Wann was genau genutzt wird habe ich auch noch nicht so ganz verstanden aber wie es aussieht nutzt storj TiB und das was auf der HDD steht sind TB.

Der used space filewalker geht alle dateien durch und addiert deren größe, am ende scheibt er es dann in die Datenbank und du siehst diesen wert auf dem dashboard, normalerweise wird der wert auch permanent durch das runterladen aktualisiert, genauso beim löschen, leider kann es hier zu fehlern kommen besonders wenn die node grade ein GC oder trash filewalker hat. Der Used Space filewalker wird nur beim start der node ausgeführt, außer man deaktiviert diesen, dann werden die daten aber auch nciht aktualisiert.

Hier kannst du es sehen, habe es mal versucht zu makieren:


an dem Command /app/storagenode gc-fil… und /app/storagenode used-s…

kein Problem, nur so kann man lernen wenn man fragt

Edit: ist auf der HDD eigentlich nochetwas außer storj? Sind die Datenbanken auch auf der HDD? Ich glaube es wäre auch gut wenn du deine node zumindest temporär anpasst und sie auf <10 TB einstellst damit du erstmal keine Daten mehr runterlädst, nicht das deine platte wirklich ganz voll ist und es ggf negativ ist für die node, da bin ich mir nicht sicher. Dann die filewalker ordentlich laufen lässt und wenn dann die db akualisiert sind schaust od es dann passt.

Würde auf jeden fall empfehlen die DB von der HDD zu holen. Du meintest das du einen raspi hast, ist dein root verzeichnis auf einer sd karte oder eine ssd?

Okay
Also ist es auch falsch wenn ich monatlich meine System
Einmal kurz runterfahre für systemupdates und wieder starte?

Und was ist ein GC ?

Es ist sonst nichts auf der Hdd.
Das system ist auf dem anderen Usb auf einer Ssd Platte.

Puh und die Datenbanken von der Platte zu holen…? Wohin ?
Naja die 10Tb begrenzung ich glaub ich lass das so…:see_no_evil: Bin jetzt nicht so Linuxfit…

Naja falsch ist es nicht aber es kann passieren das du damit einen filewalker task killst und es so zu ungenauigkeiten kommen kann. Ich würde die Updates nur dann machen wenn die filewalker durch sind und es sicherheitskritische Updates sind.
Zum überwachen kann ich dir dieses script empfehlen, das ist von einem Freund von mir GitHub - lukhuber/storj-terminal-dashboard: This script serves as a utility to monitor and display the operational health and financial performance of Storj nodes in a terminal-based dashboard.

Puh wie erkläre ich es am besten, du müsstest den Pfad für die Datenbanken ander mounten im Docker dann kannst du die auf die ssd packen, das gibt der HDD wieder einige IOs frei.
Ich nutze Docker-compose und ich habe die Mountpoints so gesetzt:

        volumes:
            - type: bind
              source: "/mnt/storj/node005_2024.07/storage/"
              target: /app/config/storage
            - type: bind
              source: "/mnt/storj/node005_2024.07/identity/"
              target: /app/identity
            - type: bind
              source: "/mnt/storj/node005_2024.07/config.yaml"
              target: /app/config/config.yaml
            - type: bind
              source: "/mnt/storj/ssd/node005_2024.07/orders/"
              target: /app/config/orders
            - type: bind
              source: "/mnt/storj/ssd/node005_2024.07/db/"
              target: /app/config/db
            - type: bind
              source: "/mnt/storj/ssd/node005_2024.07/logs/"
              target: /app/config/logs

Vielleicht gibt es eine gute anleitung hier im forum das kann ich dir grad nicht sagen. Leider bin ich grad etwas eingebunden und kann es dir daher nciht genau erklären grad.

Ich meine nicht das filesystem anzupassen sondern in dem docker Befehl das hier anzupassen
-e STORAGE=“10TB”
Dann gehst du sicher das deine node erstmal nicht wächst

Danke cubfan für die Ausführung

Aber die 10Tb Begrenzung kann ich so nicht machen. Ich glaube da zerstöre ich meine Node. Da muß sie selber schaun wie sie zurecht kommt. :person_shrugging:t4:
Und die Db auszulagern…Naja wäre sicher sinnvoll nur anders mounten. ? Ja danke für deinen Einblick aber ich bin so schon froh das sie seit Dez läuft. Die steht schneller als man glaubt.:see_no_evil:
Dann Ende Gelende…

Aber Cubefan monatlich Systemupdates einspielen ist okay ?

Und das Script gucke ich mir an !!! Dürfte sinnvoll sein !!

Wieso kannst du das so nicht machen? Du betreibst die node doch über Docker oder? Ansonsten in der Config den wert anpassen und die node neu starten, damit machst du sie dir nicht kaputt, sie erhält dann nur keine neuen Daten mehr. Ich befürchte eher das die node kaputt geht wenn die hdd voll läuft.

Naja nur anders mounten ist es nicht ganz, du musst die daten natürlich dann auch an die neue stelle verschieben bzw kopieren und die node dann entsprechend mit den neuen pfaden starten.

Das musst du wissen was du machst. Ich kann mir aber gut vorstellen das die HDD es zusammen mit den filewalkern nicht schafft mehr daten zu verarbeiten und du daher so wenig ingress hast.

An sich ja, du solltest den pi nur nicht unnötig neu starten, besonders wenn die walker laufen da die generell lange laufen. und bei Docker updates musst du aufpassen auch das kann ein neustart der node zur folge haben.

Mach das, damit siehst du dann sehr gut welcher walker läuft. Ich überwache bzw lasse mir den status von 10 Nodes damit anzeigen

Das Problem
Ich habe sie im Dezember mit der Dockerconfig gestartet.
Ich weis leider die Config einstellungen nicht mehr. Pfade usw. :see_no_evil: Es wurde nirgends darauf hingewiesen das ich das nochmals bräuchte.

Wo wir bei installieren das eine und Wartung das andere ist…

Sowie damals null plan von Linux und war froh das er die Dockerconf. geschluckt hat. War damals laut Anleitung.

Tja und wenn ich jetzt die Dockerconf. neu schreibe und startet…Dann bin ich halt wirklich schnell im A…

Oder sind die Einstellungen die ich damals gemacht habe irgendwo hinterlegt.?

Es gibt Leute die den Node 4Jahre betreiben die sagen immer laß laufen. Dur nix.
Cubefan ich meine i dur nix.
Wenn Platte voll, dann war es ein Versuch. Ich will da echt jetzt nicht meinen Urlaub versauen. :smiley::smiley::pensive: