Der Garbage Collector wird gestartet, wenn ein Bloom-Filter von einem Satelliten empfangen wird (ja, jeder Satellit sendet seinen eigenen Bloom-Filter). Dies geschieht etwa 1-2 Mal pro Woche.
Sie müssen sicherstellen, dass der Garbage Collection-Prozess für jeden der vertrauenswürdigen Satelliten erfolgreich abgeschlossen wird.
Ich scheine wohl ein anderes grundlegendes Problem zu haben. Meine Datenbanken sind locked und haben alle einen Stand von Oktober 2022.
Die 6 blobsfolder sollten jetzt auf 4 geschrumpft sein.
Einfach mal den PC neu starten. Falls erfolglos;
Dann könnte das helfen:
Vermutlich haben sich die dbs wegen fragmentierung bei so 4TB daten gelockt. Wenn die Filewalker durchgelaufen sind sollte das dashboard wieder die richtigen werte anzeigen.
Dann kannst du auch wieder den speicherplatz auf die gewünschte menge stellen.
ja, das mit den 4 Ordnern hat geklappt und ist schon super. Insgesamt sind 400 GB durch die ganze Aktion frei geworden. Nachdem das nun beendet ist, frage ich mich, warum nicht mehr Speicherplatz freigegeben wird. Selbst wenn die 14 TB Festplatte nur etwas über 12 TB hat, ist die Differenz zu 7 TB ja schon nicht klein.
Mache gerade mal den Neustart und wenn dann alles wieder läuft, warte ich wohl mal die Nacht ab und schaue dann nochmal wieder drauf.
Die daten sind vielleicht real, nur das Dashboard hat falsche Infos, wenn die db’s gelockt sind.
Drücke die Daumen.
Filewalker sollten die Informationen in der Datenbank aktualisieren, wenn sie nicht abstürzen. Danach Armaturenbrett sollte echte Daten anzeigen.
so hatte ich mir das nicht vorgestellt:
2024-03-16T10:39:17+01:00 ERROR piecestore:cache error getting current used space: {“error”: “filewalker: context canceled; filewalker: context canceled; filewalker: context canceled; filewalker: context canceled”, “errorVerbose”: “group:\n— filewalker: context canceled\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkSatellitePieces:69\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:74\n\tstorj.io/storj/storagenode/pieces.(*Store).SpaceUsedTotalAndBySatellite:726\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run:57\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2.1:87\n\truntime/pprof.Do:51\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2:86\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:75\n— filewalker: context canceled\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkSatellitePieces:69\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:74\n\tstorj.io/storj/storagenode/pieces.(*Store).SpaceUsedTotalAndBySatellite:726\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run:57\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2.1:87\n\truntime/pprof.Do:51\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2:86\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:75\n— filewalker: context canceled\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkSatellitePieces:69\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:74\n\tstorj.io/storj/storagenode/pieces.(*Store).SpaceUsedTotalAndBySatellite:726\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run:57\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2.1:87\n\truntime/pprof.Do:51\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2:86\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:75\n— filewalker: context canceled\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkSatellitePieces:69\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:74\n\tstorj.io/storj/storagenode/pieces.(*Store).SpaceUsedTotalAndBySatellite:726\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run:57\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2.1:87\n\truntime/pprof.Do:51\n\tstorj.io/storj/private/lifecycle.(*Group).Run.func2:86\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:75”}
Und das bedeutet normalerweise, dass Sie Probleme damit haben Filewalker, Sie müssen sicherstellen, dass sie nicht abstürzen
Und das ist im wahrsten Sinne des Wortes ein Problem: Ihre Festplatte ist zu langsam Filewalker habe meine Arbeit beendet. In diesem Fall empfehle ich möglicherweise die Deaktivierung fauler Filewalker, damit der Job mit normaler Priorität abgeschlossen werden kann.
storage2.piece-scan-on-startup: true
pieces.enable-lazy-filewalker: falsestrong text
habe ich bereits getestet. Ohne Erfolg.
Ist es normal, dass die Festplatte permanent 100% Auslastung hat? Wie kann ich das ändern? Ist das ein Windows-Problem?
Ja und nein. Das ist ein Problem Windows, weil sie den Cache nicht richtig implementieren können, aber andererseits sollte Sie das nicht stören. Um andererseits die Metainformationen zu aktualisieren, Filewalker Muss alle Teile scannen.
Kurz gesagt, lassen Sie es so wie es ist. Kurz gesagt, wenn Filewalker nicht abfällt, dann muss der belegte Platz übereinstimmen.
Mein Problem ist, dass Filewalker nicht ordentlich läuft, weil die Festplatte randvoll ist und immer zu 100% im Zugriff. Die Festplatte wird nicht bereinigt, weil Filewalker nicht tut was er muss. Da drehen wir uns doch im Kreis.
Zu dem läuft der Knoten nicht mehr stabil und hängt sich alle paar Stunden auf, damit kann Filewalker und die Bloomfilter wohl auch nicht richtig funktionieren.
Das kann an der fragmentierung liegen, wie stark ist denn fragmentiert?
There must be some filewalk completed to show the real numbers?
Hier müssen wohl die timeouts angepasst werden. Das hatten auch viele.
Danke auch für diesen Hinweis. Im Moment ist der Knoten mal 19 Stunden ohne Unterbrechung online. Deshalb möchte ich im Moment mal abwarten. Wenn er sich nochmal aufhängen sollte, werde ich die Timeouts erhöhen.
Am Festplattenplatz ändert sich nun gar nichts mehr, da der Knoten noch auf 6,5 TB beschränkt und damit voll ist. Real sind auch nur 579 GB von 12,7 TB frei.
Leider ist aber auch noch nichts frei gegeben worden von den 6 TB die zuviel belegt sind.
Sie müssen alle Datenbanken überprüfen, wenn der Knoten gestoppt ist, und die beschädigten Datenbanken reparieren:
Wenn Sie sich keine Gedanken über die Wiederherstellung machen möchten, können Sie die beschädigten Dateien von Grund auf neu erstellen (unter Verlust historischer und statistischer Daten):