Не совпадает размер ноды и обьем занятого места на диске

dvortsov · October 26, 2024, 2:31pm

Добрый день, на 5 нодах уже больше месяца не совпадают данные в дашборде и фактический размер на диске. На некоторых еще у мусора больше чем нормальной информации.
В конфиге:
storage2.piece-scan-on-startup: true
pieces.enable-lazy-filewalker: false
Базы на SSD диске, диски и базы на ошибки проверял.
Лог и скриншот одной из ноды
Настройка логов:
log.custom-level: piecestore=FATAL,collector=ERROR

2024-10-26T13:23:48+03:00	INFO	pieces:trash	emptying trash started	{"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-26T13:23:48+03:00	INFO	pieces	used-space-filewalker started	{"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
2024-10-26T13:23:48+03:00	INFO	pieces:trash	emptying trash finished	{"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "elapsed": "39.4076ms"}
2024-10-26T13:23:48+03:00	INFO	pieces:trash	emptying trash started	{"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6"}
2024-10-26T13:23:48+03:00	INFO	pieces:trash	emptying trash finished	{"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "elapsed": "15.2243ms"}
2024-10-26T13:23:48+03:00	INFO	pieces:trash	emptying trash started	{"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}
2024-10-26T13:23:48+03:00	INFO	pieces	used-space-filewalker completed	{"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE", "Lazy File Walker": false, "Total Pieces Size": 244745411584, "Total Pieces Content Size": 244036585984, "Total Pieces Count": 1384425, "Duration": "104.5388ms"}
2024-10-26T13:23:48+03:00	INFO	pieces	used-space-filewalker started	{"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6"}
2024-10-26T13:23:48+03:00	INFO	pieces	used-space-filewalker completed	{"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "Lazy File Walker": false, "Total Pieces Size": 237227571968, "Total Pieces Content Size": 236859984128, "Total Pieces Count": 717945, "Duration": "66.2557ms"}
2024-10-26T13:23:48+03:00	INFO	pieces	used-space-filewalker started	{"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}

node4

Alexey · October 27, 2024, 3:33am

Здравствуйте @dvortsov,
Проверьте, пожалуйста, ваши логи на ошибки, связанные с filewalker и базами данных:
bash:

cat /mnt/x/storagenode2/storagenode.log | grep -i error | grep -E "filewalker|database" | tail

PowerShell:

cat "C:\Program Files\Storj\Storage Node\storagenode.log" | sls error | sls "filewalker|database" | select -last 20

Если есть ошибки, то их нужно будет устранить.
С такими параметрами:

я бы посоветовал ещё включить badger cache:

pieces.file-stat-cache: badger

первый скан будет долгим, как обычно, зато последующие в несколько раз быстрее.
Следить за ними можно так:
bash

cat /mnt/x/storagenode2/storagenode.log | grep "\sused-space" | grep -E "started|completed"

PowerShell

cat "C:\Program Files\Storj\Storage Node\storagenode.log" | sls "\sused-space" | sls "started|completed"

Ещё рекомендуется удалить данные не доверенных сателлитов (нужно использовать флаг --force):

dvortsov · October 27, 2024, 11:53am

Alexey:

Проверьте, пожалуйста, ваши логи на ошибки, связанные с filewalker и базами данных:
bash:
cat /mnt/x/storagenode2/storagenode.log | grep -i error | grep -E "filewalker|database" | tail
PowerShell:
cat "C:\Program Files\Storj\Storage Node\storagenode.log" | sls error | sls "filewalker|database" | select -last 20
Если есть ошибки, то их нужно будет устранить.

Проверил, ошибок нет.

Alexey:

я бы посоветовал ещё включить badger cache:
pieces.file-stat-cache: badger
первый скан будет долгим, как обычно, зато последующие в несколько раз быстрее.

Добавил, перезапустил ноду. Пока на 1 проверю будет, ли результат.

Команду запускал, в логах писало, что все завершено, но на панель не влияло.

2024-10-27T13:42:46+02:00	INFO	forgetsatellite:endpoint	initializing forget satellite	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB", "action": "InitForgetSatellite"}
2024-10-27T13:42:46+02:00	INFO	forgetsatellite:endpoint	initializing forget satellite	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo", "action": "InitForgetSatellite"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	removing satellite from trust cache	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	cleaning up satellite data	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	cleaning up the trash	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	removing satellite info from reputation DB	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	removing satellite v0 pieces if any	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	cleanup completed	{"satelliteID": "12rfG3sh9NCWiX3ivPjq2HtdLmbqCrvHVEzJubnzFzosMuawymB"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	removing satellite from trust cache	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	cleaning up satellite data	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	cleaning up the trash	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	removing satellite info from reputation DB	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	removing satellite v0 pieces if any	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo"}
2024-10-27T13:43:41+02:00	INFO	forgetsatellite:cleaner	cleanup completed	{"satelliteID": "12tRQrMTWUWwzwGh18i7Fqs67kmdhH9t6aToeiwbo5mfS2rUmo"}

Alexey · October 28, 2024, 7:59am

Если нет ошибок, связанных с БД или filewalker, и filewalker успешно завершил сканирование для всех сателлитов, то он должен обновить БД, и тогда данные на правой части dashboard должны соответствовать данным ОС.

dvortsov · November 1, 2024, 4:58pm

Закончилось сканирование, но такое впечатление, что не удалило мусор, потому что, количество использованого пространства изменилось

2024-10-30T09:52:02+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-30T17:54:30+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
2024-10-30T17:54:41+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6"}
2024-10-30T17:54:41+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}
2024-10-30T17:54:41+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-30T17:56:48+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
2024-10-30T18:07:06+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE", "Lazy File Walker": false, "Total Pieces Siz
e": 13019972608, "Total Pieces Content Size": 13011249152, "Total Pieces Count": 17038, "Duration": "10m18.0990053s"}
2024-10-30T18:07:06+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6"}
2024-10-30T20:24:35+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "Lazy File Walker": false, "Total Pieces Si
ze": 198077474560, "Total Pieces Content Size": 197746802432, "Total Pieces Count": 645844, "Duration": "2h17m28.6296819s"}
2024-10-30T20:24:35+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}
2024-10-31T06:20:36+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Lazy File Walker": false, "Total Pieces Si
ze": 5608839540628, "Total Pieces Content Size": 5594977869716, "Total Pieces Count": 27073576, "Duration": "9h56m1.2669517s"}
2024-10-31T06:20:36+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-31T12:17:56+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "Lazy File Walker": false, "Total Pieces Si
ze": 1978309529600, "Total Pieces Content Size": 1976737430016, "Total Pieces Count": 3070507, "Duration": "5h57m20.444969s"}

Папка с мусором

На інші ноді подібна проблема

semkd · November 1, 2024, 8:24pm

У меня, конечно, не совсем так было, но всё уравновесилось после того как очистилась до минимума папка Trash. Надо подождать.

Alexey · November 2, 2024, 3:18am

Удаление мусора может идти медленно, вы можете отслеживать через Монитор Ресурсов, из какой папки узел удаляет мусор.

dvortsov · November 2, 2024, 8:31am

@Alexey А не подскажите, есть ли возможность пересчитать обьем Trash для ноды? Потому что про занятое место обновилось, а обьем Trash нет. И на диске свободно 11Тб, но нода отображает, что свободного места нет

Alexey · November 2, 2024, 9:32am

Это означает две вещи: либо сканирование не заверешено, либо были ошибки и сканер упал для какого-то сателлита, либо были ошибки обновления данных в БД.

Подсчитать реальный объём можно выбрав попдпапку trash на диске и открыв свойства, Windows должна подсчитать размер. Он будет в бинарных единицах измерения, поэтому нужно пересчитать в десятичные (PowerShell):

11.51TB/1e12

Но сейчас надо найти, какие ошибки не позволили посчитать правильно:

sls error "C:\Program Files\Storj\Storage Node\storagenode.log" | sls "filewalker|database" | select -last 10

Если trash почистилась недавно (следить можно так), то данные могли ещё не обновиться, БД обновляется раз в час:

sls "\strash" "C:\Program Files\Storj\Storage Node\storagenode.log" | sls "started|finished" | select -last 10

dvortsov · November 2, 2024, 9:55am

Alexey:

Это означает две вещи: либо сканирование не заверешено, либо были ошибки и сканер упал для какого-то сателлита, либо были ошибки обновления данных в БД.

Подсчитать реальный объём можно выбрав попдпапку trash на диске и открыв свойства, Windows должна подсчитать размер. Он будет в бинарных единицах измерения, поэтому нужно пересчитать в десятичные (PowerShell):
11.51TB/1e12

Пробовал через PowerShell посмотреть размер, получается до 942Гб

(Get-ChildItem D:\trash -force -Recurse -ErrorAction SilentlyContinue| measure Length -sum).sum / 1Gb

942,468542103656

Alexey:

Но сейчас надо найти, какие ошибки не позволили посчитать правильно:
sls error "C:\Program Files\Storj\Storage Node\storagenode.log" | sls "filewalker|database" | select -last 10

Есть несколько ошибок, но они из-за того что свет пропал. После завершения сканирование ошибок нет. После того, как работа восстановилось сканировае прошло успешно и после него ошибок нет.

Ошибки:

C:\Program Files\Storj\Storage Node\storagenode.log:986:2024-10-30T17:54:41+02:00       ERROR   filewalker      failed to store the last batch of pr
efixes  {"error": "filewalker: context canceled", "errorVerbose": "filewalker: context canceled\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkSatellitePieces:78\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:129
\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store)
.WalkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup
.(*Group).Go.func1:78"}
C:\Program Files\Storj\Storage Node\storagenode.log:987:2024-10-30T17:54:41+02:00       ERROR   pieces  used-space-filewalker failed   {"Satellite
 ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE", "Lazy File Walker": false, "error": "filewalker: filewalker: context cancel
ed; used_space_per_prefix_db: context canceled", "errorVerbose": "filewalker: filewalker: context canceled; used_space_per_prefix_db: c
ontext canceled\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:181\n\tstorj.io/storj
/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).WalkAndComputeSpa
ceUsedBySatellite:749\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1
:78"}
C:\Program Files\Storj\Storage Node\storagenode.log:988:2024-10-30T17:54:41+02:00       ERROR   piecestore:cache       encountered error while comput
ing space used by satellite     {"error": "filewalker: filewalker: context canceled; used_space_per_prefix_db: context canceled", "errorVer
bose": "filewalker: filewalker: context canceled; used_space_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/pieces.(*Fil
eWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:181\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedB
ySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).WalkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/storagenode/pieces
.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:78", "SatelliteID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5D
pSxcs8EjT69tGE"}
C:\Program Files\Storj\Storage Node\storagenode.log:990:2024-10-30T17:54:41+02:00       ERROR   pieces  used-space-filewalker failed   {"Satellite
 ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "Lazy File Walker": false, "error": "filewalker: used_space_per_prefix_db:
 context canceled", "errorVerbose": "filewalker: used_space_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/storagenodedb
.(*usedSpacePerPrefixDB).Get:81\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:96\n\
tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).Wa
lkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*
Group).Go.func1:78"}
C:\Program Files\Storj\Storage Node\storagenode.log:991:2024-10-30T17:54:41+02:00       ERROR   piecestore:cache       encountered error while comput
ing space used by satellite     {"error": "filewalker: used_space_per_prefix_db: context canceled", "errorVerbose": "filewalker: used_space
_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*usedSpacePerPrefixDB).Get:81\n\tstorj.io/storj/storageno
de/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:96\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndCom
puteSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).WalkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/stor
agenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:78", "SatelliteID": "121RTSDpyNZVcEU84Ticf2
L1ntiuUimbWgfATz21tuvgk3vzoA6"}
C:\Program Files\Storj\Storage Node\storagenode.log:993:2024-10-30T17:54:41+02:00       ERROR   pieces  used-space-filewalker failed   {"Satellite
 ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Lazy File Walker": false, "error": "filewalker: used_space_per_prefix_db:
 context canceled", "errorVerbose": "filewalker: used_space_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/storagenodedb
.(*usedSpacePerPrefixDB).Get:81\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:96\n\
tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).Wa
lkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*
Group).Go.func1:78"}
C:\Program Files\Storj\Storage Node\storagenode.log:994:2024-10-30T17:54:41+02:00       ERROR   piecestore:cache       encountered error while comput
ing space used by satellite     {"error": "filewalker: used_space_per_prefix_db: context canceled", "errorVerbose": "filewalker: used_space
_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*usedSpacePerPrefixDB).Get:81\n\tstorj.io/storj/storageno
de/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:96\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndCom
puteSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).WalkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/stor
agenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:78", "SatelliteID": "12EayRS2V1kEsWESU9QMRs
eFhdxYxKicsiFmxrsLZHeLUtdps3S"}
C:\Program Files\Storj\Storage Node\storagenode.log:996:2024-10-30T17:54:41+02:00       ERROR   pieces  used-space-filewalker failed   {"Satellite
 ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "Lazy File Walker": false, "error": "filewalker: used_space_per_prefix_db:
 context canceled", "errorVerbose": "filewalker: used_space_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/storagenodedb
.(*usedSpacePerPrefixDB).Get:81\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:96\n\
tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).Wa
lkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/storagenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*
Group).Go.func1:78"}
C:\Program Files\Storj\Storage Node\storagenode.log:997:2024-10-30T17:54:41+02:00       ERROR   piecestore:cache       encountered error while comput
ing space used by satellite     {"error": "filewalker: used_space_per_prefix_db: context canceled", "errorVerbose": "filewalker: used_space
_per_prefix_db: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*usedSpacePerPrefixDB).Get:81\n\tstorj.io/storj/storageno
de/pieces.(*FileWalker).WalkAndComputeSpaceUsedBySatelliteWithWalkFunc:96\n\tstorj.io/storj/storagenode/pieces.(*FileWalker).WalkAndCom
puteSpaceUsedBySatellite:83\n\tstorj.io/storj/storagenode/pieces.(*Store).WalkAndComputeSpaceUsedBySatellite:749\n\tstorj.io/storj/stor
agenode/pieces.(*CacheService).Run.func1:81\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:78", "SatelliteID": "12L9ZFwhzVpuEKMUNUqkaT
LGzwY9G24tbiigLiXpmZWKwmcNDDs"}

А вот время когда началось и закончилось сканирование

2024-10-30T09:52:02+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-30T17:54:30+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
2024-10-30T17:54:41+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6"}
2024-10-30T17:54:41+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}
2024-10-30T17:54:41+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-30T17:56:48+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
2024-10-30T18:07:06+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE", "Lazy File Walker": false, "Total Pieces Size": 13019972608, "Total Pie
ces Content Size": 13011249152, "Total Pieces Count": 17038, "Duration": "10m18.0990053s"}
2024-10-30T18:07:06+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6"}
2024-10-30T20:24:35+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "Lazy File Walker": false, "Total Pieces Size": 198077474560, "Total P
ieces Content Size": 197746802432, "Total Pieces Count": 645844, "Duration": "2h17m28.6296819s"}
2024-10-30T20:24:35+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}
2024-10-31T06:20:36+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Lazy File Walker": false, "Total Pieces Size": 5608839540628, "Total
Pieces Content Size": 5594977869716, "Total Pieces Count": 27073576, "Duration": "9h56m1.2669517s"}
2024-10-31T06:20:36+02:00       INFO    pieces  used-space-filewalker started   {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
2024-10-31T12:17:56+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "Lazy File Walker": false, "Total Pieces Size": 1978309529600, "Total
Pieces Content Size": 1976737430016, "Total Pieces Count": 3070507, "Duration": "5h57m20.444969s"}

Alexey:

Если trash почистилась недавно (следить можно так), то данные могли ещё не обновиться, БД обновляется раз в час:
sls "\strash" "C:\Program Files\Storj\Storage Node\storagenode.log" | sls "started|finished" | select -last 10

C:\Program Files\Storj\Storage Node\storagenode.log:681:2024-10-29T05:25:48+02:00       INFO    pieces:trash    emptying trash finished                                                                             {"Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "elapsed": "517.
7106ms"}
C:\Program Files\Storj\Storage Node\storagenode.log:682:2024-10-29T05:25:48+02:00       INFO    pieces:trash    emptying trash started                                                                              {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}
C:\Program Files\Storj\Storage Node\storagenode.log:980:2024-10-30T17:54:30+02:00       INFO    pieces:trash    emptying trash started                                                                              {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
C:\Program Files\Storj\Storage Node\storagenode.log:982:2024-10-30T17:54:30+02:00       INFO    pieces:trash    emptying trash finished                                                                             {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "elapsed": "28.3
716ms"}
C:\Program Files\Storj\Storage Node\storagenode.log:983:2024-10-30T17:54:30+02:00       INFO    pieces:trash    emptying trash started                                                                              {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
C:\Program Files\Storj\Storage Node\storagenode.log:1033:2024-10-30T17:56:48+02:00      INFO    pieces:trash    emptying trash started                                                                              {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs"}
C:\Program Files\Storj\Storage Node\storagenode.log:1034:2024-10-30T17:56:48+02:00      INFO    pieces:trash    emptying trash finished                                                                             {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "elapsed": "0s"
}
C:\Program Files\Storj\Storage Node\storagenode.log:1035:2024-10-30T17:56:48+02:00      INFO    pieces:trash    emptying trash started                                                                              {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE"}
C:\Program Files\Storj\Storage Node\storagenode.log:1214:2024-10-31T20:42:21+02:00      INFO    pieces:trash    emptying trash finished                                                                             {"Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE", "elapsed": "26h4
5m33.8824455s"}
C:\Program Files\Storj\Storage Node\storagenode.log:1215:2024-10-31T20:42:21+02:00      INFO    pieces:trash    emptying trash started                                                                              {"Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S"}

Alexey · November 3, 2024, 2:50am

теперь ещё надо перевести из бинарных в десятичные

942.46GB/1e9

это и означает, что он не завершил работу, а убился.

А вот такие, что завершился корректно:

dvortsov:

2024-10-31T12:17:56+02:00       INFO    pieces  used-space-filewalker completed {"Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "Lazy File Walker": false, "Total Pieces Size": 1978309529600, "Total
Pieces Content Size": 1976737430016, "Total Pieces Count": 3070507, "Duration": "5h57m20.444969s"}

Теперь на правой круговой диаграмме цифры совпадают с системными?

dvortsov · November 3, 2024, 11:57am

Правильно, пропал свет - процес “убился”. После того ошибок не было, сканирование корректно прошло.

На одной ноде вчера ввечером обновились данные по мусору, и стало почти совпадать.

На второй ноде мусор также начал уменшатся. На первой ноде заняло 90+ часов на сканирование и обновление корзины

Alexey · November 3, 2024, 3:54pm

Да, это долгий процесс, но все последующие должны быть гораздо быстрее, потому что вы включили badger.