Данные узла конвертируются в trash

karacurt · July 7, 2023, 6:35am

Примерно 3 недели на одном из узлов наблюдаю следующую картину:
объём USED перетекает в TRASH и количество TRASH растет.
Регресс существенный, узел держал 10,9ТБ данных, TRASH не превышал 50ГБ.
Текущая картина на скриншоте:

В логах много ошибок, если сгруппировать, то в основном эти:

ERROR	piecestore	failed to add bandwidth usage	{"process": "storagenode", "error": "bandwidthdb: database is locked", "errorVerbose": "bandwidthdb: database is locked\n\tstorj.io/storj/storagenode/storagenodedb.(*bandwidthDB).Add:60\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).beginSaveOrder.func1:855\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:530\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35"}
ERROR	piecestore	failed to add bandwidth usage	{"process": "storagenode", "error": "bandwidthdb: database is locked", "errorVerbose": "bandwidthdb: database is locked\n\tstorj.io/storj/storagenode/storagenodedb.(*bandwidthDB).Add:60\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).beginSaveOrder.func1:855\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Download.func7:766\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Download:783\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func2:251\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35"}
ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "HTBHJGSSCDIM62HRB4V5YCMPQNHIVS22NMTEQYLN7FDLBI52WLGA", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "PUT", "error": "context canceled", "errorVerbose": "context canceled\n\tstorj.io/common/rpc/rpcstatus.Wrap:75\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload.func5:498\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:504\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35", "Size": 18688, "Remote Address": "172.17.0.1:50802"}
ERROR	piecestore	failed to add bandwidth usage	{"process": "storagenode", "error": "bandwidthdb: database is locked", "errorVerbose": "bandwidthdb: database is locked\n\tstorj.io/storj/storagenode/storagenodedb.(*bandwidthDB).Add:60\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).beginSaveOrder.func1:855\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Download.func7:766\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Download:783\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func2:251\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35"}
ERROR	piecestore	failed to add bandwidth usage	{"process": "storagenode", "error": "bandwidthdb: database is locked", "errorVerbose": "bandwidthdb: database is locked\n\tstorj.io/storj/storagenode/storagenodedb.(*bandwidthDB).Add:60\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).beginSaveOrder.func1:855\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:505\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35"}
ERROR	piecedeleter	could not send delete piece to trash	{"process": "storagenode", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Piece ID": "HQUVRYWMVRYSLMFNNJ2G54OYHVMBLXFVOFABSJBOGTEKYSMKCYQA", "error": "pieces error: filestore error: file does not exist", "errorVerbose": "pieces error: filestore error: file does not exist\n\tstorj.io/storj/storagenode/blobstore/filestore.(*blobStore).Stat:110\n\tstorj.io/storj/storagenode/pieces.(*BlobsUsageCache).pieceSizes:245\n\tstorj.io/storj/storagenode/pieces.(*BlobsUsageCache).Trash:290\n\tstorj.io/storj/storagenode/pieces.(*Store).Trash:396\n\tstorj.io/storj/storagenode/pieces.(*Deleter).deleteOrTrash:185\n\tstorj.io/storj/storagenode/pieces.(*Deleter).work:135\n\tstorj.io/storj/storagenode/pieces.(*Deleter).Run.func1:72\n\tgolang.org/x/sync/errgroup.(*Group).Go.func1:75"}
FATAL	Unrecoverable error	{"process": "storagenode", "error": "Error creating tables for master database on storagenode: migrate: database: info opening file \"config/storage/info.db\" failed: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).openDatabase:347\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).Migration.func1:657\n\tstorj.io/storj/private/migrate.(*Migration).Run:164\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).MigrateToLatest:370\n\tmain.cmdRun:95\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tmain.main:30\n\truntime.main:250", "errorVerbose": "Error creating tables for master database on storagenode: migrate: database: info opening file \"config/storage/info.db\" failed: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).openDatabase:347\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).Migration.func1:657\n\tstorj.io/storj/private/migrate.(*Migration).Run:164\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).MigrateToLatest:370\n\tmain.cmdRun:95\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tmain.main:30\n\truntime.main:250\n\tmain.cmdRun:97\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tma ...
FATAL	Unrecoverable error	{"process": "storagenode", "error": "system clock is out of sync: system clock is out of sync with all trusted satellites", "errorVerbose": "system clock is out of sync: system clock is out of sync with all trusted satellites\n\tstorj.io/storj/storagenode/preflight.(*LocalTime).Check:96\n\tstorj.io/storj/storagenode.(*Peer).Run:905\n\tmain.cmdRun:120\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tmain.main:30\n\truntime.main:250"}
FATAL	Unrecoverable error	{"process": "storagenode", "error": "Error during preflight check for storagenode databases: preflight: database: \"storage_usage\": failed inserting test value: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).preflight:451\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).Preflight:376\n\tmain.cmdRun:110\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tmain.main:30\n\truntime.main:250", "errorVerbose": "Error during preflight check for storagenode databases: preflight: database: \"storage_usage\": failed inserting test value: context canceled\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).preflight:451\n\tstorj.io/storj/storagenode/storagenodedb.(*DB).Preflight:376\n\tmain.cmdRun:110\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tmain.main:30\n\truntime.main:250\n\tmain.cmdRun:112\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:399\n\tstorj.io/private/process.cleanup.func1:417\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:113\n\tmain.main:30\n\truntime.main:250"}
ERROR	piecestore	download failed	{"process": "storagenode", "Piece ID": "UH6QXJ6RVTKVRJ756TD3I3LBCPFGYX2QBT3Z2JPVTFPLH7CPOOCQ", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "GET", "Remote Address": "172.17.0.1:45938", "error": "untrusted: unable to get signee: trust: rpc: tcp connector failed: rpc: dial tcp: lookup us1.storj.io: operation was canceled", "errorVerbose": "untrusted: unable to get signee: trust: rpc: tcp connector failed: rpc: dial tcp: lookup us1.storj.io: operation was canceled\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).VerifyOrderLimitSignature:140\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).verifyOrderLimit:62\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Download:604\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func2:251\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35"}
ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "Z5ID3XHJMEDMRA7X7B7OMM3VCUT7UG3AZDNFM5T4DPHCKT374ZHA", "Satellite ID": "1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE", "Action": "PUT", "error": "manager closed: unexpected EOF", "errorVerbose": "manager closed: unexpected EOF\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:231", "Size": 163840, "Remote Address": "172.17.0.1:37886"}
ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "JH43OV23P2VDUQOZIPXE73GPTVMAODVV2GUWIWIW6AFRJ4WVXESQ", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "PUT", "error": "context canceled", "errorVerbose": "context canceled\n\tstorj.io/common/rpc/rpcstatus.Wrap:75\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload.func5:498\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:529\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35", "Size": 1042688, "Remote Address": "172.17.0.1:49190"}
WARN	console:service	unable to get Satellite URL	{"process": "storagenode", "Satellite ID": "118UWpMCHzs6CvSgWd9BfFVjw5K9pZbJjkfZJexMtSkmKxvvAW", "error": "console: trust: satellite \"118UWpMCHzs6CvSgWd9BfFVjw5K9pZbJjkfZJexMtSkmKxvvAW\" is untrusted", "errorVerbose": "console: trust: satellite \"118UWpMCHzs6CvSgWd9BfFVjw5K9pZbJjkfZJexMtSkmKxvvAW\" is untrusted\n\tstorj.io/storj/storagenode/trust.(*Pool).getInfo:239\n\tstorj.io/storj/storagenode/trust.(*Pool).GetNodeURL:178\n\tstorj.io/storj/storagenode/console.(*Service).GetDashboardData:188\n\tstorj.io/storj/storagenode/console/consoleapi.(*StorageNode).StorageNode:45\n\tnet/http.HandlerFunc.ServeHTTP:2122\n\tgithub.com/gorilla/mux.(*Router).ServeHTTP:210\n\tnet/http.serverHandler.ServeHTTP:2936\n\tnet/http.(*conn).serve:1995"}
ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "EBWNBLXVPPYMD6Z4N3TS523CNWXIINZJDFG6MHRJZ3ND7EMSXZ3A", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "PUT", "error": "context canceled", "errorVerbose": "context canceled\n\tstorj.io/common/rpc/rpcstatus.Wrap:75\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload.func5:498\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:504\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35", "Size": 1536, "Remote Address": "172.17.0.1:50834"}

Изменений в машине-носителе и в сети за это время не было.

Остальные 3 узла работают в штатном режиме.

Смутили FATAL ошибки, но что с ними делать - не ясно.

Узел пока приостановил.

Что можно предпринять?

mr.Viking · July 7, 2023, 7:42am

Такого еще не встречал, но наверное в ожидании решения не будет лишним проверить бд.

Vadim · July 7, 2023, 7:55am

Nasjot togo 4to mnogo Trash voznikaet, sei4as udaljajutsa dannye ot europ-north1, tak kak ego zakrojut.

Alexey · July 7, 2023, 8:32am

Если это Windows, то рекомендуется провести дефрагментацию и не выключать автоматическую дефрагментацию для этого диска. Если ошибки насчёт БД будут продолжаться и не решаться самостоятельно, подумайте, пожалуйста, о перемещении БД на SSD: Move databases on Windows storagenode - #2 by Alexey

Насчёт повышенного использования trash я думаю @Vadim прав, также теперь все клиентские удаления происходят с помощью Garbage Collector, а не напрямую.

karacurt · July 7, 2023, 9:43am

docker run --rm -it --mount type=bind,source=G:\data\storage,destination=/data sstc/sqlite3 find . -maxdepth 1 -iname "*.db" -print0 -exec sqlite3 '{}' 'PRAGMA integrity_check;' ';'

./bandwidth.dbok
./heldamount.dbok
./info.dbok
./notifications.dbok
./orders.dbok
./pieceinfo.dbok
./piece_expiration.dbok
./piece_spaced_used.dbok
./pricing.dbok
./reputation.dbok
./revocations.dbError: file is not a database
./satellites.dbok
./secret.dbok
./storage_usage.dbok
./used_serial.dbok

karacurt · July 7, 2023, 9:44am

Так остальные 3 узла на той же машине подобной активности не проявляют.

karacurt · July 7, 2023, 9:47am

Автоматическая дефрагментация включена.

В этом случае принудительную дефрагментацию необходимо проводить?

karacurt · July 7, 2023, 10:22am

https://support.storj.io/hc/en-us/articles/360029309111-How-to-fix-a-database-disk-image-is-malformed-

застрял на 11 пункте:
We will edit the SQL file dump_all.sql

вывод команды:

/storage # Get-Content dump_all.sql | Select-String -NotMatch TRANSACTION | Select-String -NotMatch ROLLBACK | Select-St
ring -NotMatch COMMIT | Set-Content -Encoding utf8 dump_all_notrans.sql
sh: Get-Content: not found
sh: Select-String: not found
sh: Select-String: not found
sh: Select-String: not found
sh: Set-Content: not found

в созданном файле dump_all.sql:

PRAGMA foreign_keys=OFF;
BEGIN TRANSACTION;
/**** ERROR: (26) file is not a database *****/
ROLLBACK; -- due to errors

покопал в этом направлении, в связи с тем что revocations.db выгружается некорректно:

C:\sqlite> docker run --rm -it --mount type=bind,source=G:\data\storage,destination=/storage sstc/sqlite3 sh
/data # cp /storage/revocations.db /storage/revocations.db.bak
/data # sqlite3 /storage/revocations.db
SQLite version 3.36.0 2021-06-18 18:36:39
Enter ".help" for usage hints.
sqlite> .mode insert
sqlite> .output /storage/dump_all.sql
sqlite> .dump
sqlite> .exit
/data # Get-Content dump_all.sql | Select-String -NotMatch TRANSACTION | Select-String -NotMatch ROLLBACK | Select-Strin
g -NotMatch COMMIT | Set-Content -Encoding utf8 dump_all_notrans.sql
sh: Get-Content: not found
sh: Select-String: not found
sh: Select-String: not found
sh: Select-String: not found
sh: Set-Content: not found
/data # rm /storage/revocations.db
/data # ./sqlite3 /storage/revocations.db ".read /storage/dump_all_notrans.sql"
sh: ./sqlite3: not found

решил воспользоваться другой статьёй:

https://support.storj.io/hc/en-us/articles/4403032417044

удалил revocations.db, запустил узел (revocations.db заново не создался), остановил узел, залил обратно revocations.db.

удалил, создал заново log.

запустил узел.

посмотрю что после выходных в логах будет твориться.

Vadim · July 7, 2023, 10:25am

Mozhet oni bolee molodye i do nih esjo ne doshli? U menja naprimer 50TB dannys s etogo satellita i na nekotoryh uzhe po 300-500GB udaleno a na nekotorys 20-30GB

karacurt · July 7, 2023, 11:37am

Может и так - ещё на одном узле объем хранения сократился примерно на 1ТБ, но там не было такого большого, постоянно растущего TRASH

Alexey · July 8, 2023, 4:38am

Если вы используете вариант с docker, вам необходимо использовать команды bash, а не PowerShell.
PowerShell для нативного исполняемого файла sqlite3.exe, когда вы не используете docker метод.

karacurt · July 8, 2023, 7:57am

Не представляю как можно использовать bash-команды в docker, запущенный на windows.

О текущем статусе изысканий отредактировал коментарий выше.
Из явных проблем - revocations.db не определяется как база данных, дамп из него пустой и обратная выгрузка соответственно тоже.

Нет понимания на что влияет эта база данных, но если в логах упоминание есть, значит надо разобрать с проблемой.

Alexey · July 8, 2023, 8:34am

Буквально. Когда вы используете docker под Windows, там используется виртуальная машина Linux. Поэтому и команды будут для Linux.
Я, возможно, открою вам большую тайну, но если вы используете WSL2, то вы можете использовать командную оболочку Linux - запускаете Ubuntu из кнопки Start и у вас есть Linux с доступом к данным Windows.

в БД bandwidth.db записывается использование трафика. Это для dashboard и истории. Однако, если использование туда не может записаться, то может не создаться и заказ. А заказы, подписанные клиентом и вашим узлом служат подтверждением использования трафика для сателлита. Без заказов не будет оплаты за использованный трафик.

karacurt · July 8, 2023, 9:06am

Тайн в данном случае никаких нет, моя непроработка ввиду нехватки времени на все процессы в жизни.

bandwidth.db - проходит проверку, проблема с revocations.db:
./revocations.dbError: file is not a database

Alexey · July 8, 2023, 9:30am

Это не sqlite3 DB, её проверять нет смысла, тем более - править.

karacurt · July 8, 2023, 9:52am

В общем наданный момент все произведенные действия были избыточны и бесполезны.
Понимания о том, почему растёт объем TRASH нет.

Какому ресурсу принадлежит IP 172.17.0.1?
Все ошибки из лога из разряда ERROR piecestore upload failed ссылаются на адрес "Remote Address": "172.17.0.1:XXXXX", где XXXXX - различные порты.

Вид ошибок:

	Line  4004: 2023-07-08T08:06:51.077Z	ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "73WZQIE4UTAOWLRDKWF4EGAR27KKNKQJPJEAOTFX4XJZ5N36R3JQ", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "PUT_REPAIR", "error": "context canceled", "errorVerbose": "context canceled\n\tstorj.io/common/rpc/rpcstatus.Wrap:75\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload.func5:498\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:529\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35", "Size": 2319360, "Remote Address": "172.17.0.1:60668"}
	Line  4025: 2023-07-08T08:06:56.808Z	ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "GNQGQMOGSOUNCAUF5GNE6E4DLODJAKK7IE4U6YGQAC2AYRFKZTGQ", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "PUT", "error": "context canceled", "errorVerbose": "context canceled\n\tstorj.io/common/rpc/rpcstatus.Wrap:75\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload.func5:498\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:504\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35", "Size": 36864, "Remote Address": "172.17.0.1:60198"}
	Line 11331: 2023-07-08T09:21:50.140Z	ERROR	piecestore	upload failed	{"process": "storagenode", "Piece ID": "SP7EY5NBA43TJQQVWVERQGNL7IZLHDEPYTM54MRW4K66OAJHMHSQ", "Satellite ID": "12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs", "Action": "PUT", "error": "context canceled", "errorVerbose": "context canceled\n\tstorj.io/common/rpc/rpcstatus.Wrap:75\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload.func5:498\n\tstorj.io/storj/storagenode/piecestore.(*Endpoint).Upload:504\n\tstorj.io/common/pb.DRPCPiecestoreDescription.Method.func1:243\n\tstorj.io/drpc/drpcmux.(*Mux).HandleRPC:33\n\tstorj.io/common/rpc/rpctracing.(*Handler).HandleRPC:61\n\tstorj.io/common/experiment.(*Handler).HandleRPC:42\n\tstorj.io/drpc/drpcserver.(*Server).handleRPC:124\n\tstorj.io/drpc/drpcserver.(*Server).ServeOne:66\n\tstorj.io/drpc/drpcserver.(*Server).Serve.func2:114\n\tstorj.io/drpc/drpcctx.(*Tracker).track:35", "Size": 4864, "Remote Address": "172.17.0.1:60300"}

в основной массе satellite id: 12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S
остальные тоже присутствуют, но меньше.

Vadim · July 8, 2023, 10:02am

ip eto local ip adress. toest adress vnutri vashevo providera skoree vsego.

karacurt · July 8, 2023, 10:05am

может неверно в поиске инфу выдает:

Vadim · July 8, 2023, 10:08am

Private network - Wikipedia
vse adresa 172.16.0.0 do 172.31.255.255 eto localnye adresa

takzhe kak i 192.168.0.0-192.168.255.255

k tomuzhe u menja naprimer adress 172.17.0.1 dazhe ne pinguetsa, toest eto ne adress dostupnyi v obshestvennoi seti internet

Alexey · July 8, 2023, 11:04am

Это может быть любой клиент. То, что загрузка прервана, означает только, что ваш узел проиграл гонку за кусочки другим узлам.
Ну и загрузки происходят от клиентов напрямую, сателлит тут роли не играет, он просто адресная книга в этом случае.

как раз есть. С вероятностью 90% @Vadim прав

Сейчас все удаления отложенные, через Garbage Collector.