Online status degrade on ap1

Hi
It’s something went wrong with ap1 satellite - I’m getting degradation in ONLINE and no obvious reasons why.
I’m seeing this on an all 5 of my nodes under the same ISP.

Looks like that for now:

Stopped the docker, reload the server - not helped.
Current version - v1.136.4

Whats going on?
Please help

logs (with docker logs storagenodeX 2>&1 | grep "error" | tail)

1st node

2025-09-05T22:08:28Z    ERROR   Error updating service. {"Process": "storagenode-updater", "Service": "storagenode-updater", "error": "context canceled", "errorVerbose": "context canceled\n\tmain.downloadBinary:62\n\tmain.update:56\n\tmain.loopFunc:31\n\tstorj.io/common/sync2.(*Cycle).Run:163\n\tmain.cmdRun:139\n\tstorj.io/common/process.cleanup.func1.2:388\n\tstorj.io/common/process.cleanup.func1:406\n\tgithub.com/spf13/cobra.(*Command).execute:985\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:1117\n\tgithub.com/spf13/cobra.(*Command).Execute:1041\n\tstorj.io/common/process.ExecWithCustomOptions:115\n\tstorj.io/common/process.ExecWithCustomConfigAndLogger:80\n\tmain.main:22\n\truntime.main:283"}

2nd node

2025-09-04T21:37:20Z    ERROR   Error updating service. {"Process": "storagenode-updater", "Service": "storagenode-updater", "error": "context canceled", "errorVerbose": "context canceled\n\tmain.downloadBinary:62\n\tmain.update:56\n\tmain.loopFunc:31\n\tstorj.io/common/sync2.(*Cycle).Run:163\n\tmain.cmdRun:139\n\tstorj.io/common/process.cleanup.func1.2:388\n\tstorj.io/common/process.cleanup.func1:406\n\tgithub.com/spf13/cobra.(*Command).execute:985\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:1117\n\tgithub.com/spf13/cobra.(*Command).Execute:1041\n\tstorj.io/common/process.ExecWithCustomOptions:115\n\tstorj.io/common/process.ExecWithCustomConfigAndLogger:80\n\tmain.main:22\n\truntime.main:283"}

3rd node

2025-09-13T16:19:33Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.5:28967->79.127.226.98:55886: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.5:28967->79.127.226.98:55886: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-13T16:31:37Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.5:28967->79.127.205.232:37118: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.5:28967->79.127.205.232:37118: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-13T18:15:40Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.5:28967->109.61.92.70:41302: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.5:28967->109.61.92.70:41302: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-14T07:45:02Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.5:28967->79.127.205.239:35518: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.5:28967->79.127.205.239:35518: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}

4th node

2025-09-10T08:22:35Z    ERROR   Error updating service. {"Process": "storagenode-updater", "Service": "storagenode-updater", "error": "context canceled", "errorVerbose": "context canceled\n\tmain.downloadBinary:62\n\tmain.update:56\n\tmain.loopFunc:31\n\tstorj.io/common/sync2.(*Cycle).Run:163\n\tmain.cmdRun:139\n\tstorj.io/common/process.cleanup.func1.2:388\n\tstorj.io/common/process.cleanup.func1:406\n\tgithub.com/spf13/cobra.(*Command).execute:985\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:1117\n\tgithub.com/spf13/cobra.(*Command).Execute:1041\n\tstorj.io/common/process.ExecWithCustomOptions:115\n\tstorj.io/common/process.ExecWithCustomConfigAndLogger:80\n\tmain.main:22\n\truntime.main:283"}

5th node

2025-09-13T05:03:21Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.7:28967->79.127.205.228:58902: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.7:28967->79.127.205.228:58902: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-13T10:08:00Z    ERROR   piecestore      download failed {"Process": "storagenode", "Piece ID": "AOBVSZZHIY5BQGFQJPE7VYPNNYA7G7E7PYYVPNZE5OE5OHR47GYA", "Satellite ID": "121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6", "Action": "GET", "Offset": 0, "Size": 1024, "Remote Address": "172.105.174.159:35012", "error": "manager closed: read tcp 172.17.0.7:28967->172.105.174.159:35012: read: connection timed out", "errorVerbose": "manager closed: read tcp 172.17.0.7:28967->172.105.174.159:35012: read: connection timed out\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-13T10:17:28Z    ERROR   piecestore      download failed {"Process": "storagenode", "Piece ID": "VQPIT3YKCBX3SXH74HDU2JER7IQJO2PAFSJQNMUHBRQZHO35CLQQ", "Satellite ID": "12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S", "Action": "GET_REPAIR", "Offset": 0, "Size": 2174464, "Remote Address": "45.137.206.42:3246", "error": "manager closed: read tcp 172.17.0.7:28967->45.137.206.42:3246: read: connection timed out", "errorVerbose": "manager closed: read tcp 172.17.0.7:28967->45.137.206.42:3246: read: connection timed out\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:235"}
2025-09-14T02:28:08Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.7:28967->79.127.226.98:45852: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.7:28967->79.127.226.98:45852: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-14T03:14:41Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.7:28967->109.61.92.76:45004: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.7:28967->109.61.92.76:45004: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}
2025-09-14T05:10:38Z    ERROR   piecestore      upload internal error   {"Process": "storagenode", "error": "manager closed: closed: read tcp 172.17.0.7:28967->79.127.205.236:44628: read: connection reset by peer", "errorVerbose": "manager closed: closed: read tcp 172.17.0.7:28967->79.127.205.236:44628: read: connection reset by peer\n\tgithub.com/jtolio/noiseconn.(*Conn).readMsg:211\n\tgithub.com/jtolio/noiseconn.(*Conn).Read:171\n\tstorj.io/drpc/drpcwire.(*Reader).read:68\n\tstorj.io/drpc/drpcwire.(*Reader).ReadPacketUsing:113\n\tstorj.io/drpc/drpcmanager.(*Manager).manageReader:230"}

This is usually due to local blockers, such as your PiHole, router or ISP. Many of them have a “smart” security system (which is obviously stupid). It may also be called “DDoS protection” and it blocks connections from certain addresses, considering them unsafe. This way they “protect” you from getting money data.

Please disable all these stupid features that don’t work on SOHO equipment anyway, so that the satellite can connect to your node and check its health.

Алексей, спасибо за ответ, яснее не стало:)

С чего вдруг отдельно взятый сателлит начал блокироваться без смены настроек и прочего - прямо совсем ничего в голову не приходит.

Его хоть с каким адресом в логах искать?

Куча причин может быть. Начиная от локальных блоков (всякие snort/suricata) до глобальных проблем типа роутинг у провайдера может сломался. Сателлит это кластер на Гугл облаке, может ваш провайдер какие адреса решил блокировать вдруг.

С такими боролся проще всего через впн в датацентре пососедсву, чтоб не слишком увеличить раундртрир. В датацентрах обычно все настроено лучше, и может даже получится, что все в результате работать будет быстрее.

Адрес может быть не статический, проверьте у себя такой командой:

nslookup ap1.storj.io 8.8.8.8


Адрес пингуется, явного блока не вижу

Так то я сам себе дата центр (микро) :slight_smile:

А подключение к локальному провайдеру

по остальным сателлитам такой динамики нет,
поэтому точно не правило блокировки, скорее какая-то ошибка.

Вы можете попробовать открыть адрес https://ap1.storj.io, однако это даст только половину ответа - что от вас запросы ходят, а надо чтобы оттуда ходили.
Какой у вас DDNS? Потому что ASUS и duckdns не работают нормально.

адрес static, без обёрток

Так же не понял - произошли обновления сети, вот здесь обсуждение:
https://forum.storj.io/t/hashstore-rollout-commencing/30589

мне нужно было что-то менять в конфиге нод?

вывод команды docker ps -a:

CONTAINER ID   IMAGE                          COMMAND                  CREATED        STATUS      PORTS                                                                                                                                               NAMES
e5235c837158   storjlabs/watchtower           "/watchtower storage…"   5 months ago   Up 2 days                                                                                                                                                       watchtower
3f2c07c250dd   storjlabs/storagenode:latest   "/entrypoint"            5 months ago   Up 2 days   0.0.0.0:14005->14002/tcp, [::]:14005->14002/tcp, 0.0.0.0:28971->28967/tcp, 0.0.0.0:28971->28967/udp, [::]:28971->28967/tcp, [::]:28971->28967/udp   storagenode4
ef6ae3e9c639   storjlabs/storagenode:latest   "/entrypoint"            7 months ago   Up 2 days   0.0.0.0:14003->14002/tcp, [::]:14003->14002/tcp, 0.0.0.0:28969->28967/tcp, 0.0.0.0:28969->28967/udp, [::]:28969->28967/tcp, [::]:28969->28967/udp   storagenode2
8ce739fbc951   storjlabs/storagenode:latest   "/entrypoint"            7 months ago   Up 2 days   0.0.0.0:14004->14002/tcp, [::]:14004->14002/tcp, 0.0.0.0:28970->28967/tcp, 0.0.0.0:28970->28967/udp, [::]:28970->28967/tcp, [::]:28970->28967/udp   storagenode3
231d343acf98   storjlabs/storagenode:latest   "/entrypoint"            9 months ago   Up 2 days   0.0.0.0:14006->14002/tcp, [::]:14006->14002/tcp, 0.0.0.0:28972->28967/tcp, 0.0.0.0:28972->28967/udp, [::]:28972->28967/tcp, [::]:28972->28967/udp   storagenode5
8c215f36a260   storjlabs/storagenode:latest   "/entrypoint"            9 months ago   Up 2 days   0.0.0.0:14002->14002/tcp, [::]:14002->14002/tcp, 0.0.0.0:28968->28967/tcp, 0.0.0.0:28968->28967/udp, [::]:28968->28967/tcp, [::]:28968->28967/udp   storagenode1

нет, ничего менять не нужно, всё будет происходить автоматически, волнами.

1 Like

Всё-таки проверьте, пожалуйста, что всякие DDoS protection на роутере отключены.
Ещё - есть ли ошибки в логе типа ping satellite failed? Там обычно указывается ещё и причина.

Посмотреть, когда блокировался доступ можно этими скриптами:


на mikrotik вроде всё здесь прописывается, тут пусто

docker logs storagenode1 2>&1 | grep "ping satellite failed"
тут тоже пусто по всем узлам

они же вроде под Win?

Там для Linux тоже есть, однако PowerShell может работать и под Linux, так что для Linux целых два варианта - на bash и PowerShell.

в Powershell подставив вместо localhost локальный адрес сервера, получил следующее:

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-17T12:00:00Z        986         985


1wFTAgs9DP5RSnCqKV1eLf6N9wtk4EAtmN5DpSxcs8EjT69tGE

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-28T12:00:00Z       1155        1151


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-02T12:00:00Z        174         161


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-03T00:00:00Z        112         100


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-03T12:00:00Z        238         189


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-04T00:00:00Z        210         175


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-04T12:00:00Z        246           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-05T00:00:00Z        188           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-05T12:00:00Z        148           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-06T00:00:00Z        228           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-06T12:00:00Z         70           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-07T00:00:00Z        265           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-07T12:00:00Z        339           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-08T12:00:00Z        638           2


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-09T00:00:00Z        159           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-09T12:00:00Z        251           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-10T00:00:00Z        172           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-10T12:00:00Z        124           1


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-11T00:00:00Z        135           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount                                                                             -----------          ---------- -----------                                                                             2025-09-11T12:00:00Z        137           0                                                                                                                                                                                                     
121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-12T00:00:00Z        217           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-12T12:00:00Z        144           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-13T00:00:00Z        379           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-13T12:00:00Z        787           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-14T00:00:00Z         43           0


121RTSDpyNZVcEU84Ticf2L1ntiuUimbWgfATz21tuvgk3vzoA6

windowStart          totalCount onlineCount                                                                             -----------          ---------- -----------                                                                             2025-09-14T12:00:00Z        828           0                                                                                                                                                                                                     
12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-17T12:00:00Z       4210        4208


12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-21T00:00:00Z       4301        4300


12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-22T00:00:00Z       4765        4761


12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-28T12:00:00Z       3707        3672


12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-08-31T00:00:00Z       3972        3970


12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-05T12:00:00Z       5515        5508


12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-11T00:00:00Z        530           1


12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-11T12:00:00Z       1572           1


12L9ZFwhzVpuEKMUNUqkaTLGzwY9G24tbiigLiXpmZWKwmcNDDs

windowStart          totalCount onlineCount
-----------          ---------- -----------
2025-09-12T00:00:00Z       1411           0

Теперь вы знаете в какие дни и примерное время что-то у вас блокировало подключения с этого сателлита. У вас и от других есть пропущенные, но от этого - почти все.
Предположительно, ваш ISP это делает.

ну да, по какой-то пока неведомой причине с 4 сентября нули по OnlineCount:

вопрос задал, жду

Может сброс кэша DNS и прочие процедуры по аналогии с Windows
нужно произвести?