Проблемы с нодами в Мск и Спб

Node Operators troubleshooting
,
1

Доброе утро, коллеги!

У кого-нибудь наблюдаются проблемы с online нод, находящихся на определенных ip? Сегодня с утра у меня катастрофически упал online score на eu1, а одна из нод даже получила статус suspended.

2

Здравствуйте @EvilMalamute,

У моих узлов были проблемы в прошлом месяце - Google Cloud внезапно решил заблокировать мой IP, который работал последние три года. Никаких вредоносных сервисов или рассылки на нём никогда не было, он использовался только для узлов.
Так что вполне возможно, что у них опять усилилась (продолжается?) паранойя.
Проверить легко:

curl https://version.storj.io

Если будет таймаут - ваш IP заблокирован. Единственное решение - поменять его.

1 Like
3

У меня на МГТС перманентные проблемы с доступом с version.storj.io. Уже на 2х линиях, находящихся в разных локациях. Смена dns не помогает. МГТС разбирался 2 недели, но так и не смог понять, в чем дело. Причем отвал периодический, то работает, то нет. Стараюсь лишний раз ноды не перезапускать.

С уважением,
Александр

2 Likes
4

Там два участника - Роскомпозор и Google Cloud, думаю поэтому ситуация не стабильная. Ещё мне кажется что GCP перегибает, Россия не в списке OFAC (пока?).

1 Like
5

На других провайдерах, пока, такого нет. Решения, кроме замены днс, другого пока нет?

6

замена DNS вообще не поможет, только смена IP.

7

{“Satellite”:{“major”:1,“minor”:10,“patch”:0},“Storagenode”:{“major”:1,“minor”:24,“patch”:0},“Uplink”:{“major”:1,“minor”:0,“patch”:0},“Gateway”:{“major”:1,“minor”:0,“patch”:0},“Identity”:{“major”:1,“minor”:0,“patch”:0},“processes”:{“satellite”:{“minimum”:{“version”:“v0.0.1”,“url”:“”},“suggested”:{“version”:“v0.0.1”,“url”:“”},“rollout”:{“seed”:“”,“cursor”:“”}},“storagenode”:{“minimum”:{“version”:“1.94.2”,“url”:“https://github.com/storj/storj/releases/download/v1.94.2/storagenode_{os}_{arch}.zip"},“suggested”:{“version”:“1.96.6”,“url”:“https://github.com/storj/storj/releases/download/v1.96.6/storagenode_{os}_{arch}.zip”},“rollout”:{“seed”:“28d98cbe62d94b9c60562ae9382b8302fbbf86590583de5092fab092d0614756”,“cursor”:“3fffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff”}},“storagenode-updater”:{“minimum”:{“version”:“1.94.2”,“url”:“https://github.com/storj/storj/releases/download/v1.94.2/storagenode-updater_{os}_{arch}.zip”},“suggested”:{“version”:“1.96.6”,“url”:“https://github.com/storj/storj/releases/download/v1.96.6/storagenode-updater_{os}_{arch}.zip”},“rollout”:{“seed”:“28d98cbe62d94b9c60562ae9382b8302fbbf86590583de5092fab092d0614756”,“cursor”:“3fffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff”}},“uplink”:{“minimum”:{“version”:“v0.0.1”,“url”:“”},“suggested”:{“version”:“v0.0.1”,“url”:“”},“rollout”:{“seed”:“”,“cursor”:“”}},“gateway”:{“minimum”:{“version”:“v0.0.1”,“url”:“”},“suggested”:{“version”:“v0.0.1”,“url”:“”},“rollout”:{“seed”:“”,“cursor”:“”}},“identity”:{“minimum”:{“version”:“v0.0.1”,“url”:“”},“suggested”:{“version”:“v0.0.1”,“url”:“”},“rollout”:{“seed”:“”,“cursor”:"”}}}}

8

Вроде бы проходит, но непонятно как на EU1 за сутки провалилось ниже 60

9

Я правильно понимаю, что если на компе 2 разных сети, от 2 разных провайдеров и на одном из ip заблочен service.storj.io, то я могу сделать другую сетку главной, чтоб нода при запуске грузилась через нее, а потлм уже работала на заблоченном ip?

10

Нет. Так не будет работать.

1 Like
11

Быстрое падение online score характерно для новых узлов, у которых ещё нет месяца истории аудитов.
Можно посмотреть, когда ваш узел был недоступен:

1 Like
12

У нас нет адреса service.storj.io и так работать не будет. Точнее - вы это можете сделать, но подключения к сателлитам могут быть заблокированы тоже, с точки зрения сателлитов ваш узел к ним не подключался и online score скорее всего начнёт падать, да и узел будет считаться offline. Подключение до https://version.storj.io может быть заблокировано по протоколу https, это не позволит узлу получать обновления. Для docker узлов это критично - любой рестарт контейнера приведёт к циклическому перезапуску, потому что wget не сможет получить версию для скачивания и будет падать по таймауту.
Но для binary узлов это менее критично - он не сможет обновиться, но перезапуск не приведёт к отключению, пока узел не станет сильно старым и сателлит откажет в подключении.
Но если узел сможет достучаться до сателлитов (используется протокол DRPC и он, скорее всего, не блокируется), и узел будет доступен сателлиту (в обратную сторону), то узел будет считаться онлайн и будет работать нормально, пока его версия не будет признана сильно старой.

1 Like
13

Самой молодой из проблемных нод 12 месяцев, они все достаточно зрелые. Сегодня ночью опять для EU1 они виделись оффлайн. Провайдер Алмател - это большой холдинг, не думаю, что они сидят на Ростелекоме.

14

Не обязательно Ростелеком, просто роутинг может быть сломан, либо роутер устал и начал отбрасывать пакеты (или работает какой-нибудь (не в меру) “умный” защитник на роутере или у провайдера).

1 Like
15

Payout and held amount by satellite:
┌────────────────────────────────┬─────────────┬──────────────────────────┬─────────────────────────────────────────────────────────────┐
│ SATELLITE │ HELD AMOUNT │ REPUTATION │ PAYOUT THIS MONTH │
│ Joined Month │ Total │ Disq Susp Down │ Storage Egress Repair/Aud Held Payout │
├────────────────────────────────┼─────────────┼──────────────────────────┼─────────────────────────────────────────────────────────────┤
│ ap1.storj.io:7777 (Suspended Downt. @ 2024-02-12 12:11:54) │ $ 1.49/TBm $ 2.00/TB $ 2.00/TB 0% 100% │
│ 2023-03-23 12 │ $ 0.53 │ 0.00% 0.00% 40.06% │ $ 0.1398 $ 0.0003 $ 0.0003 -$ 0.0000 $ 0.1404 │
├────────────────────────────────┼─────────────┼──────────────────────────┼─────────────────────────────────────────────────────────────┤
│ eu1.storj.io:7777 (WARN: Downtime high) │ │ $ 1.49/TBm $ 2.00/TB $ 2.00/TB 0% 100% │
│ 2023-03-23 12 │ $ 5.16 │ 0.00% 0.00% 38.74% │ $ 1.3091 $ 0.0004 $ 0.0002 -$ 0.0000 $ 1.3098 │
├────────────────────────────────┼─────────────┼──────────────────────────┼─────────────────────────────────────────────────────────────┤
│ saltlake.tardigrade.io:7777 (Suspended Downt. @ 2024-02-12 00:02:27) │ $ 1.49/TBm $ 2.00/TB $ 2.00/TB 0% 100% │
│ 2023-03-23 12 │ $ 0.48 │ 0.00% 0.00% 40.92% │ $ 0.0960 $ 0.0000 $ 0.0000 -$ 0.0000 $ 0.0961 │
├────────────────────────────────┼─────────────┼──────────────────────────┼─────────────────────────────────────────────────────────────┤
│ us1.storj.io:7777 (WARN: Downtime high) │ │ $ 1.49/TBm $ 2.00/TB $ 2.00/TB 0% 100% │
│ 2023-03-23 12 │ $ 7.62 │ 0.00% 0.00% 38.27% │ $ 1.7533 $ 0.0209 $ 0.0002 -$ 0.0000 $ 1.7744 │
├────────────────────────────────┼─────────────┼──────────────────────────┼─────────────────────────────────────────────────────────────┤ +
│ TOTAL │ $ 13.79 │ │ $ 3.2983 $ 0.0217 $ 0.0007 -$ 0.0000 $ 3.3206 │
│ ESTIMATED END OF MONTH TOTAL │ $ 13.79 │ │ $ 8.4966 $ 0.0511 $ 0.0016 -$ 0.0000 $ 8.5493 │
└────────────────────────────────┴─────────────┴──────────────────────────┴─────────────────────────────────────────────────────────────┘

16

Это, конечно, катастрофа. Буду следить и надеяться, что выкарабкается

17

Вы можете посмотреть, когда узел не был доступен, возможно на это время удастся найти логи с роутера - что это было.

18

Вот сейчас наступил такой период по curl таймаут, в логах ноды:

2024-02-13T11:45:22Z ERROR Error retrieving version info. {“Process”: “storagenode-updater”, “error”: “version checker client: Get "https://version.storj.io": net/http: TLS handshake timeout”, “errorVerbose”: “version checker client: Get "https://version.storj.io": net/http: TLS handshake timeout\n\tstorj.io/storj/private/version/checker.(*Client).All:68\n\tmain.loopFunc:21\n\tstorj.io/common/sync2.(*Cycle).Run:99\n\tmain.cmdRun:136\n\tstorj.io/private/process.cleanup.func1.4:393\n\tstorj.io/private/process.cleanup.func1:411\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:112\n\tstorj.io/private/process.ExecWithCustomConfigAndLogger:77\n\tmain.main:20\n\truntime.main:267”}
2024-02-13T11:45:22Z ERROR version failed to get process version info {“process”: “storagenode”, “error”: “version checker client: Get "https://version.storj.io": net/http: TLS handshake timeout”, “errorVerbose”: “version checker client: Get "https://version.storj.io": net/http: TLS handshake timeout\n\tstorj.io/storj/private/version/checker.(*Client).All:68\n\tstorj.io/storj/private/version/checker.(*Client).Process:108\n\tstorj.io/storj/private/version/checker.(*Service).checkVersion:104\n\tstorj.io/storj/private/version/checker.(*Service).CheckVersion:78\n\tmain.cmdRun:84\n\tmain.newRunCmd.func1:32\n\tstorj.io/private/process.cleanup.func1.4:393\n\tstorj.io/private/process.cleanup.func1:411\n\tgithub.com/spf13/cobra.(*Command).execute:852\n\tgithub.com/spf13/cobra.(*Command).ExecuteC:960\n\tgithub.com/spf13/cobra.(*Command).Execute:897\n\tstorj.io/private/process.ExecWithCustomOptions:112\n\tmain.main:30\n\truntime.main:267”}

19

К сожалению, интерфейс роутера Huawei AX3 Pro проприетарный и очень урезанный

20

Так. Теперь еще и в другом городе на одном из провайдеров отсох curl https://version.storj.io