# Узел всё-таки потерялся

**URL:** <https://forum.storj.io/t/topic/9422>\
**Category:** troubleshooting\
**Tags:** на-русском\
**Created:** [September 30, 2020, 7:40am UTC](https://forum.storj.io/t/topic/9422 "2020-09-30T07:40:33Z")\
**Posts on this page:** 20\
**Page:** 1

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 30, 2020, 7:40am UTC](https://forum.storj.io/t/topic/9422/1 "2020-09-30T07:40:33Z")

</div>

> [@I've almost loose my node](https://forum.storj.io/t/ive-almost-loose-my-node/9112/16):
>
> Oh, thanks alot try to fill in in a week. PS очень забавно что в переписке несколько русских ребят пытаются понять друг друга на неродном языке wink

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 22, 2020, 11:17am UTC](https://forum.storj.io/t/topic/9422/2 "2020-09-22T11:17:48Z")

</div>

Алексей, добрый день!  
Только что получил сообщение о дисквалификации ноды на saltlake и asia-east.  
Понимаю что в обратную сторону это решение развернуть не удастся, хотелось бы понять где допустил ошибки. Нужна ваша консультация.

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 22, 2020, 8:23pm UTC](https://forum.storj.io/t/topic/9422/3 "2020-09-22T20:23:45Z")

</div>

Здравствуйте!  
Дисквалификация может быть за потерянные данные (или доступа к ним) или если узел не может предоставить запрошенный кусочек с четырёх попыток с таймаутом в 5 минут.  
Вам нужно поискать в логах `GET_AUDIT` и `failed` в одной строке, можно использовать скрипты отсюда:

> **[Suspension mode](https://support.storj.io/hc/en-us/articles/360042257912-Suspension-mode)**
>
> An overview of the suspension mode design
> How does suspension mode work?
> Explanation regarding suspension mode notification emails
> What should I do?
> Please, search for the reason for failed audit i...

Если вы используете Windows и Docker, то необходимо откатить версию Docker desktop до 2.1.0.5:

> [@Latest Docker Desktop for Windows compatibility?](https://forum.storj.io/t/latest-docker-desktop-for-windows-compatibility/6045):
>
> Hello, I’m still on the last release of the previous major branch of Docker: 2.1.0.5. Does somebody can confirm me if the latest version of Docker Desktop, Docker Desktop Community 2.2.0.5 for Windows, is working for you, especially for the storage nodes operation who upgraded from the previous major version ? Because in the past, it broke the nodes, and I suspect its due to the Docker NAT removed from this update, which seems necessary to node to work. The reason is I’ve troubles of small dro…

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 23, 2020, 8:20am UTC](https://forum.storj.io/t/topic/9422/4 "2020-09-23T08:20:21Z")

</div>

откат происходит из самого Docker каким то образом или на сайте  
stable version=2.1.0.5 version?  
поискал на сайте, кроме stable и edge не нашел, на github только контейнеры

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 23, 2020, 8:21am UTC](https://forum.storj.io/t/topic/9422/5 "2020-09-23T08:21:41Z")

</div>

нода заблокирована необратимо и нужно начинать заново или есть возможность вернуться в строй?  
если необратимо могу ли я сделать graceful exit?

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 23, 2020, 8:35am UTC](https://forum.storj.io/t/topic/9422/6 "2020-09-23T08:35:19Z")

</div>

Откат происходит как обычно - удаляете полностью, скачиваете 2.1.0.5 и устанавливаете.

> [@karacurt](#):
>
> нода заблокирована необратимо и нужно начинать заново или есть возможность вернуться в строй?

Если audit score ниже 0.6 (ниже 60% на dashboard), то дисквалификация постоянная и необратимая.

> [@karacurt](#):
>
> могу ли я сделать graceful exit?

только с не дисквалифицировавших сателлитов и если возраст узла не менее 6 месяцев на этом сателлите. Посмотреть возраст можно на dashboard в Payout information.

> [@On another topic](https://forum.storj.io/t/9148/6):
>
> так же вопрос во внутреннем адресе 2х нод:

Если на одном ПК, то их необходимо сделать разными. Это порт для CLI dashboard.

Кстати, убедитесь, что эти узлы используют разные identity (должны быть разные пути) и разные диски для хранения данных.  
Один из способов получить быструю дисквалификацию - клонировать identity вместо создания новой.

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 23, 2020, 9:00am UTC](https://forum.storj.io/t/topic/9422/7 "2020-09-23T09:00:21Z")

</div>

> [@Alexey](#):
>
> Кстати, убедитесь, что эти узлы используют разные identity (должны быть разные пути) и разные диски для хранения данных.  
> Один из способов получить быструю дисквалификацию - клонировать identity вместо создания новой.

с этим проблем нет.

> [@Alexey](#):
>
> Если на одном ПК, то их необходимо сделать разными. Это порт для CLI dashboard

не совсем понял как, поменял в config.yaml - на +1 (7779) появилась ошибка  
Error: rpccompat: dial tcp 127.0.0.1:7778: connect: connection refused

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 23, 2020, 10:17am UTC](https://forum.storj.io/t/topic/9422/8 "2020-09-23T10:17:28Z")

</div>

> [@Alexey](#):
>
> Если audit score ниже 0.6 (ниже 60% на dashboard), то дисквалификация постоянная и необратимая.

на  
[saltlake.tardigrade.io:7777](http://saltlake.tardigrade.io:7777)  
[asia-east-1.tardigrade.io:7777](http://asia-east-1.tardigrade.io:7777)

Audit Score по 59.9% - т.е. всё?

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 25, 2020, 8:59pm UTC](https://forum.storj.io/t/topic/9422/9 "2020-09-25T20:59:30Z")

</div>

На этих сателлитах, к сожалению, - да.

> [@karacurt](#):
>
> Error: rpccompat: dial tcp 127.0.0.1:7778: connect: connection refused

Где вы видите эту ошибку?  
Когда запускаете CLI dashboard для второго узла - необходимо указывать параметр `--address 127.0.0.1:7779`

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 26, 2020, 5:21am UTC](https://forum.storj.io/t/topic/9422/10 "2020-09-26T05:21:37Z")

</div>

ошибка появляется при запуске из командной строки команды:  
docker exec -it storagenode /app/dashboard.sh

после внесения правки в config.yaml в параметре:

# private address to listen on

server.private-address: “127.0.0.1:7778”

> [@Alexey](#):
>
> Когда запускаете CLI dashboard для второго узла - необходимо указывать параметр `--address 127.0.0.1:7779`

так?:  
docker exec -it --address 127.0.0.1:7779 storagenode2 /app/dashboard.sh  
но в этом случае получаю ошибку:  
unknown flag: --address

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 26, 2020, 10:41am UTC](https://forum.storj.io/t/topic/9422/11 "2020-09-26T10:41:07Z")

</div>

так же, во избежание повторения моего негативного опыта другими пользователями, лучше внести правку ссылки в мануале по запуску по адресу:  
[https://documentation.storj.io/setup/cli/docker](https://documentation.storj.io/setup/cli/docker)

со ссылкой на:  
[https://download.docker.com/win/stable/40693/Docker%20Desktop%20Installer.exe](https://download.docker.com/win/stable/40693/Docker%20Desktop%20Installer.exe)  
или:

> **[Docker Desktop for Windows Stable Release notes](https://docs.docker.com/docker-for-windows/release-notes/)**
>
> This page contains information about the new features, improvements, known issues, and bug fixes in Docker Desktop Stable releases. For information about Edge releases, see the Edge release notes. For...

С указанием корректно работающей версии Docker. По тексту мануала ни слова, а на форуме это обсуждение пропустил, т.к. давно в настройке на Docker необходимость отпала - для работы single ноды более чем устраивал функционал из WIN GUI.

Потому что в мануале ссылка на последнюю версию, а это приводит к печальным последствиям - в моём случае к потере 15-месячной ноды.

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 26, 2020, 2:46pm UTC](https://forum.storj.io/t/topic/9422/12 "2020-09-26T14:46:43Z")

</div>

> [@karacurt](#):
>
> ошибка появляется при запуске из командной строки команды:  
> docker exec -it storagenode /app/dashboard.sh

Если вы используете docker версию без `--network host`, то контейнеры изолированы друг от друга, в этом случае ничего в конфиге менять не нужно. Верните, пожалуйста, как было.  
Замена внутренних портов актуальна только для binary версий или если вы используете `--network host`.  
Извиняюсь за путаницу, я почему-то подумал, что вы переключились на Windows GUI.

Я добавлю информацию по версии docker для Windows, спасибо за идею!

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 28, 2020, 5:48am UTC](https://forum.storj.io/t/topic/9422/13 "2020-09-28T05:48:59Z")

</div>

> [@Alexey](#):
>
> Извиняюсь за путаницу, я почему-то подумал, что вы переключились на Windows GUI.

Без проблем, в данном случае сразу “в лоб” получил ошибку, всё вернул обратно.

Частично дисквалифицированную ноду продержу до конца сентября, потом сделаю выход и начну сначала. Так или иначе теперь есть понимание как масштабироваться дальше - и это важно.

В любом случае огромная благодарность за уделённое время и ответы на накопившиеся вопросы. Хорошего дня!

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 28, 2020, 8:29am UTC](https://forum.storj.io/t/topic/9422/14 "2020-09-28T08:29:47Z")

</div>

Пожалуйста!  
Кстати, у нас нет статистики дисквалификации из-за docker desktop или offline (оно просто не включено).  
Проверьте на всякий случай диски. Чаще всего дисквалификация наступает за потерянные или недоступные кусочки, а не медленную работу узла. Потому что чтобы провалить аудит кусочка, узел должен быть онлайн, ответить на запрос аудита но так и не предоставить нескольких килобайт кусочка за 5 минут, такой запрос повторяется ещё три раза в разное время.  
Такое может быть, если узел не в состоянии прочитать кусочек с диска или какие-то серьёзные проблемы с сетью.  
Чтобы audit score начал падать одного проваленного аудита недостаточно, а вот несколько подряд - вполне.

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 29, 2020, 10:53am UTC](https://forum.storj.io/t/topic/9422/15 "2020-09-29T10:53:11Z")

</div>

> [@Alexey](#):
>
> Такое может быть, если узел не в состоянии прочитать кусочек с диска или какие-то серьёзные проблемы с сетью.

Были ошибки следующего вида:

contact:service ping satellite failed - предполагаю что эта свидетельствует о дисквалификации ноды на X сателлите;

ERROR “nodestats:cache Get held amount query failed”…“heldamount service error: unable to connect to the satellite 118UWpMCHzs6CvSgWd9BfFVjw5K9pZbJjkfZJexM  
tSkmKxvvAW…” - так же по пониманию конструкции о дисквалификации.

ERROR piecestore upload failed  
ERROR piecestore download failed  
ERROR piecedeleter delete failed  
Эти три очень похожи на потерянные/недоступные кусочки.

По лайнапу:  
#была рабочая нода на 1 HDD;  
#поставил +1 HDD под отдельную ноду;  
#прописал через Storj Toolbox, видимо напортачил, обе ноды ушли offline;  
#всё снёс, поставил Docker версии 2.3.0.5, использовал настройки:  
docker run -d --restart unless-stopped -p 28967:28967 -p 127.0.0.1:14002:14002 -e WALLET=“wallet1” -e EMAIL=“email1” -e ADDRESS=“ip:28967” -e BANDWIDTH=“50TB” -e STORAGE=“11.5TB” --mount type=bind,source="c:\Storj\Identity\storagenode",destination=/app/identity --mount type=bind,source="G:\data",destination=/app/config --name storagenode storjlabs/storagenode:latest

docker run -d --restart unless-stopped -p 28968:28967 -p 127.0.0.1:14003:14002 -e WALLET=“wallet1” -e EMAIL=“email2” -e ADDRESS=“ip:28968” -e BANDWIDTH=“50TB” -e STORAGE=“11TB” --mount type=bind,source="C:\Storj\Identity\storagenode2",destination=/app/identity --mount type=bind,source="N:\data",destination=/app/config --name storagenode2 storjlabs/storagenode:latest  
#обе ноды онлайн, всё прекрасно;  
#через пару часов работы начал замечать что загрузка node stats (статы в браузере обновление страницы) занимает существенное время (около 2-5 минут), хотя отображаемые логи в Docker (в свежей версии есть dashboard в котором можно смотреть текущие операции) показывают что всё работает;  
#попробовал перезагрузку, после перезагрузки - корректно, через пару часов опять лаги по 2-5 минут;  
#через неделю получил сообщение о дисквалификации.

неподтвержденные мысли по теме:

1. так как обе ноды используют один и тот же канал 100mbps с одинаковыми характеристиками (BANDWIDTH=“50TB”), есть предположение что происходит конкуренция, в которой одна подавляет другую, но на форуме читал что при multiple настройке и полном заполнении 1ой ноды канал делится пропорционально.
2. 1я нода была ограничена на 10TB и полностью заполнена, при настройке через Docker увеличил количество места до 11,5ТБ, что могло создать конкуренцию за трафик и чего не наблюдалось за 1 год 3 мес с момента старта в single-режиме первой ноды;
3. После получения дисквалификации, установил Docker версии 2.1.0.5, проблема с лагами node stats исчезла, но так же сократился и трафик у 1ой ноды в связи с дисквалификацией на 2 из 6 сателлитах;
4. Возможна ли вероятность что отсутствующие/недоступные кусочки были “привязаны” к сателлиту [satellite.stefan-benten.de](http://satellite.stefan-benten.de), а требования приходили с [saltlake.tardigrade.io](http://saltlake.tardigrade.io) и [asia-east-1.tardigrade.io](http://asia-east-1.tardigrade.io) что привело к ошибкам выполнения запроса и в следствии дисквалификации?

в итоге - на данный момент обе ноды работают, дисквалифицированную собираюсь выводить через graceful exit по окончании месяца. сложносочиненные вопросы, связанные с эксплуатацией ноды написал абзацем выше.

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 29, 2020, 8:55pm UTC](https://forum.storj.io/t/topic/9422/16 "2020-09-29T20:55:16Z")

</div>

> [@karacurt](#):
>
> ERROR “nodestats:cache Get held amount query failed”…“heldamount service error: unable to connect to the satellite 118UWpMCHzs6CvSgWd9BfFVjw5K9pZbJjkfZJexM  
> tSkmKxvvAW…” - так же по пониманию конструкции о дисквалификации.

Stefan satellite остановлен, возможно у него будет другое назначение в будущем.

> [@karacurt](#):
>
> ERROR piecestore download failed  
> ERROR piecedeleter delete failed  
> Эти три очень похожи на потерянные/недоступные кусочки.

может быть, особенно вместе с GET\_AUDIT

Трафик делится пропорционально от каждого сателлита, поэтому и нагрузка пропорционально уменьшается, как и потребление ресурсов.

> [@karacurt](#):
>
> Возможна ли вероятность что отсутствующие/недоступные кусочки были “привязаны” к сателлиту [satellite.stefan-benten.de](http://satellite.stefan-benten.de), а требования приходили с [saltlake.tardigrade.io](http://saltlake.tardigrade.io) и [asia-east-1.tardigrade.io](http://asia-east-1.tardigrade.io) что привело к ошибкам выполнения запроса и в следствии дисквалификации?

нет, а вот лаги - могли. Ещё, если место для данных было указано неверно. Docker версия создаёт папку `storage` в папке с данными, Windows GUI использует указанный путь. Если при переезде с Windows GUI на docker вы не перенесли данные в `storage`, то storagenode не найдёт данные и будет дисквалифицирована.

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 30, 2020, 7:16am UTC](https://forum.storj.io/t/topic/9422/17 "2020-09-30T07:16:19Z")

</div>

> [@Alexey](#):
>
> Ещё, если место для данных было указано неверно. Docker версия создаёт папку `storage` в папке с данными, Windows GUI использует указанный путь. Если при переезде с Windows GUI на docker вы не перенесли данные в `storage` , то storagenode не найдёт данные и будет дисквалифицирована.

есть такое, структура файлов в storage и в корне папки совпадают.  
было бы здорово так же добавить заметку об этом.

---

<div class="post-metadata">

**Author:** ![karacurt](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/karacurt/32/60_2.png) [@karacurt](https://forum.storj.io/u/karacurt)\
**Post date:** [September 30, 2020, 7:17am UTC](https://forum.storj.io/t/topic/9422/18 "2020-09-30T07:17:21Z")

</div>

так же после перезагрузки машины слетает путь к identity:  
Error response from daemon: invalid mount config for type “bind”: bind source path does not exist: /host\_mnt/c/Users/x/AppData/Roaming/Storj/Identity/storagenode  
Error response from daemon: invalid mount config for type “bind”: bind source path does not exist: /host\_mnt/c/Users/x/AppData/Roaming/Storj/Identity/storagenode2  
Error: failed to start containers: storagenode, storagenode2

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 30, 2020, 7:31am UTC](https://forum.storj.io/t/topic/9422/19 "2020-09-30T07:31:27Z")

</div>

Это указано в документации по миграции:

> **[Migrating from Windows GUI installation to Docker CLI - Storj Docs](https://docs.storj.io/node/faq/migrate-my-node/migrating-from-windows-gui-installation-to-a-docker-cli)**
>
> Make the world your data center

> [@karacurt](#):
>
> так же после перезагрузки машины слетает путь к identity:  
> Error response from daemon: invalid mount config for type “bind”: bind source path does not exist: /host\_mnt/c/Users/x/AppData/Roaming/Storj/Identity/storagenode  
> Error response from daemon: invalid mount config for type “bind”: bind source path does not exist: /host\_mnt/c/Users/x/AppData/Roaming/Storj/Identity/storagenode2  
> Error: failed to start containers: storagenode, storagenode2

Это проблема с Docker desktop. Решение, как обычно, в Windows - зайти и выйти 🙂  
В данном случае:

1. Остановите и удалите контейнер storagenode
2. Откройте настройки Shared Drives
3. Снимите все галочки
4. Нажмите Apply
5. Проставьте галочки обратно
6. Нажмите Apply
7. Предоставьте логин и пароль от Windows. Если у вашего логина нет пароля - он необходим для этой функции, иначе диски монтироваться не будут. Docker desktop монтирует диски в контейнеры через сеть.
8. Запустите контейнер и убедитесь, что диски смонтировались успешно.

Я бы рекомендовал перенести identity с системного диска на диск с данными - если диск сломается, то identity без данных будет всё равно бесполезна, а так узел не стартует, если диск не доступен. В данном случае offline лучше, чем дисквалификация.

---

<div class="post-metadata">

**Author:** ![Alexey](https://storj.bcdn.literatehosting.com/user_avatar/forum.storj.io/alexey/32/41_2.png) [@Alexey](https://forum.storj.io/u/Alexey)\
**Post date:** [September 30, 2020, 7:42am UTC](https://forum.storj.io/t/topic/9422/20 "2020-09-30T07:42:49Z")

</div>



[Next page](https://forum.storj.io/t/topic/9422.md?page=2)
