Что бы не плодить похожие темы , напишу тут свой вопрос:
Проблема: Your node has been disqualified on 12EayRS2V1kEsWESU9QMRseFhdxYxKicsiFmxrsLZHeLUtdps3S. If you have any questions regarding this please check our Node Operators thread on Storj forum.
Аудит сейчас на этом сателлите 96% us1.storj.io:7777 и ниже не падает, прошло уже больше 3х дней, нода на новом диске если что.
В правилах по Аудиту пишут: слишком много неудачных аудитов (потеря более 4% аудиторской оценки: когда аудиторская оценка падает ниже порога 96%, узел будет дисквалифицирован) - то есть для дисквалификации должно быть 95,99% и ниже, а у меня 96% и уже дисквалифицирован…
ID Node: 1oehtwGRNRVHNpbo9VD8WF7BKZ6sm3R5CafFocq63wZQqDpWfH
дисквалификация наступает за потерю 4% данных, audit score не восстановится.
Иногда он успевает упасть ниже 96%, но обычно она наступает при 96%.
Судя по тому, что аудит не 100% и на других сателлитах, скорее всего ваш узел будет дисквалифицирован и на них тоже, но это может занять время. Вероятность восстановления оценки очень мала, сателлит может проверять те же отсутствующие кусочки снова и снова, пока они не будут удалены клиентом или восстановлены на другие узлы.
Восстановление на другие узлы происходит, когда количество здоровых кусочков сегмента падает ниже порога ремонта, то есть это происходит не сразу. За это время ваш узел с большой вероятностью будет дисквалифицирован.
Так что вы можете продолжать держать этот узел online, пока он не будет дисквалифицирован на остальных и надеяться, что отсутствующие кусочки будут либо удалены клиентом, либо будут восстановлены на другие узлы и больше не будут проверяться сателлитом. Получение новых данных также сокращает вероятность проверки пропавших кусочков, так что это гонка со временем.
Спасибо за ответ.
Есть еще замечание по поводу уведомления.
Когда я решил перенести текущую ноду ( с моим аудитом 96%) на другой диск, мне пришлось ее выключить, как на удивление мне на почту пришло уведомление, скриншот:
После переноса и включение в онлайн мне опять пришло уведомление, скриншот:
Мне еще не приходили такие уведомления по другим нодам когда они просто уходили в оффлайн, даже сейчас если я выключу любую другую ноду на время то уведомления такого рода нету, а по именно текущей ноде приходит, может это связано что эта нода с 96% аудитом попала под пристальное внимание?
Было бы хорошо если бы такие уведомления приходили по всем нодам если на них упал аудит хотя бы на -1% для быстрого реагирования.
По онлайну нод использую uptimerobot но это малоинформативный сервис но полезный.
Есть изменения по аудиту, в зеленой области рост, есть и падение. А серая зона http://us1.storj.io:7777/ как я понял выключена и статистику уже не посмотреть получается? Скриншот:
да, такое может быть, пока audit score выше 96% по причинам описанным выше:
процент вычисляется от количества пройденных аудитов (чем больше здоровых кусочков, тем выше процент).
каждый проваленный аудит уменьшает оценку аудита.
каждый пройденный аудит увеличивает оценку аудита.
если приходят новые данные, они увеличивают процент здоровых кусочков, поэтому оценка аудита может медленно расти.
если клиенты удаляют данные, кусочки которых пропали/повреждены на вашем узле - эти кусочки больше не будут снижать оценку аудита.
если сработал триггер восстановления для сегмента - пропавший/повреждённый кусочек будет восстановлен на другой узел, он больше не будет снижать оценку аудита (на вашем узле только один кусочек сегмента из 80). 4% потерянных данных задело наверняка больше одного сегмента.
ваш узел дисквалифицирован на этом сателлите, он больше не доверяет вашему узлу и пометил все кусочки своих клиентов на вашем узле как нездоровые, никаких проверок он больше производить не будет и своим клиентам предлагать ваш узел - тоже. Удержанная сумма будет потрачена на восстановление кусочков на другие узлы.
У меня есть одноногая нода, дисквалифицированная на US1. На других спутниках все в порядке. Со временем недостаток данных был компенсирован бОльшей заливкой с EU1. Сейчас она мало чем отличается от моих других нод.
For a month, the EU satellite recovered very well!
If the US satellite was given at least 7(+/-) days to restore it, they blocked it by 96% without the possibility of restoration. It would be nice if they were given the opportunity to recover.
Data on the US satellite on my HDD just take up space without benefit?
How to remove them?
What’s the point of keeping them on HDD now if they are no longer in use?
It depends on many factors. In this case - the data usage grow from the customers of this particular satellite - it extended your node to survive. Just a great luck.
yep. You may check this mapping between satellites and blobs folder:
As a Community Leader I would not offer to delete this data, it’s up on you
Я считаю даже 2% слишком щедро. Два процента от одного терабайта это 20 гигабайт. Если года потеряла 20 гигабайт это не нода а хрен пойми что.
Я бы дисквалифицировал за 1 мегабайт потерянных данных. Не процент от объема, а фиксированый размер. Тем более что аудит статистический. Иметь пару плохих секторов на диске - ок. Но потерять мегабайт данных — до свидания.
Задача ноды — хранить данные. Если она с этой задачей не справляется — о чем вообще разговор?!
Конечно смотрел. Именно потому учитывать процент данных плохая идея.
Иными словами – я не согласен с правилами, потому что как вы продемонстрировали, в теперешнем состоянии правила дают возможность ноде, потерявшей данные, продолжать работать как ни в чем ни бывало, если потеря не замечена вовремя.
Конкретный пример: Если нода хранила 2 гигабайта, и потеряла 1 гигабайт – она потеряла 50% данных. Надо дисквалифицировать? Еще бы!
Что если потери никто не заметил месяц, в течении которого дополнительно 1 терабайт данных закачался, или пользователи удалили файлы с потерянными кусочками – получается что теперь потеря составляет всего 0.1%. Дисквалифицировать не надо?
Но ведь нода не стала лучше, это все та же нода которая умудрилась потерять 50% данных месяц назад! Если ее нужно было дисквалифицировать за потерю данных тогда – то также нужно дисквалифицировать и сейчас. Гигабайт данных есть гигабайт данных, вне зависимости от суммарного количества хранимой информации.
Провалы аудита должны быть кумулятивные и никогда не восстанавливаться.
Читайте правила там все написано.
Ранее аудит бил куда нижче 96%
Никто не застрахован от вихода из истроя hdd, кто-то вовремя заметили и решил очаг проблеми, кто-то не успел.
файловая система- нтфс, нет, директория хранения не перемещалась. почему повреждены- нет никакой идеи- проверка нтфс проходит. утилитой - прогоню, но разве показатели аудита не должны соответствовать необходимому для дисквалификации и согласитесь- использовать дополнительный инструмент для проверки целостности- противоречит самой идее сторжея как законченного решения
Этот инструмент был создан как раз для диагностики повреждённых кусочков, мы пытаемся выяснить, почему кусочки оказались повреждены и в-основном на Windows. Причём популяция узлов на Linux куда больше.
А аудиты, как видите, работают - они-то и обнаружили аномалии.
