Обнаружил буквально со вчерашнего вечера, что траффик на windows-gui ноде упал практически до нуля, хотя по соседству в докере на том же IP трафик остался прежний, порядка 800Г в сутки. Как будто всё как обычно, только траффика нет. При выключении ноды в докере - всё то же самое: траффик не появляется вообще.
там где ровная линия - они были полные, где холмик - корзина почистилась немного. Но теперь они снова полные.
1 узел Windows Service, другие 2 - Docker.
я сейчас обнаружил то же самое. Не могу понять в чём причина, место на диске есть. Версия v1.104.5. Проксмокс 8, контейнер lxc, всех ресурсов хватает, обновлений не было. Есть ещё 3 ноды у которых всё норм
Вот я всё таки нашел несовпадение: свободное место на диске 5Г всего (а мне эта куча цифр показалась с первого взгляда как 5Т), а на dashboard - 3.34T.
Тогда возникает другой вопрос: почему dashboard показывает свободное место неправильно?
В докере тоже разница около 3Т между dashboard и реально свободным местом.
В программном обеспечении узла есть “стоп-кран”, сейчас он увеличен до 5ГБ, как только узел обнаружит, что осталось меньше 5ГБ в разрешённом для использовании месте или на диске, он отправит уведомление сателлитам, что он - полный и ingress должен перестать приходить.
Вот у вас стоп-кран и сработал.
Расхождение связано с тем, что базы данных не обновлены актуальной информацией об использовании.
Вам необходимо включить used-space-filewalker, если вы его выключали (он включен по умолчанию), сохранить конфиг и перезапустить узел.
После перезапуска нужно убедиться, что у вас нет ошибок в логах связанных с базой данных или filewalker (искать error и database, error и filewalker).
Если ошибок не возникает, всё, что нужно сделать - это дождаться, когда filewalker закончит подсчёт для каждого из доверенных сателлитов. Следить можно так:
Также необходимо удалить данные не доверенных сателлитов (сами они уже не удалятся):
Если у вас есть ошибки связанные с filewalker и/или database - данные на dashboard будут некорректные.
Зависит. Если нету загрузок - диск может максимум 200 IOPS, на NTFS это обычно дольше. Посчитайте сколько кусочков, поделите на 100 (а может даже лучше на 50) и поймёте сколько времени это может занять. Более точной цифры вам никто не скажет.
Ещё можно попробовать найти в логах, сколько это в прошлый раз заняло и сколько было кусочков - можно попробовать спрогнозировать. Цифры для каждого сателлита наверняка разные будут.
Если статус exit 1, это - всё. После этой ошибки он никогда не запустится сам до следующего рестарта узла. Следствие - использование не будет обновлено на dashboard.
Чинить - оптимизировать дисковую подсистему, либо кардинально менять (добавив SSD/RAM как кэш уровень, даже на Windows, но придётся использовать PowerShell). Либо - выключить Lazy mode, но тогда, правда, логов filewalker не будет и придётся следить опосредовано - по дисковой активности, по debug port, или в Resources Monitor (какая подпапка обрабатывается прямо сейчас).
Диск может иметь ошибки, да. Стоит проверить его на ошибки.
Но тут скорее всего дело в другом - он стал слишком медленным. Например диск с NTFS надо периодически дефрагментировать и это выполняется Windows автоматически, если только вы не отключили это задание. Так же можно произвести оптимизацию NTFS:
Если у вас есть управляемый UPS, то можно включить кэш записи в параметрах диска (обе галки), если UPS нет, то наоборот - отключить обе галки, чтобы не потерять данные при отключении электричества.
Перезапуск происходит автоматически при обновлении узла (в среднем раз в две недели), так что специально перезапускать обычно не требуется, если только нет ошибок, как у вас.
Если вы произвели оптимизацию файловой системы, как описал выше - можете перезапустить узел и помониторить логи, чтобы все filewalker для всех доверенных сателлитов успешно завершились и у вас не было ошибок связанных с БД.
После этого значения на dashboard должны показывать корректное использование.
Действительно, уровень дефрагментации на диске под докером - 49%.
Вопрос, как сильно замедлится узел если я запущу сейчас дефрагментацию? Он не из старых дисков, ему чуть меньше 2 лет.
