Алексей, доброго дня!
Уже дня четыре не пойму что происходит с нодой: подключаюсь по ssh, но мои команды обрабатываются крайне долго, морда netdata отвалилась, а теперь ещё и морда ноды недоступна. Три дня назад, с трудом выключил ноду, добавил ОЗУ до 4г, но ситуацию это не изменило. Прошу совета что делать. Спасибо!
Здравствуйте!
Могу предположить, что у вас размножилась Watchtower.
Есть решение:
Я перезапустил ноду.
Ввёл команду, и к сожалению команда подвисла:
storj@bird-storj:~ sudo docker rm --force (docker ps -qf ancestor=storjlabs/watchtower)
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.40/containers/json?filters=%7B%22ancestor%22%3A%7B%22storjlabs%2Fwatchtower%22%3Atrue%7D%7D: dial unix /var/run/docker.sock: connect: permission denied
[sudo] password for storj:
ввёл пароль и тишина( Хотя перед паролем написано что доступ запрещён
А вот Hyper-V говорит что виртуалке с нодой требуется 59гиг ОЗУ и это через 15 минут после запуска, жесть какая-то(((
Морда ноды появилась, но я думаю это не надолго(
Алексей, какие ещё могут быть варианты спасения ноды? Тут ведь ещё проблема в том, что команда обрабатывается 30-60 минут, даже после рестарта ноды
хотя вот, пока писал сообщение пришёл ответ от команды:
Command ‘Got’ not found, did you mean:
command ‘jot’ from deb athena-jot
command ‘dot’ from deb graphviz
command ‘hot’ from deb hopenpgp-tools
Try: sudo apt install
Хмм, наверное что-то я ввёл не так)
Наверное забыл уточнить у меня виртуалка на Ubuntu 18.04.4
sudo docker rm --force $(sudo docker ps -qf ancestor=storjlabs/watchtower)
команда
storj@bird-storj:~$ sudo docker rm --force (sudo docker ps -qf ancestor=storjlabs/watchtower)
ответ
-bash: syntax error near unexpected token `(’
что-то опять не так(
Прошу прощения, пропустил $. Исправил исходное сообщение
sudo docker system prune -a razve ne udalit vse ne aktivnye conteinery?
Удалит. Но нужно удалить все контейнеры - и активные и не активные.
пока остановил докер, но нода всё-равно требует 48г ОЗУ
при запуске top, вижу кучу процессов containerd-shim
top - 07:20:00 up 7:57, 2 users, load average: 0,85, 0,69, 0,75
Tasks: 536 total, 1 running, 490 sleeping, 0 stopped, 0 zombie
%Cpu(s): 1,3 us, 6,7 sy, 0,0 ni, 91,2 id, 0,0 wa, 0,0 hi, 0,8 si, 0,0 st
KiB Mem : 3994176 total, 206412 free, 2559680 used, 1228084 buff/cache
KiB Swap: 2097148 total, 1776784 free, 320364 used. 1176888 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
39822 root 20 0 107700 368 0 S 2,0 0,0 0:19.68 containerd-shim
45361 root 20 0 107700 240 0 S 2,0 0,0 0:18.94 containerd-shim
74347 root 20 0 43340 4460 3296 R 2,0 0,1 0:01.90 top
13666 root 20 0 107700 320 0 S 1,6 0,0 0:17.89 containerd-shim
18443 root 20 0 109108 44 0 S 1,6 0,0 0:17.00 containerd-shim
19648 root 20 0 107700 620 0 S 1,6 0,0 0:17.86 containerd-shim
30433 root 20 0 107700 348 0 S 1,6 0,0 0:21.01 containerd-shim
30443 root 20 0 107700 236 0 S 1,6 0,0 0:15.78 containerd-shim
32359 root 20 0 107700 452 0 S 1,6 0,0 0:20.33 containerd-shim
33530 root 20 0 109108 456 0 S 1,6 0,0 0:20.32 containerd-shim
19729 root 20 0 107700 364 0 S 1,3 0,0 0:21.33 containerd-shim
39788 root 20 0 109108 252 0 S 1,3 0,0 0:17.07 containerd-shim
16732 root 20 0 107700 244 0 S 1,0 0,0 0:16.13 containerd-shim
20342 root 20 0 109108 516 0 S 1,0 0,0 0:19.13 containerd-shim
32299 root 20 0 107700 0 0 S 1,0 0,0 0:17.78 containerd-shim
38531 root 20 0 107700 76 0 S 1,0 0,0 0:10.57 containerd-shim
39838 root 20 0 109108 212 0 S 1,0 0,0 0:16.45 containerd-shim
39876 root 20 0 109108 368 96 S 1,0 0,0 0:18.20 containerd-shim
13623 root 20 0 109108 268 0 S 0,7 0,0 0:18.39 containerd-shim
13657 root 20 0 107700 204 0 S 0,7 0,0 0:19.71 containerd-shim
16761 root 20 0 109108 456 0 S 0,7 0,0 0:12.00 containerd-shim
19723 root 20 0 107700 320 0 S 0,7 0,0 0:13.88 containerd-shim
20556 root 20 0 109108 356 0 S 0,7 0,0 0:15.22 containerd-shim
32319 root 20 0 109108 364 0 S 0,7 0,0 0:13.62 containerd-shim
41076 root 20 0 109108 260 0 S 0,7 0,0 0:08.35 containerd-shim
70865 root 20 0 0 0 0 I 0,7 0,0 1:57.87 kworker/0:0
8 root 20 0 0 0 0 I 0,3 0,0 2:33.76 rcu_sched
9719 root 20 0 107700 376 0 S 0,3 0,0 0:18.50 containerd-shim
11034 root 20 0 107700 412 0 S 0,3 0,0 0:11.45 containerd-shim
11039 root 20 0 107700 240 0 S 0,3 0,0 0:09.16 containerd-shim
26876 root 20 0 109108 476 0 S 0,3 0,0 0:14.24 containerd-shim
32320 root 20 0 109108 452 0 S 0,3 0,0 0:15.20 containerd-shim
32349 root 20 0 109108 248 0 S 0,3 0,0 0:17.61 containerd-shim
38492 root 20 0 109108 212 0 S 0,3 0,0 0:06.76 containerd-shim
44186 root 20 0 109172 704 352 S 0,3 0,0 0:19.61 containerd-shim
58628 root 20 0 109108 288 0 S 0,3 0,0 0:20.02 containerd-shim
73946 root 20 0 0 0 0 I 0,3 0,0 0:02.72 kworker/u480:2
74272 root 20 0 0 0 0 I 0,3 0,0 0:00.70 kworker/u480:3
1 root 20 0 170316 17076 4964 S 0,0 0,4 5:33.80 systemd
2 root 20 0 0 0 0 S 0,0 0,0 0:25.87 kthreadd
4 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 kworker/0:0H
6 root 0 -20 0 0 0 I 0,0 0,0 0:00.00 mm_percpu_wq
7 root 20 0 0 0 0 S 0,0 0,0 3:09.94 ksoftirqd/0
9 root 20 0 0 0 0 I 0,0 0,0 0:00.00 rcu_bh
10 root rt 0 0 0 0 S 0,0 0,0 0:00.97 migration/0
11 root rt 0 0 0 0 S 0,0 0,0 0:01.38 watchdog/0
12 root 20 0 0 0 0 S 0,0 0,0 0:00.07 cpuhp/0
13 root 20 0 0 0 0 S 0,0 0,0 0:00.00 cpuhp/1
14 root rt 0 0 0 0 S 0,0 0,0 0:01.40 watchdog/1
15 root rt 0 0 0 0 S 0,0 0,0 0:00.85 migration/1
Это разве нормально? На соседней ноде такого не наблюдаю. Даже по задачам на нодах отличие приличное:
Tasks: 107 total, 1 running, 62 sleeping, 0 stopped, 0 zombie
Это список задач на нормальной ноде.
Может проще новую виртуалку создать и диск с данными ноды переключить на неё? Не первый раз уже проблема с этими множественными сущностями
Покажите вывод
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
da18dbefe2c7 storjlabs/watchtower:latest "/watchtower" 26 minutes ago Up 23 minutes OzMLenqdkJlQGieMtyNHruycMUWFGQdk
ff4cfc5a14a6 storjlabs/watchtower:latest "/watchtower" About an hour ago Up About an hour bgIPsrwCzQHKSySfXFTdNeGZtzZrzjWm
55542edfef0f storjlabs/watchtower:latest "/watchtower" 2 hours ago Up 2 hours WxDAyuXylvodESWjDUAjSWIMfhcttZRW
47e42b3ce2f0 storjlabs/watchtower:latest "/watchtower" 3 hours ago Up 3 hours qaftiumzGhPsPmaIRxpXBohUPIwaDRxD
1faad29af75c storjlabs/watchtower:latest "/watchtower" 3 hours ago Up 3 hours PFoLcudWhifhKxrxqCyCcQUFsLjoOtUO
cad4907c96b2 storjlabs/watchtower:latest "/watchtower" 4 hours ago Up 4 hours xpzixhMlzxTQWHRkQpJVFqHYIrmLNXKF
c97f0084ee20 storjlabs/watchtower:latest "/watchtower" 5 hours ago Up 5 hours dCnFgFhwwdcJUaRbCAyRMapsgHEFLzzb
82196b33c374 storjlabs/watchtower:latest "/watchtower" 5 hours ago Up 5 hours XpXdwxiBojkqMbgfPoGLRoMuiVoyHmeP
4de5cc5a2230 storjlabs/watchtower:latest "/watchtower" 30 hours ago Up 11 hours IvKTSGmWGoqwOqMiYGGYyFpuXNpsxwzD
7f6c0e4dc468 storjlabs/watchtower:latest "/watchtower" 30 hours ago Up 8 hours xBLyLsMxGkwXzFRCxRhlXJSZppDDyUOF
1134b45de9ec storjlabs/watchtower:latest "/watchtower" 31 hours ago Up 10 hours XKMuawhUqUkqCrrfvTlAWGEKeqcgjeOo
e35bf66cc83f storjlabs/watchtower:latest "/watchtower" 32 hours ago Up 7 hours HKfdiXMZQOuHhmrloKPfNmjzGsGBdnhB
6e0ca2338914 storjlabs/watchtower:latest "/watchtower" 32 hours ago Up 8 hours IiJghGlkSuCogHXEEiwuxTlCawvIqoms
ba6c1d80e327 storjlabs/watchtower:latest "/watchtower" 33 hours ago Up 11 hours bAtSIQOAlRjBIxyHfxQSVvRsKIURTNVg
5f831ab553be storjlabs/watchtower:latest "/watchtower" 34 hours ago Up 6 hours UsjBzlBJjJeHcJVDlRjxCwXMbtBnRfUY
9ebb265ede1f storjlabs/watchtower:latest "/watchtower" 35 hours ago Up 9 hours ihVvNVkgAllMWKyqpspsXnnYKdbWgqSd
a8bc6d400a22 storjlabs/watchtower:latest "/watchtower" 37 hours ago Up 8 hours PckMRPEAjrqJBsEPffFdcOdLGSwMjRwy
6411e335c627 storjlabs/watchtower:latest "/watchtower" 39 hours ago Up 11 hours EFZXegVAeNsUEtoNNOWmSYwFZvKQGagv
c30c489fbbd2 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours nhMhctUcBGPMpwOBMJQRNDbdhdpFGhPD
23184fc079a5 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours uaEyWeWPfxndrleaUurgJfeXPGbnwEZN
0393e4b8fb33 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours TfuUCQOSgWmENctvEWRlehJHLdwJDgeY
1cb0655957c5 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours vIfTPdeGzpIQsUPfIYBrmfLEvDWwwHPV
7a84ffa917c4 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 8 hours diNaSqTSUCxJGcDaOilnZntUjEdqpfEk
c1888d4bc466 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours rFhxzvXQxxiQAHtPrPJypaOzLuyucxpK
0f291adbf751 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours ebgaHjOXVseUzGiRxyfsZnvkTOYWOsgQ
d7cc382774e4 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours ANUnCLJSZKBCqLZRCOlljFxRkKCOLfWO
88c1365905ff storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours NMgIKOGKqJvCPjqxFazhfCSPZzXzojFI
5af621c5caaf storjlabs/watchtower:latest "/watchtower" 2 days ago Up 9 hours uWCHgqpFGudxYZOVCWneIYoYOLkzgwtF
faf39d1532c2 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 8 hours RBGplXdVHAUOEAHpXmFqiSRQasMmexoq
c338661e8c68 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours JoMEEeinFHIdvXeFyfXteGSjVLqllsfb
2a448099037a storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours GfqCzWtBuYAwJmutlfCwMOQwepJGYMjr
0eb12efb8834 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours bvanVggQUvqLeOrFPlwZqZYHdtIBMKex
afd437296a36 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours UIzTwTTikIdGqTuzKIWDQVUVZOhemLqM
d011c2129511 storjlabs/watchtower:latest "/watchtower" 2 days ago Up 11 hours
bzGjrecAUkAAqFKJCJUDLJQNbnagRJuK
8eb52ef71102 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 7 hours xEhBNYrbwBveiPiSECAVZUkHNVaVzpde
314fcfac6c5f storjlabs/watchtower:latest "/watchtower" 6 days ago Up 11 hours CAZjrZrxHyvCDVYzjASQTJplhxMxkLNE
00af5b12c8d0 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours dMfKYuAhSjEIthTkjGpfjGfLeBvwVugD
f3d63c552edb storjlabs/watchtower:latest "/watchtower" 6 days ago Up 8 hours YLbDPxYangjkzaDUvgCykwtjWmfVZuNe
93c7301c74af storjlabs/watchtower:latest "/watchtower" 6 days ago Up 11 hours bcZBkWALOBtvKJwiEWVDAFSeJdawPrJV
57a94dcb4e92 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours uNiYnnZkwchrxXoKslDAWTwKFfETAbMo
508acd9ab41d storjlabs/watchtower:latest "/watchtower" 6 days ago Up 7 hours eyTyGSaWHvwcWeeJJBOimvITqYPSemQB
b63c55997cef storjlabs/watchtower:latest "/watchtower" 6 days ago Up 10 hours MJFWUogIZmrINqCQbfqFCzOqJKyEGkwy
03bda60bd98f storjlabs/watchtower:latest "/watchtower" 6 days ago Up 7 hours YJpxuYOdZLDkCXzgbkXHHaINAZmVbzot
d747ff392cc3 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 7 hours rbjwAwpzjzJJAnuzfFRSuUIfreHmqMbv
e0a246d3867f storjlabs/watchtower:latest "/watchtower" 6 days ago Up 7 hours CyXkguxHZtOyVHMKicGmQcxpfvmIlczv
2fbf3970603a storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours vyUIdjCuaPSzgLszaYcPxZvmAFHzydDo
0f6b18d5f62e storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours xMzAhCNBQPTbGNltRhghSbaLBFZfScFK
1aad27b02e69 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours meFatNgdmIDZvtLlMbDVEQBcxVBnBOmm
41e7701d9ed8 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 11 hours llfhHamhEAnTwTfMqymwbNQaqcmZQwiZ
eed1b9e68f5c storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours WslQFWDulUwsavUYSpBtVyqjxwMHcxyX
b4dd2006eabd storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours fdStCbSKePUUnixVWCfEOKGcPLNWwNFF
e74fdea6842e storjlabs/watchtower:latest "/watchtower" 6 days ago Up 9 hours GuLZkWltKCabxZwCLHTRbrJyyeCjHFWy
1ffd81fd77c8 storjlabs/watchtower:latest "/watchtower" 6 days ago Up 11 hours dsWTmixAqEhYnSckTHXlvnmaGsLmOite
61ab336495ac storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours jYXBhtbwtPIqVWywoicQGCzlrhVoQNkg
206422e8fa1e storjlabs/watchtower:latest "/watchtower" 7 days ago Up 7 hours ppPvbCiMyQtaOthuZlHRfUiSWIMLOBlz
98b01ad3196f storjlabs/watchtower:latest "/watchtower" 7 days ago Up 7 hours jDLEIGuAjeJwzTgQfVBoGYzjoxabIUzW
ade8704e66d2 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 8 hours iFTrxgFWxaccJSFBoLjdDaRjHalOBYob
185e12f47a30 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours bnNvXoPhkkdxTVFHWszieZyNqGnIalKt
989cbc5bf301 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours UfxJLQlmRvMCCxFRaRYWVVYIDaqtNYFs
63e22c7cef58 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours EgeDWnXCexYxppcfkkNaBfOHGjRNdlPv
b9e6fa5714b6 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 8 hours tQkdQqzUbXxeVQrOkvHYuLURkNWDiojb
9ebb79cc4d76 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours xTwHbCvUuZKzftpTkCfTmLxfUnsVzEKD
f6686d018088 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours tFGZzpzAKiSOvMXlDaZwgvhjrXSeJNoc
83dad71241f5 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours QfIPGONshOzfaGRYXcZnOuQopcDfAKOf
f665e70fbe1d storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours aaXJbmCflGSINTvQLZPBSVqAIBmqpGiH
ff4a24e0ba65 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours DffDxquPzfBwydfOstSoQUyWCmEiLqLK
625f3ab0d6f4 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 10 hours SiQTRpHEJcabOepkXLRxkyisfXjUDfNQ
230cc5c7163f storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours rDpMfXWLhpjGGmSrAuOHDiOhTRdKXmMq
b4259deed7bb storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours yePSqgyHvCOTzfftQzMLdXYcSOKabFDD
479943643c44 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours wxrIFazlWxGKdYDmgZHxgfYPpbTrIrlG
eed5746c67ae storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours MRkprmaAXSQLDTQiQKBNNxuwBWyfJHqG
ceede03765c6 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours ojGtOQtjclKsFQsVANnFyrwWBMrmPJnD
af0dd882a47a storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours CvSWZLmGoHVKxoKiFliGSZBXnwMWcPfp
e7c38d0cb617 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 8 hours fOrNwlllWjYOwJTxFTSbIDTrtwXbTxEz
11ca60b76dff storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours dRqkPENyIhwiHjEXHxDUGoPjvtNmZaUS
dca08baf6b9a storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours MtKYyjOiyBxPxYgoQciGEsZdfamFVrlT
931f2e10378b storjlabs/watchtower:latest "/watchtower" 7 days ago Up 8 hours AQOcDAerZpDELwrAUDmucAaFtZFGhcNf
a92308e6e410 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours CadBsBLAxhatzqXtfKwogbBgyxqLQkkB
5dc078b32c7c storjlabs/watchtower:latest "/watchtower" 7 days ago Up 7 hours tIOcpJHxcbdjNNLwBeTHiOZpitAacwdb
672be185972a storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours aEKJTRHStmgvlbGxDcvbGaTORCstmoOe
920c86c81496 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 9 hours mocLEMmXAYWmzaKgDEDfZEgUFJrVMOBj
4085a19f640b storjlabs/watchtower:latest "/watchtower" 7 days ago Up 6 hours NVeqMURFBNHfxjWnYaniJRdtiQyanYHu
81db553f8392 storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours XfXweyWmRkAdseczTglPGTGxtEysvGeY
c6f463249cad storjlabs/watchtower:latest "/watchtower" 7 days ago Up 11 hours UxTTXdSYYAAenXQOWiVLkFDAeAwUyCrf
ce51643ed63d storjlabs/storagenode:alpha "/entrypoint" 7 days ago Up 9 hours 0.0.0.0:28967->28967/tcp, 0.0.0.0:4403->14002/tcp storagenode
f271220db724 84803293c0e3 "/watchtower" 4 months ago Up 11 hours rLRItDtGBXarlvCUrQBgWzlArYwKYoxo
Удалил кучу текста, там где пробел, из-за ограничения сообщения, но в принципе и так видно, что “смотрящихбашен” размножилось неимоверное кол-во((((
Примените пожалуйста этот скрипт:
Кстати, тэг у storagenode должен быть beta. Проверьте, что у вас -v заменены на --mount
а где это смотреть?
/для увеличения длины поста/
скрипт применил, сервер нормальное теперь требует кол-во ОЗУ, но нода(докер) похоже остановлена, запускать?
в общем перезагрузил виртуалку и ситуация вернулась в исходное состояние: нода лагает, на команды реакция крайне долгая(
Запустите ещё раз скрипт. Нужно добить все запущенные контейнеры watchtower. Похоже, что сервис docker вылетел в прошлый раз.