Después de aumentar disco no puedo acceder al Dasboard

Tenía algo de espacio sin asignar en un disco físico de 4TB. Tenía asignados 3133GB.
El nodo está instalado en un linux, lleva años funcionando.
He detenido el storj, borrado el contenedor, vuelto a instalar y vuelto a lanzar el contenedor con todos los parámetros, solo cambiando el de espacio de 3133 a 3300GB. He hecho este procedimiento otras veces y nunca me había pasado lo de ahora.
Veo que hay procesos del storjnode en ejecución con el comando “top”, el contenedor se está ejecutando y el disco está trabajando, pero he dejado de poder acceder al Dashboard y lleva muchos minutos. Mirando el estatus de docker veo lo siguiente y me tiene muy preocupado:

/etc/init.d/docker status

● docker.service - Docker Application Container Engine
Loaded: loaded (/lib/systemd/system/docker.service; enabled; preset: enabled)
Active: active (running) since Tue 2023-09-19 22:36:51 CEST; 48min ago
TriggeredBy: ● docker.socket
Docs: https://docs.docker.com
Main PID: 1059 (dockerd)
Tasks: 59
Memory: 86.1M
CPU: 12.824s
CGroup: /system.slice/docker.service
├─1059 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
├─6920 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─6927 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─6940 /usr/bin/docker-proxy -proto udp -host-ip 0.0.0.0 -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─6947 /usr/bin/docker-proxy -proto udp -host-ip :: -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─6961 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 14002 -container-ip 172.17.0.2 -container-port 14002
└─6968 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 14002 -container-ip 172.17.0.2 -container-port 14002

sep 19 23:25:26 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:26Z INFO piecestore upload canceled (race lost or node shutdown) {“process”: “storagen…BYQCPANYXZWTQ”}
sep 19 23:25:26 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:26Z INFO piecestore upload canceled (race lost or node shutdown) {“process”: “storagen…CCQDTNIOYFZQQ”}
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "BTWPBVMWHGUNOC2DOLCXLVL6LW…
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "KINXBSCVCDKWXODDZRMS4X3B4K…
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload canceled (race lost or node shutdown) {“process”: “storagen…4Q5DXSM64QRHA”}
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "QPNGOV6IVLPWTUJXYVFMKQFLPH…
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload canceled (race lost or node shutdown) {“process”: “storagen…TEU4DD22OZLTQ”}
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "MYMRSHTYJYZGQ73PTT4AJUJHIK…
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore download started {“process”: “storagenode”, “Piece ID”: "ZNNR2QMPVVQ7LBG44G7HCJQA…
sep 19 23:25:27 storj 2fdd22f7b59c[1059]: 2023-09-19T21:25:27Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "X6EGLUE2ON56MXDXQ65ZCYJSJL…

Yo tampoco puedo acceder a la dashboard en los nodos que se han actualizado a la última versión. He probado a reinstalar la anterior imagen de docker y ya vuelve a funcionar la dashboard.

Prueba a usar el siguiente comando para ver el estado del nodo desde cli:
docker exec -it storagenode /app/dashboard.sh

También revisa los logs para ver si esos mensajes fueron algo puntual cuando actualizaste el nodo o aparecen contínuamente.

Me había dado la sensación de que la imagen de storagenode se había actualizado hacía unas horas pero no estaba seguro, por el CLI me sale esto, esta mañana sigo sin poder acceder al Dashboard vía web:

Storage Node Dashboard ( Node Version: v1.86.1 )

======================

ID
Status ONLINE
Uptime 8h5m34s

               Available          Used       Egress       Ingress
 Bandwidth           N/A     326.37 GB     64.37 GB     262.00 GB (since Sep 1)
      Disk     171.41 GB       3.13 TB

Internal 127.0.0.1:7778
External xxxxxxx.duckdns.org:28967

Me siguen saliendo algunos mensajes:

/etc/init.d/docker status -l

● docker.service - Docker Application Container Engine
Loaded: loaded (/lib/systemd/system/docker.service; enabled; preset: enabled)
Active: active (running) since Wed 2023-09-20 00:07:27 CEST; 8h ago
TriggeredBy: ● docker.socket
Docs: https://docs.docker.com
Main PID: 36921 (dockerd)
Tasks: 58
Memory: 67.3M
CPU: 1min 31.803s
CGroup: /system.slice/docker.service
├─36921 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
├─42113 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─42119 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─42134 /usr/bin/docker-proxy -proto udp -host-ip 0.0.0.0 -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─42141 /usr/bin/docker-proxy -proto udp -host-ip :: -host-port 28967 -container-ip 172.17.0.2 -container-port 28967
├─42153 /usr/bin/docker-proxy -proto tcp -host-ip 0.0.0.0 -host-port 14002 -container-ip 172.17.0.2 -container-port 14002
└─42160 /usr/bin/docker-proxy -proto tcp -host-ip :: -host-port 14002 -container-ip 172.17.0.2 -container-port 14002

sep 20 08:29:40 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:40Z INFO piecestore upload canceled (race lost or node shutdown) {“process”: “storagenode”, “Piece ID”: “…6EI2PMTMEWHAO6A”}
sep 20 08:29:41 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:41Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "QXFQKVPF3AC6FSVZV4PC4UYJOL5FG4APSED2OX6XITH7PNT…
sep 20 08:29:41 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:41Z INFO piecestore uploaded {“process”: “storagenode”, “Piece ID”: “QXFQKVPF3AC6FSVZV4PC4UYJOL5FG4APSED2OX6XITH7PNTCA2QQ”…
sep 20 08:29:41 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:41Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "KESWI6NV35UC6375WO3VKAIOLOCXUXUGZWWXA4WOCI4QLXZ…
sep 20 08:29:41 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:41Z INFO piecestore uploaded {“process”: “storagenode”, “Piece ID”: “KESWI6NV35UC6375WO3VKAIOLOCXUXUGZWWXA4WOCI4QLXZEEQMQ”…
sep 20 08:29:41 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:41Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "FESYUH45LCEU6GPD5WCGHDXESLTHZY3WZUR427R7DP2MR27…
sep 20 08:29:41 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:41Z INFO piecestore uploaded {“process”: “storagenode”, “Piece ID”: “FESYUH45LCEU6GPD5WCGHDXESLTHZY3WZUR427R7DP2MR272X2OQ”…
sep 20 08:29:42 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:42Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "G2J6NNBUTRGGRUBKSJSTOM32ZEVXRP33YAZD4N3TKF23ZTZ…
sep 20 08:29:42 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:42Z INFO piecestore uploaded {“process”: “storagenode”, “Piece ID”: “G2J6NNBUTRGGRUBKSJSTOM32ZEVXRP33YAZD4N3TKF23ZTZEK6ZQ”…
sep 20 08:29:42 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:42Z INFO piecestore upload started {“process”: “storagenode”, “Piece ID”: "BDH5GERREF2E2S7DN3WV65YMIHQHUFOTM3YYYO5Z6TRJIVU…
Hint: Some lines were ellipsized, use -l to show in full.

3 Likes

Puedes estar tranquilo, el nodo te esta funcionando correctamente.

sep 20 08:29:40 storj c10c1d8c8e78[36921]: 2023-09-20T06:29:40Z INFO piecestore upload canceled (race lost or node shutdown) {“process”: “storagenode”, “Piece ID”: “…

Este mensaje que te esta saliendo significa que el nodo no ha ganado la carrera para guardar el fichero. El funcionamiento para guardar un fichero de un cliente es:

El cliente desea guardar un archivo, solicita a 110 nodos para cada segmento del archivo y comienza a cargar en paralelo, cuando se completan los primeros 80 para cada segmento del archivo, todos los restantes se cancelan y de ahí que aparece tu mensaje de que se ha cancelado la subida.

3 Likes

Gracias por el informe. Se carga una nueva imagen docker con la reversión del cambio. (versión mejorada se publicará después de una corrección de errores)

4 Likes

Confirmo que he recuperado el acceso al Web Dashboad.
El procedimiento:

docker ps
docker stop storagenode
docker rm storagenode
docker pull storjlabs/storagenode:latest
docker run -d --restart unless-stopped --stop-timeout 300 -p 28967:28967/tcp -p 28967:28967/udp -p 14002:14002 -e WALLET="wallet_address" -e EMAIL="e-mail" -e ADDRESS="domain_name:28967" -e STORAGE="3300GB" --mount type=bind,source="/storj/storagenode/",destination=/app/identity --mount type=bind,source="/storj/datastorage/",destination=/app/config --name storagenode storjlabs/storagenode:latest
docker ps

¡Vuelve a funcionar!

Espero que el problema de los cambios se resuelva pronto. Mi storagenode ha quedado un poco tocado después de muchos años sin paradas :sweat_smile:, por las pruebas realizadas para intentar solucionarlo, pensando no funcionaba nada y pensando que era por el cambio que había hecho de espacio. :worried:

A ver ahora como me penalizan todo esto… Esperemos se solucione todo.

Gracias @elek por tu pronta respuesta y solucionarlo tan rápido!!

3 Likes

Si los nodos no han estado más de 15 días apagados, no debes preocuparte, mientras el online no te baje del 60% no te suspenderán. Si te ha bajado un 2-3% por hacer las pruebas, en un mes lo vuelves a tener al 100% :grin: