Хотел как лучше, надежнее, масшабируемо, а получилось плохо

dlja na4ala, skolko za sutki u vas GB ingress dannyh? sei4as dvizhetsa mnogo faelov, i vse vyigrat ne vozmozhno, posle novogo goda takzhe vklju4ili garbige collector, toest udaljajutsa dannye, eto tozhe zanimaje vremja i responce time dlinnee.

На малине ноль. На винде 2,2GB

Upload это моя нода выгружает в сеть. Так?
Download это моя нода загружает из сети. Так?

net, upload, eto to 4to ty ska4ivaesh, toest klient delaet upload.
Download eto ty zagruzhaesh klientu obratno, toest klient delaet download.

Nemnogo zaputano, no vsjo sdelano s to4ki zrenija klienta.

1 Like

@Vadim, Спасибо большое. Простите дурака :smile: я видимо просто не разобрался в понятиях.
Аплоад это ingress! Его у меня нет так как места нет (нода на малинке заполнена). Процент смешной потому что сначала идёт удаление трэша, потом освобождается место, только потом закачивает ко мне (и это upload с точки зрения клиента). А Egress, который download с точки зрения клиента, то есть отдача от меня на малинке в порядке.

Summary

pi@raspberrypi:~ $ sudo ./successrate.sh
========== AUDIT =============
Successful: 4
Recoverable failed: 0
Unrecoverable failed: 0
Success Rate Min: 100.000%
Success Rate Max: 100.000%
========== DOWNLOAD ==========
Successful: 35
Failed: 0
Success Rate: 100.000%
========== UPLOAD ============
Successful: 0
Rejected: 0
Failed: 0
Acceptance Rate: 0.000%
Success Rate: 0.000%
========== REPAIR DOWNLOAD ===
Successful: 5
Failed: 0
Success Rate: 100.000%
========== REPAIR UPLOAD =====
Successful: 0
Failed: 0
Success Rate: 0.000%

Otli4no 4to razobralis

разрабы говорили, что в том скрипте все с точки зрения оператора ноды
Аплоад - выгрузка с ноды в сеть
Даунлоад - загрузка на ноду из сети

Нет или низкий аплоад - нет денег

nu davaite sprosim u @BrightSilence on delal skript

@BrightSilence what is upload and download in your script ?

The terminology in my scripts is the same as Storj uses in the logs. So Upload is an upload to the node (ingress). Download is a download from the node (egress).

@Vadim @Alexey
Вернул ноду в LXC(unpriv) с Docker на proxmox, запустил по стандартному:
"docker run -d --restart unless-stopped -p 28967:28967 -p 14002:14002 "
Загрузки ко мне, ingress, по скрипту upload - 15%

пересоздал с "docker run -d --restart unless-stopped --network host "
Загрузки ко мне, ingress, по скрипту upload - 45%

“–network host” работает, по крайней мере в схеме proxmox-lxc-docker

eto na raspberry ili pc s linux?

Нет, это другая нода, дом сервер на proxmox. Нода запущена в контейнере lxc с докером.

vozmozhno u nejo bolshe moshnosti 4em u PI, tak kak pri pomene parametrov u menja rezultat ne izmenilsja

Больше похоже на “особенности proxmox”. Ещё хочу без докера попробовать. Не знаете когда ожидаются бинарники для docker-less setup linux?

Овошьной целерон j1900, sata2 wd green 2tb EXT4, дебиан 10 чистый

"docker run -d --restart unless-stopped -p 28967:28967 -p 14002:14002 "
Загрузки ко мне, ingress, по скрипту upload - 72%%

пересоздал с "docker run -d --restart unless-stopped --network host "
Загрузки ко мне, ingress, по скрипту upload - 99%

В проксе без LXC на в 10 раз мошьном процессоре (такой же WD green 2TB)
22% и 48%

Т.е. НАТ докера - ОЧЕНЬ СИЛЬНО ОТБИРАЕТ статы
Завтра разменяю WANы нодам и будет видно, это влияение латенстности провайдера или еще и модифицированное ядро прокса так давит докер по сравнению с дебаном чистым

В том описании ВСЕ докеры были запущены стандартной командой с НАТ…
Отличие только в стораджах и помпаж был только на тему того, как целерон делает при равных условиях ноду на NVME

В скрипте (и конкретно в этом и во всех других что я уже успел попробовать) все пишется так же как оно пишется в текстовом логе самих клиентов (storj-node). Т.к. эти скрипты лишь продвинутые парсеры текстовых файлов сформированных основным клиентом.

А во всех логах разработчики Storj все пишут с точки зрения конечного клиента (а не владельца ноды). Типа клиент на 1м месте поэтому вся логика для всех компонентов сети (аплинка, спутника, нод) от него построена. Поэтому:

  • upload это upload клиента своих файлов на ноды (т.е. входящий / ingres c точки зрения владельцы ноды)
  • download это клиент скачивает свои файлы к себе назад (т.е. исходящий / egress c точки зрения владельца ноды).

Процент же не “смешной”, а просто чистый ноль судя по приведенной стастики. Так и должно быть если свободное место (лимит) дейсвительно кончился - спутник даже запросов на сохранение данных присылать не должен.
Никакой треш сначала он не удаляет. Треш удаляется по расписанию (после 7 дней “отлежки”). И судя по всему в лимите даже вообще не учитывается - по поим наблюдениям нодо считает только объем папки “blobs” где хранятся собственно рабочие данные.
А “треш”, темпы, свою базу данных и логи она не учитывает - поэтому нужно быть аккуратнее, можно получить переполнение диска и кучи ошибок даже выставив лимит меньше свободного объема на момент начала работы ноды. Поэтому официальная рекомендация оставлять “запас” в примерно 10% свободного места (сверх вписанного в настройки лимита) и появилась.

Я со своими экспериментами между j1900 на дебиане против зеонов на проксе (оба на докере без его НАТ и на одиночном диске EXT4 вд грин 2Тб)

целерон имеет аплоад 98%, зеон - 48% СТАБИЛЬНО

решил вчера после дежурства разменять ВАНы… пришел домой и увидел, что упал ВАН целерона и он перешел на ВАН2… сбросил стату

на утро все та же статистика по проценту

Уж больно разнится стата дебиана и прокса, при равных и лучших условиях прокса. Все, что в проксе не так это ВЕРОЯТНО, ядро и 100% дополнительная прослойка в виде Linux Bridge

В сервере 4 сетевые.
Хочу одну сетевую вынести из бриджа, дать ей только физику и конкретный IP

КАК ЗАПУСТИТЬ докер со сторж на хосте и повесить порт сторжа не на все интерфейсы, а только на один конкретный, без Linux Bridge?

Нет, в скрипте терминология с точки зрения клиента, как и во всех логах.
Upload - загрузка в сеть (на ноду), Download - загрузка к клиенту (с ноды).