Расскажите пожалуйста, может у кого то есть нода на 10-15 ТБ или более.
Хочу узнать информацию. Несмотря на то что какая информация будет представлена буду инвестировать в проект 700бачей на покупку оборудования (растбериПИ 8Гб и 12Тб HDD). Нуждаюсь в информации так как работал с данным сервисом в начале 2017 и забросил его в конце 2017 (ушел в армию). Всем спасибо.
Здравствуйте @11FaTuSh11,
Добро пожаловать на форум!
В v3 больше не требуется много памяти, у меня rpi3 1GB RAM работает нормально с одним диском.
Большое количество дисков подключать к rpi4 даже с внешним питанием не очень хорошая идея, они по-прежнему используют один канал для почти всего.
Посмотрите лучше в сторону Odroid HC2:
Лучше запускать не один большой узел с большим количеством дисков в RAID, а по одному узлу на каждый диск. В сумме они получат трафика не больше, чем один узел (мы фильтруем узлы из одной /24 подсети публичных IP), зато будет распределение нагрузки и рисков.
Интересная у Вас сборка, подробней можете про нее рассказать? например какая ОС используется на данной плате, потребление, крепление ли стандартное, может рейд массивы, может это как докер контейнеры что один главный а остальные управляются главным.
Спасибо.
Это не моя сборка 
Я просто показал пример. Это нужно будет у автора спрашивать.
Обычно такая сборка - это просто несколько Odroid HC2, они обычно собираются так:
Вот эта мелочь воткнутая в HDD и есть Odroid HC2
Обычно ставят Debian/Ubuntu для ARM headless (без GUI). На каждом из них работает один узел использующий один диск. Соответственно, никаких RAID.
Пожалуйста, уточните, софт storjnodaV3 будет корректно работать на OS Centos 7?
Есть ли рекомендации по установке на подобные (ODROID-HC2) устройства?
Спасибо.
Да будет. Но проблемы у вас тоже будут. Как минимум - брандмауэр блокирует докер из коробки, вам придётся добавить разрешения: https://forum.storj.io/search?q=firewall%20%23centos%20
На Odroid HC2 рекомендуют Ubuntu: https://wiki.odroid.com/odroid-h2/start
Они производят ещё и такую забавную штуку: https://wiki.odroid.com/odroid-hc4/odroid-hc4
Ноду размером в 10-15 ТБ я бы не стал называть большой. Так же 700$ на 12тб ноду… Очень дорого. по моим расчетам, такая нода будет приносить 30-40$ ежемесячно (после наполнения), что приблизит окупаемость к двум годам.
Так же я бы рекомендовал смотреть в сторону б/у жестких дисков.
Моя сборка обошлась мне в примерно 300$, в ней 7 дисков по 3тб, на каждом под сторж отдано по 2,5, соответственно суммарно 17,5 тб. Собрано всё в обычный офисный корпус, стоит 16гб оперативы и intel xeon e3 с пониженным энергопотреблением. Работает скоро год как, окупилось на 10м месяце. Соответственно, все компоненты б/у. Ос использую Ubuntu 18.04LTS
Собираюсь запустить большую ноду размером 70 Тб на серверном железе, но пока не придумал как решить проблему с шумом. На данный момент сборка почти готова к работе и обошлась в 1100$
1 Like
Так же, если интересно, провожу экспиремент с 3мя нодами (7Тб,7Тб,3Тб) на древнем Celeron D 2,66 Ггц.
Эта сборка обошлась в 231$. Да, возникли некоторые проблемы, но это скорее из-за моих кривых рук, чем из-за проблем с железом
Я беру новое железо в частности HDD потому как у него гарантия 60мес - а это много 
Я думал собрать сервак с рейд10 на 100+тб но тогда под это дело нужен инет 1гбит+бесперебойник+запасной (резервный канал хотя бы 100мбит) это дорого и бессмысленно так как может не окупится и за 5+ лет. Резюмируя - это все дополнительные расходы (опыт в сборке, настройке есть, работаю сисадмином в хостинг компании).
- идея с Б/У железом мне понравилась но HDD все равно буду брать только новые.
Если че обращайся чем смогу тем помогу
На самом деле, чем проще конфигурация - тем надёжнее.
Как пример, моя raspberry Pi3 B+ была собрана почти 2 года назад и с тех пор работает непрерывно без особых проблем. Там только один диск на 2ТБ, никаких бесперебойников или дублирований канала/диска и т.п. Она окупилась уже два раза и сейчас оплачивает половину моих коммунальных счетов. Вторую половину этих счетов оплачивают другие два узла, работающие на моём домашнем центре развлечений.
Я не предлагаю покупать железо специально для Storj, это было моё личное решение и мой риск. Потому что нет никаких гарантий что вложение окупится. Слишком много факторов - размер сети, количество активных клиентов, активность клиентов. Прошлое использование не гарантирует такое же использование в будущем. Короче, никакой предсказуемости.
Со стороны Storj рекомендация одна и та же - используйте то, что у вас есть сейчас, особенно если оно будет онлайн в любом случае. В этом случае никаких рисков - расходы уже оплачены, железо было для других целей и сейчас просто приносит дополнительный доход.
Как пример - как раз мой центр развлечений. Он онлайн всё равно со Storj или без. Там было свободное место - я запустил узел. Через полгода, когда мои узлы принесли достаточно денег, я добавил ещё диск и запустил второй узел. Сейчас он тоже окупился полностью и все узлы приносят только доход. Расходы на центр развлечений я оплачивал всё равно и раньше, так что теперь это хорошая скидка к моим счетам.
1 Like
простите за оффтоп, но как быстро заполняются ноды? у меня уже почти год работает, заполнилось всего 2.5 Тб, маловато как то мне кажется…
Здравствуйте @schnaps1981,
Добро пожаловать на форум!
Зависит от клиентов и немного от вашей настройки.
Например, ваш узел будет проигрывать гонку за кусочками другим более быстрым узлам, если вы используете хранилище подключенное по сети или SMR.
Если в вашей /24 подсети публичных IP есть другие узлы, то они будут делить с вами входящий трафик, посмотреть можно тут: Neighbors
Примерно оценить эффективность вашего узла можно с помощью скрипта Success rate script - Now updated for new delete terminology since v1.29.3
Убедитесь, что ваш узел обновлён до последней версии (1.67.1 или 1.67.3).
У меня примерно так же - запустил ноду в августе, и сейчас там накопилось примерно 1.8Тб. И это посреди силиконовой долины — так что я думаю это примерно среднее по больнице…
ДаркСтат на ноде отражает довольно монотонный трафик который выглядит одинаково на любом зуме — что за минуту, что за час, что за день :
na samom dele, eto kak-to malo, I have 2.7 TB in 6 month
prover 4to v tvojom vneshnem IP /24 net bolshe net drugih node
Neighbors here you can check it.
1 Like
Если посчитать по цене за новое с таким сроком гарантии, то скорее всего получится, что дешевле купить новое, но без гарантии, но х3 за ту же цену. Т.е. вместо одного диска с гарантией 5 лет, 3 диска без гарантии. Разница в том, что покупая это для сторжа, гарантия не спасет от потери узла. А вот raidz1 (ну или зеркало) спасет.
Вроде я один
1 node was found in the subnet reachable within the last 24 hours
Может региональные особенности? Много нод вокруг, (не обязательно в том же /24), потому меньше траффика каждой достается глобально.
Скорее мало клиентов вокруг. Когда клиент загружает файл, он шифруется, разбивается на сегменты, кодируется в Reed-Solomon и разбивается на stripes, они затем разбиваются на кусочки и загружаются в сеть. При загрузке ПО клиента запрашивает 110 случайных узлов у сателлита (каждый узел из своей /24 подсети) и начинает загрузку на узлы. Как только первые 80 загружены, остальные отменяются.
Таким образом клиент загружает данные на ближайшие узлы к своей локации.
1 Like
Наверное в этом дело действительно. Successrate выглядит нормально, меньше процента cancel rate на ingress:
root@storj:~ # ./successrate.sh yesterday.log
========== AUDIT ==============
Critically failed: 0
Critical Fail Rate: 0.000%
Recoverable failed: 0
Recoverable Fail Rate: 0.000%
Successful: 35
Success Rate: 100.000%
========== DOWNLOAD ===========
Failed: 1501
Fail Rate: 3.768%
Canceled: 2683
Cancel Rate: 6.735%
Successful: 35654
Success Rate: 89.498%
========== UPLOAD =============
Rejected: 0
Acceptance Rate: 100.000%
---------- accepted -----------
Failed: 5
Fail Rate: 0.004%
Canceled: 484
Cancel Rate: 0.353%
Successful: 136509
Success Rate: 99.643%
========== REPAIR DOWNLOAD ====
Failed: 0
Fail Rate: 0.000%
Canceled: 0
Cancel Rate: 0.000%
Successful: 633
Success Rate: 100.000%
========== REPAIR UPLOAD ======
Failed: 0
Fail Rate: 0.000%
Canceled: 0
Cancel Rate: 0.000%
Successful: 4270
Success Rate: 100.000%
========== DELETE =============
Этот отчёт не особенно пригоден для анализа почему ваш узел реже выбирается. Тут возможно ещё и блокировки применяются на стороне ISP да и самих клиентов.
Хм. Интересная мысль.
Имеет смысл попробовать какое то время роутить траффик через какой нибудь коммерческий vpn с локальным энпоинтом (чтоб не сильно добавить latency), который поддерживает port forwarding? У меня действительно резиденшиал интернет дома, и хотя провайдер по идее не должен фильтровать – может все же что то они там делают.
Хотя может станет хуже - вообще непонятно кто с випиэна пришел…
Edit. А если не коммерческий, а мой собственный инстанс где-нибудь в гугль или Амазон облаке? Оракл дает 10ТБ траффика бесплатно в месяц на always free tier. Если у них есть датацентр поблизости – может попробовать? Если это никакие ToS Storj не нарушит. Пойду читать.