For safety reason. 14 days GE would require some supervision from our side. With a possible payout cut in mind we will have to watch it anyway and can as well try 14 days. If the team agrees on that idea. That part is still oustanding.
I don’t know how this chapter 11 process works. My guess is as good as yours. All I can say is that there is at least the intension to do payouts as normal maybe a few days later depending on how long the court needs to agree.
Я не хотел называть вас террористами, честно, и до сих пор не хочу, это я сорвался. И прошу за это прощения. И да, я действительно начал воспринимать предупреждение, как угрозу, после того, как пришло несколько ребят с большими концентратами данных и начало подливать масла в огонь, нагнетая обстановку.
Я был, мягко говоря, ошарашен в каких объёмах вы контролируете клиентские данные с использованием нарушений всех правил, которые и были созданы, чтобы как раз именно такой концентрации и не происходило, плюс упоминание закрытого клуба и обещание выключить сервера без GE, если мы снизим цены… надеюсь, вы можете понять ход моих мыслей и почему я сорвался. Естественно, Storj так не думает, но у меня нет цифр, чтобы быть уверенным, что такое действие безопасно для клиентских данных.
Вообще никто не против вас, вы возможно, имеете даже меньше потерь данных, чем многие операторы, просто сделайте так, чтобы если вы выключите все ваши сервера с десятками ПБ данных клиентов, то наши клиенты не потеряли бы свои данные. Возможно, стоит заключить контракт со Storj, чтобы они могли разметить ваши узлы и распределяли данные так, чтобы даже потеря большей части ваших узлов не принесло вреда клиентам, как это делается в Select. Там нет правила /24, там есть другие, гораздо более жёсткие, потому что узлов меньше, чем в Public Network, да, возможно они качественнее по железу и связи, плюс сертификация и т.д., и т.п. Однако есть Select операторы без SOC2 и на их ресурсы спрос тоже есть (но это уже обычно связано с требованием держать данные регионально).
Это моё ожидание было, не обращайте внимания, оно не совпадает с мнением Storj. Сеть была разработана с учётом рационалов, а не альтруистов.
Эта идея предлагалась вместе с убиранием /24, насколько я понимаю, это бы могло замедлить взрывной рост узлов и возможно уменьшить выплаты без снижения самих цен. Потому что это же самое на мой взгляд, просто в случае убирания /24 и снижения цен это не предотвратит гонку создания узлов.
Да, я встречал сообщения здесь по запуску нескольких мелких узлов для того чтобы можно было высвобождать место по мере необходимости, избежать held amount и vetting (в нарушение ещё двух правил, которые были созданы против концентрации и высокого рейтинга пересоздания узлов). Так что вы правы, эту дырку идея о бесплатном минимуме 500ГБ хранилища, скорее всего, бы тоже закрыла и сделала бы эксплуатацию этой дырки нерентабельной.
Просто я никогда не забываю о клиентских данных. В комбинации с убранным правилом /24 это даёт немаленькую вероятность попадания нескольких кусочков одного и того же сегмента (а на масштабах - и не одного) на один и тот же диск. Диск сдыхает - сегмент может быть потерян, если потеряно достаточное количество сегментов ниже порога ремонта = потеря клиентских данных. Даже если это один файл, это финал всей истории. И тогда и нам $0, и вам $0, все расходимся.
Если уж вам так нужно напихать как можно больше узлов - используйте хотя бы ZRAID1, в этом случае есть хоть какая-то вероятность, что данные смогут выжить.
Вы, скорее всего, правы, просто суммарно все сообщения создали ощущения сговора и это и привело ко всей этой истории…
Но есть разница между потерей вашей стойки или даже сервера, где лапша из сегментов может легко оказаться ниже порога ремонта и данные клиентов - пуф в один момент. Чего не скажешь о небольших SNO, им даже договориться тяжелее, чтобы нанести вред, не говоря уже о том, что это вряд ли будет происходить одновременно, и тогда ремонтники смогут успевать.
В принципе, если бы не ваше утверждение, что вы выключите сервера без GE, то меня это бы и не триггернуло. Когда вы помечаете узел на GE вы сигнализируете аудитору, что надо проверить - достаточно ли будет оставшихся кусочков для восстановления или нет. Если нет, то ремонтникам нужно время, чтобы выкачать недостающие и перераспределить. Когда это время слишком короткое, они не успеют и вероятность потерь данных возрастает, чем короче этот период.
Есть предложение сократить период GE, мне пока что кажется, что короче трёх недель сделать вряд ли получится, но вдруг команда снова совершит чудо.
Я вас услышал и прошу прощения за мою атаку. Но я надеюсь, что и мои причины вы тоже прочитаете.
Я передаю написанные идеи в команду без моего мнения, как есть, потому что всегда есть вероятность, что я неправильно интерпретировал что-то. Пока всё равно ни одна из идей ещё не одобрена, и у нас сейчас главная задача, чтобы не применили без нас это снижение цен просто по решению судьи, потому что мы бы хотели выйти из этой ситуации с наименьшими потерями.
I didn’t mean to call you terrorists, honestly, and I still don’t. I lost my cool. And I apologize for that. And yes, I did start to perceive the warning as a threat after several guys with large data caches showed up and started adding fuel to the fire, escalating the situation.
I was, to put it mildly, stunned by the extent to which you control client data, violating all the rules that were created to prevent this kind of concentration, plus the mention of a private club and the promise to shut down servers without GE if we lowered our prices… I hope you can understand my thinking and why I lost my cool. Naturally, Storj doesn’t think so, but I don’t have the numbers to be sure such an action is safe for client data.
No one’s against you, you probably have even less data loss than many operators. Just make sure that if you shut down all your servers with dozens of PBs of client data, our clients don’t lose their data. It might be worth contracting with Storj so they can partition your nodes and distribute data so that even the loss of a large portion of your nodes doesn’t harm clients, as is done in Select. They don’t have a /24 rule; they have other, much stricter ones, because there are fewer nodes than in the Public Network. Yes, they may have better hardware and connectivity, plus certification, etc., etc. However, there are Select operators without SOC2, and there is demand for their resources too (but this is usually due to the requirement to keep data regionally).
This was my expectation, but don’t pay attention; it doesn’t align with Storj’s opinion. The network was designed with rationalists in mind, not altruists.
This idea was proposed along with removing /24. As far as I understand, this could slow the explosive growth of nodes and possibly reduce payouts without lowering prices. Because, in my opinion, this is the same thing. Removing /24 and lowering prices won’t prevent the node creation race.
Yes, I’ve seen posts here about running multiple small nodes to free up space as needed, avoiding held amounts and vetting (which violates two other rules that were created against concentration and high nodes churn). So you’re right, the idea of a free minimum of 500GB of storage would likely close this hole as well and make exploiting it unprofitable.
I just never forget about client data. Combined with the removed /24 rule, this creates a significant chance of multiple pieces of the same segment (and at scale, more than one) ending up on the same disk. A disk is dying—a segment can be lost if enough segments are lost below the repair threshold = loss of client data. Even if it’s just one file, that’s the end of the story. Then it’s $0 for us and $0 for you, everyone’s gone.
If you really need to cram as many nodes as possible, at least use ZRAID1; then there’s at least a small chance the data will survive.
You’re probably right, but the combined messages created a sense of collusion, and that’s what led to this whole situation…
But there’s a difference between losing your rack or even a server, where a smattering of segments can easily fall below the repair threshold and customer data—poof, instantly. The same can’t be said for smaller SNOs; it’s even harder for them to agree on anything to cause damage, not to mention that it’s unlikely to happen simultaneously, so repair crews can keep up.
In fact, if it weren’t for your statement that you’ll shut down the servers without GE, it wouldn’t have triggered me. When you mark a node for GE, you signal to the auditor to check whether the remaining fragments are sufficient for recovery. If not, repair workers need time to download the missing ones and redistribute them. If this time is too short, they won’t be able to keep up, and the likelihood of data loss increases the shorter this period. There is a proposal to shorten the GE period, but for now it seems to me that it will hardly be possible to make it shorter than three weeks, but we will see.
Why don’t so it like SIA, they have a coleteral system, where you have to spend you own money to first get data. The coleteral rises with the amount of data stored. And if your node gets disqualified, then you loose your coleteral
Like this the held amount system is dynamic and adjusted to the node size. One of my nodes for example failed to store data for quit some time (my first node, so I didn’t know better) and has just a bit over 2 USD as held back amount
I’m pretty sure people were asking for the ability to shrink a node from the beginning. If this supposed to be “use your unused space on hardware that’s online anyway” then it is obvious that the operator may need some of the space back for his own files. Right now the only “legit” way to do this is to reduce the allowed space in the configuration and wait for the files to eventually be deleted. It may take a day or it may take a year, nobody knows.
So yeah, I can understand people creating multiple smaller nodes to get around this. Especially since with the /24 rule it did not matter if it’s one large node or many small ones. I remember discussions about whether to use RAID and run a single large node or run many smaller ones on separate drives (or smaller arrays).
We wanted to make the entry threshold as simple as possible. You can run the node without spending money on additional online hardware or disk space, and you don’t have to invest your own money to participate in the network. Set it up and forget about it, then you receive regular payments that reduce your existing bills.
But it seems we now need to consider this option as well.
I agree with this, so I hardly complained when someone used the idea of creating several not-so-large nodes (but certainly not so small as to be close to zero, as is usually done to circumvent the other two rules, such as held amount and vetting) specifically to free up space faster than it would take several months, if ever.
Implementing partial GE was and is labor-intensive, and there aren’t many good ideas. The only option is to use GE from one or two satellites, reduce the available space, and live with the remaining satellites.
This solution is also not perfect when market is almost constantly going down. You freeze 100 tokens cost 100$ at the beginning and get back 100 tokens cost 50$ at the end of the contract…
Yes, and I see the block chain concept as a problem on Sia. They mint thousands of new tokens each day from mining. So the token price goes down. Storj has a fixed amount of tokens. If everyone has to buy (or reinvest) the tokens to get more data, the demand rises. And with more demand and lower availability, the price has to rise too. So it could end, that you invest like 10 USD and at the end of the month the tokens are worth 15 or 20 usd
And my idea is not “you have to invest 100 USD to get started” my idea is (like SIA) you get tokens with 10 USD and can only get data with like 10 USD or lower (Sia has default 2x coleteral). And at the end of the month, you get payed for the data in tokens that you can then reinvest to get more data. So if you wait long enough, you can pull out tokens to sell or even start a new node with the token gathered.
With the current price 100 USD lying on a node account would be 2.236,93 tokens. If everyone would do that with every node (yes I am very oversimplifying here) at 33k nodes currently shown active that would be 73818690 Tokens “removed” from circulation and I highly doubt that with almost 75 million tokens less, the price would be that low
Yeah, that’s what I figured. Doing something like checking if a segment has enough pieces, if so, deleting the piece from the node, repeat until there is enough free space would probably create a lot of load for the satellite.
The idea of using unused space would ideally mean the node can be allowed to use the free space, then shrink if the operator needs the space, but later be allowed to grow if the operator does not need the space anymore. Kind-of like how a process running at the lowest priority gets the unused CPU time, but other processes can take it away from that process.
But yeah, it was complicated to implement and the effort is better spent on adding features and fixing bugs to attract more customers.
Алексей, вы меня извините конечно, но вы либо осознанно издеваетесь, либо этот разговор бесполезен. Еще раз, предельно четко - это САМАЯ ТУПАЯ ИДЕЯ ЗА ВСЮ ИСТОРИЮ ФОРУМА, с ней вы ГАРАНТИРОВАННО убьете сеть, потому что если вы это сделаете - почти все СНО получат настолько серьезное мгновенное снижение выплат, что вот это уже будет плевок в лицо СНО и тут вы получите, вероятно, уже осознанное жесткое отключение у большинства СНО, просто в наказание за фатальную глупость. Ну вот если у меня есть нода на 1Тб, и вы у нее 500Гб делаете бесплатным, какой реакции, кроме немедленного отключения вы ждете?
По крайней мере лично я сделаю именно так со всеми маленькими нодами (которых большинство), потому что работать с настолько плюющим на тебя заказчиком - себя не уважать. Я вам прямо написал, что так делать нельзя и объяснил почему, а вы в ответ пишете про “идея позволит закрыть дырку”. Это не дырка, это естественное состояние вашей сети в текущий момент. Хотите проверить - вперед, но перед этим советую обновить резюме.
P.S. если вы совсем не умеете считать, я подскажу - возьмите общий объем сети и разделите на количество нод. Удивительным образом у вас получится, что средний объем меньше 2Тб. То есть несложно прикинуть, что даже по самым грубым прикидкам вы МГНОВЕННО потеряете 20-30% сети среди тех, у кого вся нода станет бесплатной. А на самом деле ситуация будет еще хуже.
People who have 1TB nodes don’t get paid that much anyway. It’s like, what? $2-$3/month? That would go down to $1-$2/month. Probably not that much of a difference. People who do it or $2/month probably do it for fun more than for money.
This would discourage running lots of small nodes as an operator though, which is what I assume they want. They want a smaller number of large nodes.
I have a proposal to combined these. Make it a node setting - you can choose to be paid for every byte (like now), but have the /24 rule apply (like now). Or, you can make the node exempt from the /24 rule, but then 500GB is free.
I understand that without the /24 rule (especially if even nodes with the same IP no longer get combined) everyone will be motivated to create lots of small nodes to get more uploads, that could trigger a race (I mean I do not want to create multiple nodes, but if everyoen is doing it, then I have to do it as well or I get almost no ingress).
I would say that it is you who want to kill network and complain that Storj want to prevent this situation. It is really hard to work with people who dont obey any rules.
The local advisors are so hard on math…
0.5 TB * $1.5 = $0.75 loss of 1 node
32,000 nodes / 12,600 subnets = 2.5 nodes/subnet, or roughly $2.5 * $0.75 = $1.875 per subnet. That’s roughly what it costs now. So, the SNO will get nothing but extra hassle.
Your argument that an operator earning $3 won’t notice a drop to $1 is correct, because such operators usually don’t monitor their nodes for years. There’s absolutely no economic sense in wasting time getting those $1-3 by exchanging a token (which is constantly declining), while Storj spends the ETH commission on it, and then spends it again. So, what the heck is all this for? These are the kinds of SNOs I call “USB-raspberry” or “altruists.” I’ve already explained why it’s pointless to rely on them; they don’t care about the money, and they don’t store most of the network’s data. If you rely on them, you can safely cut the price threefold without any fuss, and by your math (3$/3=1$), nothing will change; they’ll keep working. Do you think that’s a good idea?
Yes, all the big SNOs are very eager to destroy their own businesses, you’re right. Why isn’t there a facepalm among the reactions here? 
What kind of nonsense is this, after all? During the last cut, we were told that $1.50 would allow the company to operate profitably, while other expense categories were significantly higher (according to employees). Now these same employees are claiming that they’ve drastically reduced all other expenses, meaning the company should have become even more profitable? Or were we lied to last time? Why are we even seriously discussing the nonsense that reducing social security payments by absolutely ridiculous amounts (remember, we’re talking about approximately $25,000 in total) will save the company? Where did this figure come from? Why is management trying to figure out where our “survival point” is, completely disregarding the value of our labor and the surrounding reality? Maybe the CEO should go to the bank and take out a personal loan for $100,000 and save his (remember, commercial!) company?
Turns out there is a union, Im just not big enough to join it 
Sorry, you’re confused. We’re not a union, we’re cheaters and a terrorist cell 
(Yes, I know you apologized, Alexey, but this is already a meme and it won’t be erased from the internet.)
P.S. In Russia, we have a special government agency, Roskomnadzor, whose job it is to disrupt the internet as much as possible, hinder businesses, and make life difficult for users. As far as I know, many countries are currently doing the same. Because they believe the internet shouldn’t work the way users want, but the way they think it should (according to the rules!). Many of the advisers on this forum seem to have worked for this agency (or want to work there). 
Fee for Node + ASN Binding + Smart Contract
This prevents people from mass-spawning nodes for no real reason.
Registration goes through a smart contract:
The more nodes one person (or one ASN) already has, the higher the required stake for each new one.
Result:
We remove the rigid /24 rule, protect the network from mass growth of nodes in one place, and keep proper data distribution.
If payouts are cut, but the storage fees (AVG) still cover electricity costs, will you use the Graceful Exit feature to leave the network safely without breaking it, or will you just shut down your nodes?