Discussion for 🗺 Mega Lotus-Miner project issue

[rjan90]

This is a discussion thread for the 🗺 Mega Lotus-Miner project issue.

You are welcome to discuss any concerns, thoughts or ideas in this thread.

[beck-8]

Hi guys, I’m very excited to see a new architecture coming out because I’ve been tortured for three years. I consider myself a larger storage provider, and I have some questions about this structure:

• The components are split, which may be more scalable, but more complex? Is it more difficult for novices to participate? Is there any good way to solve it?
• Between the first question above, the second question arises: a large storage provider may have dozens or hundreds of nodes, how to better manage it? Because a single node splits out many components, hundreds of components may be maintained in total in the end. This is very headache.
  

[magik6k]

The components are split, which may be more scalable, but more complex? Is it more difficult for novices to participate? Is there any good way to solve it?

It should be on a similar level of complexity. The differences will be:

• There will be a cluster-able database, we're still in the process of selecting one, and it should be shared with boost
• PoSt workers will most likely turn into PoSt provers (will talk directly to lotus daemon, and schedule/send PoSt themselves)
• There may be a new queue process, we're still selecting one
• We may drop the central 'lotus-miner' process entirely
  • In that case workers would directly manage sector lifetime with the help of the queue
  • Boost would talk directly to the queue as well
  • Management CLI/UI tools would talk directly to the queue/workers

Essentially we want to make it possible to have a deployment with zero points of failure, and have all components be easily scalable.

Ideally we will keep a simpler setup option, possibly a monolithic simple-sp process, or something like that, which would integrate provers, and possibly implement a very basic queue for workers, and have an internal worker - this would be for testing/devnets, and small SPs - basically a replacement for lotus-miner - though it remains to be seen if that's necessary - good automated setup scripts may be enough.

a large storage provider may have dozens or hundreds of nodes, how to better manage it

There aren't that many components that can be split out. The new setup should be much easier to manage with standard infra tools like kubernetes/ansible/terraform/etc..

[beck-8]

Thanks a lot for your explanation.

Ideally we will keep a simpler setup option, possibly a monolithic process

It is very necessary to use it as a test and a small SP; I think that a small SP has enough hardware, because the current situation is that it is very idle, and the resource scheduling is unreasonable, not that the hardware resources are not enough.

The new setup should be much easier to manage with standard infra tools like kubernetes/ansible/terraform/etc..

I am very much looking forward to this perfect effect; but you must know that the first premise is the stability of each component. I don’t know how difficult it is. If the direction is determined, how long do you think it will take to achieve this level?

🚀🚀🚀🚀🚀🚀🚀🚀🚀

kubectl apply -f start-miner.yaml
kubectl apply -f update-miner.yaml

[CIFTum]

นี่คือกระทู้สนทนาสำหรับ🗺ปัญหาโครงการ Mega Lotus- Miner

คุณสามารถพูดคุยถึงข้อกังวล ความคิด หรือแนวคิดใดๆ ในหัวข้อนี้ได้

นี่คือกระทู้สนทนาสำหรับ🗺ปัญหาโครงการ Mega Lotus- Miner

คุณสามารถพูดคุยถึงข้อกังวล ความคิด หรือแนวคิดใดๆ ในหัวข้อนี้ได้

[CIFTum]

เราขอตอบคำถาม​ปัญหาโครงการ Mega Lotus-Miner #10341 ดังนี้

• ปัญหาที่เกิดขึ้นในการขุดแร่ลอตัสคืออะไร? ปัญหาที่เกิดขึ้นคือการที่เครื่องขุดแร่ลอตัสไม่สามารถติดต่อกับฐานข้อมูลในเวลาที่กำหนดได้ ซึ่งทำให้การขุดแร่ลอตัสไม่มีประสิทธิภาพและไม่สามารถส่งผลได้ตามเป้าหมาย
• สาเหตุของปัญหานี้คืออะไร? สาเหตุของปัญหานี้คือการที่เครือข่ายอินเทอร์เน็ตในพื้นที่การขุดแร่ลอตัสมีความไม่เสถียร และการที่ซอฟต์แวร์ในเครื่องขุดแร่ลอตัสมีบั๊กบางอย่างที่ยังไม่ได้แก้ไข
• วิธีการแก้ไขปัญหานี้คืออะไร? วิธีการแก้ไขปัญหานี้คือการที่จะติดตั้งอุปกรณ์เพิ่มเติมให้กับเครื่องขุดแร่ลอตัส เพื่อให้สามารถสื่อสารกับฐานข้อมูลได้ผ่านช่องทางอื่นๆ เช่น สัญญาณวิทยุ หรือดาวเทียม และการที่จะปรับปรุงซอฟต์แวร์ให้กับเครื่องขุดแร่ลอตัส เพื่อให้ไม่มีบั๊กและสามารถทำงานได้อย่างถูกต้อง

เราหวังว่าคำตอบ​ปัญหาโครงการ Mega Lotus-Miner #10341 จะช่วยให้ท่านได้ความเข้าใจและความชัดเจนมากขึ้น เรายินดีที่จะให้บริการและช่วยเหลือท่านในการขุดแร่ลอตัส

ขอบคุณ

**ผู้ตอบ: Tum21217

[strahe]

Hi, how is the progress?

[momack2]

@rjan90 - can you give a status update on the official issue now that we're part way through Q2? AFAIK we did a few rounds of backlog sprint (to significant success in lotus-miner operations and overhead!) and are now in the next phase of architecture changes? cc @magik6k @jennijuju