NetLess:Distributed Deep Neural Network Inference System based on Serverless
人工智能的迅速发展的背后是不断攀升的模型参数量，即便仅仅使用模型进行推理任务，也依然为主机带来很大的硬件门槛。
考虑到当前互联网产品需要快速、敏捷的人工智能应用，而Serverless作为云计算方兴未艾的服务模式，在需要使用神经网络模型的图片处理、目标识别等基本任务中，可以充分发挥其弹性伸缩、高可用的特性，最为重要的是，利用背后k8s的集群管理方案，可以有效进行神经网络在不同主机上的分布式推理任务，以此降低其硬件门槛。
于是我们希望构造一种系统——将现有神经网络模型自动化拆解、构建、封装为面向Serverless框架的一批镜像，在开源Severless框架中实施部署以完成神经网络的分布式推理。
Serverless是一种云计算服务模式，其基本思想是将应用程序的部署和管理从基础设施和操作系统中分离出来。使用Serverless，开发者可以专注于编写应用程序代码，而不必关心底层基础设施的管理。通常，Serverless平台会自动扩展和缩减应用程序的资源，使其具有高可用性和弹性。此外，Serverless也通常以按需付费的方式计费，使得开发者可以根据实际的资源使用情况来支付费用，而不必预先购买或租赁硬件设备。