机器学习早期发展是遵循实用主义糙快猛的路线。基本步骤就是靠直觉构造一个优化目标，然后解这个优化问题。数学工具基本上线性代数和凸优化也就够用了。再深一点涉及博弈论，随机过程，微分方程，测度论，实分析，泛函分析，李群等。这个学科发展很快，长期处于理论跟不上实践。当前的发展势头，已经到了一个工科那点数学不太够用了的阶段。很需要一批数学大牛来披荆斩棘一下。很多这个领域的人认为过多的数学没必要，其实是因为这些人数学菜。我就看到过用代数几何的方法(resolution of singularity, blow-up)漂亮的解singular model的问题。可惜很少人follow。 总之很多问题是到了需要引入高级数学工具才能漂亮解决的地步了。比如各种不变性和等价性需要黎曼几何，各种ill pose singular问题需要代数几何。