原文:
www.kdnuggets.com/2020/12/superwise-ebook-fundamentals-ml-monitoring.html
赞助帖子。
现代企业依赖于机器学习驱动的预测来指导业务战略,例如通过预测需求和降低风险。对于越来越多的企业而言,机器学习(ML)预测支撑了他们的核心业务模型,如使用 ML 模型的金融机构来批准或拒绝贷款申请。
由于机器学习与其他软件或传统 IT 大相径庭,模型在投入生产的瞬间就有退化的风险——在数据的超动态特性与模型的超敏感性碰撞的地方。这些数据结构中的“漂移”或其他导致模型退化的特性,往往是无声无息和不可观察的。
在过去几个月里,由于 COVID-19 危机的影响,我们都见证了公司在修复关键业务模型方面的挣扎。其中一个最被记录的问题是 Instacart,其库存预测模型的准确率从93%降至 61%, 这让他们的客户和团队感到不满。
准备应对“第二天”的数据科学和工程团队非常少,那个他们的模型与现实世界碰面的日子;因为他们将大部分时间投入到研究、培训和评估模型中。尽管团队显然希望在问题出现之前解决任何潜在问题,但生产系统缺乏明确的流程、工具和要求。今天,行业仍然缺乏关于什么是最佳 ML 基础设施的指南。
这就是为什么我们收集了数据科学和工程团队的最佳实践,以创建一个高效的框架来监控 ML 模型。电子书为任何对在其组织或其他地方构建、测试和实施稳健的监控策略感兴趣的人提供了一个框架。你将学到:
-
监控你在生产中的模型的最佳实践
-
证明有效的方法在正确的时间捕捉漂移、偏差和异常
-
避免警报疲劳的建议
-
超越性能测量进行观察
-
对不同特征使用不同的指标
-
使用细致的视角
-
避免溢出并自动检测事件
-
并行比较不同版本
-
监控受保护的特征作为代理以确保公平
-
确保你的监控平台无关
-
赋能所有利益相关者
-
将你的生产洞察用于 ML 过程的其他阶段
下载eBook了解更多关于优化 ML 监控策略的最佳实践,并避免“第二天”的陷阱。
1. 谷歌网络安全证书 - 快速通道进入网络安全职业生涯
2. 谷歌数据分析专业证书 - 提升你的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持你的组织进行 IT 工作