原文：
www.kdnuggets.com/2021/12/developments-predictions-data-science-analytics-industry.html
随着 2021 年的结束，我们也结束了我们的专家观点系列文章，为读者带来了对今年重大发展的不同观点，并展望了明年的重要故事。
为此，我们向行业领先公司的专家征求意见，询问：
1. Google 网络安全证书 - 快速进入网络安全职业生涯。
2. Google 数据分析专业证书 - 提升你的数据分析能力
3. Google IT 支持专业证书 - 支持你的组织 IT
2021 年 AI、数据科学、机器学习的主要发展是什么？你预期 2022 年会有什么关键趋势？
本文从行业的角度来探讨这个问题，在过去的一周里，我们还发布了类似的文章，从研究和技术的角度探讨了同样的问题：
-
2021 年 AI、分析、机器学习、数据科学、深度学习研究的主要发展及 2022 年的关键趋势
-
2021 年 AI、数据科学、机器学习技术的主要发展及 2022 年的关键趋势
我想感谢这轮意见征集中的每一位参与者，在如此繁忙的时间里抽出时间提供他们的见解和观点：Yashar Behzadi（Synthesis AI）、Dipti Borkar（Ahana）、Matthew Carroll（Immuta）、Kendall Clark（Stardog）、Brian Gilmore（InfluxData）、Raj Gossain（Alation）、Alan Jacobson（Alteryx）、Ashley Kramer（Sisense）、Haoyuan Li（Alluxio）、Buno Pati（Infoworks）、Jared Peterson（SAS）、John Purcell（DoiT International）、Ravi Shankar（Denodo）、Dan Sommer（Qlik）、Muddu Sudhakar（Aisera）、Marco Varone（expert.ai）、Ryan Welsh（Kyndi）、Brett Wujek（SAS）。
现在，不再拖延，让我们来看看 2021 年 AI、分析、机器学习、数据科学、深度学习行业的主要发展和 2022 年的关键趋势。
Dipti Borkar，共同创始人兼首席产品官 (CPO)，Ahana
在 2021 年，我们看到云计算在 AI 和 ML 应用中的采用加速，这是由于云数据仓库/数据湖/数据湖屋的普及。随着更多的数据迁移到云端，公司面临着一个架构决策——将特定的结构化数据存储在一个高成本的数据仓库中，虽然可以进行高速分析，价格/性能比非常好，还是使用数据湖存储所有数据——结构化和非结构化数据——成本更低但没有内置的查询或分析机制。
到 2022 年，我们将看到更多的 AI 和 ML 工作负载迁移到数据湖/数据湖屋，因为开放数据湖分析栈的出现——这是一个专为云数据仓库工作负载构建的栈，包括一个开源高性能查询引擎（Presto）用于数据湖上的 SQL 分析、开放格式和开放云。云计算的下一个增长阶段将包括开放数据湖，以增强云数据仓库，更多的开源分析和 AI 支持，以及开箱即用的云解决方案来推动创新，这意味着数据平台团队将花费更少的时间在管理复杂的分布式系统上，而更多时间专注于推动以业务为驱动的创新。
Muddu Sudhakar，Aisera的联合创始人兼首席执行官
对话式人工智能的迅猛崛起及更好的语言建模 — 到 2022 年，人工智能将继续演进，变得比以往更具变革性和直观性。从人力资源到营销，对话式人工智能技术被设计用来简化生活。对话式人工智能能够并将会接管日常的内部和客户服务任务，使得人工客服可以专注于更紧迫的问题。
对话式人工智能，如 Aisera 创建的那种，旨在与员工紧密协作，建立一个集成的、更高效、更快速的客户服务体验。
自然语言处理将继续发展，理解语音节奏以及我们所有的人类特有的语音模式、嗯声、啊声和含义混杂的词汇。它将继续学习哪些适用，使其更加反映人类语言，并更好地引导查询和解决问题。
Raj Gossain，Alation的首席产品官
公司将通过利用公共和私人数据市场释放关键业务价值 — 如今，公司已经在购买数据集以进行创新或获取数据不足的见解。到 2022 年，我们将看到更多组织转向公共数据市场，使用两种方法。首先，利用数据目录访问、使用和理解组织内丰富数据的公司，将认识到将企业数据与第三方数据集结合起来比以往释放更多价值和生产力。相比之下，传统公司将意识到专有内部数据集可以被货币化，并打包供其他公司使用，从而创造新的收入来源，使企业更容易发现和使用数据。
主流 AI 和深度学习 — 随着 AI 应用工具集的不断发展，机器学习和深度学习平台已进入主流，并将达到与专业数据分析相同的成熟度。正如我们目前看到基于 Apache Spark 和 Presto 的大量完全集成的托管服务一样，在 2022 年，我们将看到基于 PyTorch 和 TensorFlow 的垂直整合出现。MLOps 用于管道自动化和管理将变得至关重要，进一步降低障碍，加速 AI 和 ML 的采用。
数字化转型 2.0 将在各业务单元中带来分析文化，因为更多的大型企业提供自助服务技术和培训，以确保普通知识工作者能够成功并直接进行分析。
随着分析的持续民主化，数据科学家需要从“问题解决者”转变为“教师”。组织现在希望填补这些角色的人能够清晰地表达和解释——不仅仅是编写代码，以鼓励人们富有创意并进行批判性思考。然而，数据科学家作为从业者和作为教师之间存在技能差距。
数据和分析领域的碎片化将趋于平稳。近年来，AI/ML 领域变得复杂，进入这一领域的公司比前一年更多。然而，随着我们进入一个更加成熟的领域，并且在 2022 年出现更多整合，我们将开始看到这一趋势趋于平稳。
数据网格架构变得越来越诱人。随着组织规模和复杂性的增长，中央数据团队被迫处理各种功能单位和相关数据消费者。这使得理解所有跨职能团队的数据需求并向其消费者提供合适的数据产品变得困难。数据网格是一种新的去中心化数据架构方法，旨在消除瓶颈，将数据决策权移交给那些理解数据的人。
从 2022 年及以后，拥有分布式数据环境的大型组织将实施数据网格架构，以减少数据孤岛，避免重复工作，并确保一致性。数据网格将创建一个统一的基础设施，使领域能够创建和共享数据产品，同时强制执行互操作性、质量、治理和安全的标准。
John Purcell，首席产品官，DoiT International
在预测的季节里，很可能许多人会再次预言人工智能或机器学习的进展。公司和企业确实在寻找创新的方法来利用这些技术和方法，但它们在采用方面还未真正取得突破。主要挑战将保持不变：在数据中提出正确的问题，融合人类和机器智能来回答这些问题，以及克服复杂性。超大规模公司将继续推出新服务，公司将花费资金来确定这些服务如何真正帮助他们的业务。
Marco Varone，创始人兼首席技术官 expert.ai
在过去几年，自然语言理解的重要进展是将不同技术组合起来，以提高整体效果并更好地解决复杂问题。这种混合（或复合）方法结合了符号学和机器学习，赋予我们更强大的能力和灵活性来应对现实世界中的语言问题。
我们将在 2022 年看到这种方法的更广泛应用，因为它可以节省大量时间和金钱，同时提高准确性、效率和速度。它还增加了可解释性（仅机器学习很难做到这一点），并通过知识图谱使从之前的实施中重用知识变得更简单。
Matthew Carroll，首席执行官，Immuta
云计算将决定远程工作的成败 —— 云计算如今是企业的必备之物，并且在 COVID-19 大流行期间至关重要。全球的数据驱动型组织正在寻找解决方案，以加快数据获取速度、安全地与更多用户共享数据，并减轻数据泄露和漏洞的风险。云计算的特点是远程工作，未来将继续对寻求业务连续性、提高可扩展性和成本效益的组织至关重要。
根据 Immuta 数据工程状态调查，组织越来越多地采用多种云技术，以跟上现代数据团队所需的规模、速度和用例。近三分之二（65%）的受访者将他们的公司描述为 100%基于云或主要基于云，这表明对自动化云数据访问控制的市场需求很大。
布赖恩·吉尔莫尔，InfluxData 的物联网项目经理
智能城市技术变得无处不在：我们将不再使用“智能城市”这一术语——这不是因为技术失败，而是因为“城市”这一概念随着人口增长和无处不在的连接而消退。随着更多人群获得或选择高度成熟且易于访问的连接和服务，个体“智能城市”技术的采用将大幅增加。
AI/ML 驱动公民体验：智能政府应用将更像消费者应用，而不像企业内部网。最聪明的城市将把机器学习和人工智能集成到推荐引擎中，支持自然语言交互，通过数字方式提供所有服务，并将公民体验视为首要要求。
数据织物的上升趋势 —— 2022 年将看到数据织物解决方案的显著增长和兴趣，因为公司寻求利用共同管理层来加速分析迁移到云，确保安全和治理，通过支持跨混合多云的实时、可信数据快速交付业务价值——所有这些都在推动数字化转型。我们相信，这项技术将在未来五年得到广泛采用。
企业将期望供应商为业务团队提供全面的 AI 驱动解决方案，而不是专注于 IT 的开发工具和技术——AI 行业的大部分，甚至大多数，都专注于为内部 IT 团队或咨询组织开发强大的工具，以将技术应用于企业应用中的特定用例。在 2022 年，组织将要求 AI 供应商开始开发能够立即实施的特定 AI 驱动解决方案，而无需编码。通过专注于为业务用户提供以人为本的解决方案，供应商将使个人能够立即生成驱动决策的洞察。因此，组织将会调整对 AI 的投资，从高度定制的解决方案转向可配置的（现成的）选项。
合作与商业智能（BI）自疫情开始以来密不可分。在全球尝试恢复一定程度的正常状态时，合作的需求变得更加明确，需要尽早合作，并且没有数据孤岛阻碍。在努力改善我们围绕数据、网络和流程的协作方式时，我们将见证“协作挖掘”的出现，从而使决策得以跟踪。企业也了解到，如果他们想真正实现数据驱动，就必须找出在正确的地方运行正确查询的方法。最后，API 经济为企业联合进行共同倡议开辟了全新的途径，同时减少了买与自建的相关性。自动化是一个强劲的新兴领域，它消除了对这些集成进行编码的需求，我预计这项技术将在 2022 年产生持久影响。
人工智能（AI）正在慢慢地走向现实世界。虽然许多机器学习和 AI 的进展在常见任务或在线竞赛中表现出惊人的准确性，但这些进展仍需时间才能进入行业，最终为客户解决实际问题。这其中的一部分原因是需要领域特定的标注数据或运行这些系统/模型所需的计算能力。由于这些限制，我们将看到从研究到现实的进展将是缓慢但稳定的。
AI 带来了现实世界的成果。过去，组织在 AI 投资上几乎没有什么回报，因为过度关注模型构建和模型性能。AI 不仅会用于独特的突破性项目，组织还会发现将 AI 技术应用于既有项目中，以实现最佳结果的价值。一个 AI 产品或服务要成功，它必须包含能够提升结果或加快、降低过程成本的元素。AI 的价值将不在于它如何建模现实世界，而在于它如何改善现实世界。
多年来，我们一直听说分析的未来将超越描述性分析（发生了什么）和预测性分析（将会发生什么），进入处方指导（应对措施）。AI 的进步与自动化的结合终于使这一点成为可能，通过动态结合相关数据并提前提醒知识工作者采取行动。在 2022 年，处方分析将从仅仅告诉我们数字走向哪里，发展到帮助我们做出更智能、更主动的决策。
组织也开始意识到，并不是每个人都有时间/兴趣成为数据分析师或具备数据素养。在 2022 年，许多组织将重新定义“分析文化”的含义，通过以更易于消化的方式将见解带给员工——转向像嵌入式分析这样的方式，这不会要求新技能或额外的时间投入。
大数据中心化和整合的时代已经结束——中央化或整合数据存储的重要性也将在 2022 年成为焦点。明确来说，这一趋势并不是存储的终结，而是中心化整合的数据存储方法的终结，特别是针对分析和应用开发。
到 2022 年，我们将看到数据分析领域持续的大斗争，旧有的企业数据管理方法，侧重于整合和中央化模式，将达到顶峰，然后开始趋向下降。我们即将看到的 Snowflake 和 Databricks 之间的重大斗争部分源于它们对中央化整合的不同方法。
但这不仅仅是技术上的压力。在混合多云世界中不可避免的数据移动的经济状况并不好，也没有改善的迹象。客户和投资者正在反对随中央化方法而来的那种锁定现象，因此预期未来一年内，数据分析堆栈将朝向去中心化和去中介化的方向发展。
Yashar Behzadi，Synthesis AI的首席执行官兼创始人
围绕 AI 的数据对话将被优先考虑 — 关于 AI 的数据讨论已经开始，但尚未得到足够的关注。数据是构建 AI 系统的最关键方面，我们刚刚开始讨论和思考获取、准备和监控数据的系统，以确保性能和避免偏见。组织在 2022 年必须在企业架构中优先考虑数据优先的方法，以使 AI 和分析能够解决问题并促进新的收入来源。
合成数据将成为构建元宇宙的必需品 — 没有合成数据就无法构建元宇宙。为了将现实重建为数字双胞胎，必须深入了解人类、物体、3D 环境及其相互作用。创建这些 AI 能力需要大量高质量标记的 3D 数据——这些数据对人类来说几乎无法标记。我们无法在 3D 空间中标记距离，推断材料属性或标记重建空间所需的光源。利用生成 AI 模型和视觉效果（VFX）技术组合构建的合成数据将成为支持新元宇宙应用所需 AI 模型的关键推动力。
相关：
-
AI、分析、机器学习、数据科学、深度学习研究 2021 年主要进展及 2022 年关键趋势
-
2021 年主要进展及 2022 年 AI、数据科学、机器学习技术的关键趋势
-
2021 年 AI、分析、数据科学、机器学习的行业预测