Skip to content

Latest commit

 

History

History
139 lines (70 loc) · 11.3 KB

scaling-data-strategy.md

File metadata and controls

139 lines (70 loc) · 11.3 KB

扩展您的数据战略

原文:www.kdnuggets.com/2020/03/scaling-data-strategy.html

评论

作者 哈维尔·博斯SSENSE的高级数据科学家

图表

图片来源


我们的前三个课程推荐

1. Google 网络安全证书 - 快速进入网络安全职业的快车道

2. Google 数据分析专业证书 - 提升您的数据分析能力

3. Google IT 支持专业证书 - 支持您的组织在 IT 方面


适用于数据相关增长痛点的企业指南

快速增长的公司同时享有两个独特的优势。它们能够利用小而强大的团队,拥有积极的态度,并迅速将产品特性推向市场。同时,为了维持快速扩展,它们有实际的动机同样重视建立可持续增长的基本实践。这意味着要管理数字化转型,以利用新技术的好处,并管理越来越多的同时进行且相互关联的项目。更不用说在这些项目和流程交汇处,通常会有大量的数据在流动!随着数据呈指数增长,这一独特的位置可以被用来制定一个强大且长期的数据战略。

在 SSENSE,我们尝试通过数据驱动的解决方案来解决大规模问题。在这种背景下,商业关系可能迅速变得复杂,识别数据中的模式和行为可能变得越来越具有挑战性。如果您定期启动与组织中现有功能和流程紧密交织的新项目,那么您将无法再建立孤立的、一锤子买卖的解决方案。您的运营已经增长到值得制定企业数据战略的程度。在本文中,我将基于我之前的专业经验,展示我对一致性数据战略的愿景。尽管本文的目的是不是详细描述我们在 SSENSE 的具体数据战略,但许多主要原则都从中汲取了灵感。

数据战略

无论你在数据驱动的旅程中处于何种阶段,拥有一个数据策略都能帮助解锁数据的潜力,使组织能够将数据视为关键资产。数据策略是一个旨在改善组织内数据使用方法、实践和流程的计划,并确保数据的使用是可持续和可复制的。由于数据由不同业务部门生成和使用,这些部门有着不同的实践和责任,因此,拥有一个委员会来监督组织内的数据策略对业务成功至关重要。根据你在旅程中的位置,可能没有数据策略也是可以的,但这会导致不同部门自行解决数据问题,进而浪费资源,部门孤立运作,组织的凝聚力日益下降。我已经将这种严峻的可能性浓缩成一句话,因此从现在开始,让我们专注于积极和建设性的想法。

良好数据策略的组成部分

一个稳健的数据策略通常应涵盖以下核心主题:

语义 — 识别数据并定义其含义

这涉及到理解组织数据的所有核心实体,如:客户、位置、产品、交易及其关系。在操作的早期阶段,将这些关系表示在关系数据库模式中是可以的,但随着各种数据类型、流程和存储格式的发展,拥有一个管理的数据目录,包含定义、含义和关系,将不同系统连接起来是非常重要的。

通过如数据湖这样的单一接口结合数据的新方法,有助于避免管理和使用组织数据时遇到的许多问题和复杂性。即便如此,将术语、元数据和关系整合到一个目录下使访问和使用数据变得更加简单。对于每个数据字段,这样的目录可能包括定义、来源、位置、领域、用例、利益相关者等。

治理 — 建立并沟通适当的数据使用政策和机制

数据治理的概念通常似乎仅限于用户和分析环境,但实际上,我们在每个操作中都在使用和生成数据。一旦数据从创建它的应用程序中解耦,组织应该定义数据的规则和细节,以便所有利益相关者都能理解如何使用数据。

一个强有力的治理模型概述了安全细节、访问权限、高层次的转换逻辑、命名约定和数据使用规则。在一个数据驱动的组织中,强有力的治理模型不应被视为用户的一个压倒性的障碍,也不应作为限制数据访问的手段。相反,它应该使组织中的所有成员能够负责任和有效地使用数据。

存储和供应 — 以一种可访问且直观的结构持久化数据

企业不断处于数字化转型的状态。我们应该将其视为常态,以利用新技术的好处,并且不能忽视我们在组织内部生成越来越多的数据。数据存储是技术栈的基本能力之一。确定一个应用程序或业务流程的正确数据存储对于确保存储技术的正确使用至关重要。

借助上述提到的适当数据目录,组织能够确保存在实际的方式来存储业务应用程序的数据,同时使其对所有相关方易于访问和共享。

数据存储类型的具体选择,无论是 SQL、图数据库、数据仓库等,都应根据具体情况来决定,以最好地满足所存储数据及其利益相关者的需求。

一个好的数据存储策略确保所有数据都被高效地存储,以适应其使用场景,同时为中心化的数据共享过程奠定基础。

过程 — 在不同的系统中移动和合并数据,以提供统一且一致的访问点

对于数据和业务分析师而言,来自应用程序的原始数据是知识的宝贵财富。如果今天无法识别其业务影响,那么将数据存储和转化以便未来使用是明智的。处理数据是数据策略的一个重要组成部分,它将原始数据转化为成品。因此,它将来自业务应用程序的数据转化为可用于数据驱动决策的资产。

如果每个新项目都需要工程师和分析师从多个来源处理原始数据,这将是巨大的时间和精力浪费!同样重要的是,如果一个组织期望其开发人员花费大量时间在临时基础上构建逻辑以匹配和链接来自多个数据源的实体,这将浪费宝贵的人力资源。

如果你没有提前准备,快速增长的公司将会遇到这个严峻的现实,其绩效将开始停滞。当然,你可以通过增强技术人才来掩盖这种行为,但这并不能消除问题。

实施一个统一且集中的数据处理、清洗、合并和转化策略,使组织能够正确利用数据并保持灵活性。实际上,这部分的数据策略可能是最关键的,因为它使最终用户能够更快地使用数据。

数据委员会的框架

为了成功有效地使用数据,重要的是要聚集合适的利益相关者,以便组织能够在推动数据战略时产生最大的价值。根据你当前的能力和背景,这个委员会应该由以下团队的成员组成:

  1. 技术方向:监督更广泛的架构影响和技术创新的变化。

  2. 软件工程:实施并评估新产品和/或功能的可行性。

  3. 产品:管理软件产品的范围和复杂性,并在短期和长期收益之间进行权衡。确定如何利用数据来实现他们的业务目标。

  4. 数据运营:对组织的数据有深入理解的数据管理者,负责报告、分析和数据标准。

  5. 数据科学:定义如何使用数据来开发模型和生成洞察。

  6. 数据工程:构建从所有数据生成源提取、收集和简化数据的管道,将数据转化为业务可以使用的数据。

  7. 法律:监督数据使用的隐私、伦理问题和法律影响。

  8. 高层:定义数据如何帮助公司实现业务目标的高层战略。

如果你之前没有数据委员会,这些问题可能是由较小的软件或数据领导者单位处理的。这对于较小和简单的操作可能有效,但它不适合规模化。根据你的成长阶段,你的委员会可以更小或更大。然而,它应当代表或涵盖上述团队及其职责的关切。

结论

像实施新的业务战略或技术应用一样,实施数据战略是一个不断发展的过程。理解数据战略的必要性以及一个监督其实施的委员会是一个好的开始。组织的成员开始将数据视为一个战略资产,它能够更好地理解他们的业务,以及如何利用数据来创造价值。

对你想要达到的清晰愿景使得数据委员会的成员能够利用他们独特的技能和经验来设计一个适合组织的路线图。

确定所有数据实体、数据源、定义和关系的过程应该是第一步。下一步是定义数据使用的治理标准,以及将所有数据源链接在一起的系统。数据战略中的每个过程都应该有关键的利益相关者来推动该部分过程。例如,来自数据报告和运营团队的成员最有可能适合推动数据治理标准。利用你的数据委员会的专业知识可以确保你能够快速有效地交付和实施数据战略。

参考文献

  1. 如何创建成功的数据策略 — Stephanie Shen

  2. 数据策略的 5 个关键组成部分 — SAS

  3. 如何建立数据策略 — Lotame

  4. 定义数据策略:数字化转型之旅的核心组成部分 — DXC Technology

编辑评论 Deanna ChowLiela TouréPrateek Sanyal

想和我们一起工作吗?点击 这里 查看 SSENSE 的所有职位空缺!

简介: Javier BoschSSENSE 的高级数据科学家。

原文。经授权转载。

相关内容:

  • 怀念严格类型化模式

  • 推荐系统指标:比较苹果、橙子和香蕉

  • 数据湖中的模式演变

更多相关主题