评论
作者 Nhung Nguyen，CSIRO Data61
设计使用了来自 Freepik.com 和 The Noun Project 的资源
1. 谷歌网络安全证书 - 快速进入网络安全职业生涯。
2. 谷歌数据分析专业证书 - 提升你的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持你的组织的 IT 工作
我是一名用户体验（UX）设计师。像我这样的从业者关注的是最终用户与公司、服务和产品的互动的各个方面。推动我们的是设计有意义的产品，这些产品直观、满足用户需求，并让人愉悦。
虽然我有这些驱动因素，但我肯定不在一个由其他 UX 设计师铺设得很好的领域中工作。
我每天与一群了不起的人一起工作，他们为机器学习算法和大规模图网络构建模型。我们还在开发一个可视化工具，以便人们看到这些模型中的隐藏洞察，并在经常是高风险的情况下做出数据驱动的决策。
对我来说，它快速、激动人心、迷人、未被探索、困难。陡峭的学习曲线？绝对如此。但更重要的是，我发现很少有其他 UX 设计师在机器学习方面的案例研究。
对于那些可能同样被这一快速发展的技术所迷惑，并且同样被它与 UX 的新兴关系所吸引的人来说，这篇文章是为你准备的！
我们将首先探索图形上的机器学习是什么，然后构建一个端到端的故事，以定义用户、他们的关系和他们的不同需求。我还会分享在设计图形机器学习的可视化解决方案时遇到的三个主要挑战，以及如何回到 UX 设计 101，从而得出了一个可及、有目的的结果。
我很快发现，一旦你了解了图形，你会开始到处看到它们。许多现实世界的数据集可以自然地表示为网络或图形，其中节点代表实体，连接代表它们之间的关系或互动。
我的工作 — 表示为图形
关于管理在这个数据驱动时代生成的庞大且不断增加的连接数据量，这时机器学习便发挥作用了。图上的机器学习可以从连接数据中提取强有力的见解，例如预测数据中缺失的实体之间的关系或在不同网络中解析未知实体（阅读‘认识你的邻居：图上的机器学习’以深入了解）。
我们生活在一个深度连接的世界中。图机器学习为数据科学家提供了提取见解的工具……
作为 UX 设计师，我的工作是质疑我们的用户如何利用图机器学习解决问题。图已经被证明非常适合犯罪调查，利用图上的机器学习进行执法调查分析的潜力巨大。问题是，这一领域中可理解的安全限制使得获取数据变得不可能。
在没有数据的情况下，很难开发出能够分析或可视化数据的工具。当产品首先由技术驱动开发时，它们可能会无法满足用户实际需要。团队也可能很难确定有意义的方向，最终得到类似于*“我们来满足所有类型的任务、数据和场景……！”*的东西。
在为我们的产品绘制路线图时，我们最终得到了一长串功能，这无疑是一个很好的开始。但我们需要某种方式将这些功能以有意义的方式连接起来，以展示产品的价值并帮助我们确定优先级。我们需要建立一个场景。
所谓场景，是指用户面临数据挑战的端到端故事，他们可能如何利用我们的图算法机器学习来解决这一挑战，以及他们如何使用可视化工具来获取更多的见解。
我们找到了一份开源的Twitter 数据集，包含了 10 万用户和 2000 万条推文。数据集中有一小部分用户被标记为“仇恨”或“正常”（非仇恨）。 （有关这些标签的创建过程以及监督学习和无监督学习方法中标记数据与非标记数据的解释，请阅读‘在 Twitter 上表征和检测仇恨用户’。）
我们问自己：图上的机器学习能否用于预测在线社交网络中的“仇恨”用户？
我们使用已经标记为仇恨或正常的个人资料作为机器学习模型的训练数据，然后在数据集上运行我们的算法。结果令人鼓舞，显示模型确实能够预测仇恨的 Twitter 用户（参见‘图形机器学习能否识别社交媒体网络中的仇恨言论？’获取完整案例研究）。
针对 Twitter 用户的使用案例研究以及机器学习和图形神经网络检测在线仇恨的能力……
此外，我还从执法领域获得了用户研究，概述了两种不同的用户类型：数据科学家和情报分析师。我还了解了他们如何协同工作，以及在处理数据时遇到的问题。
综合这些信息，我得到了围绕功能构建情境的基础材料。
**| 第一个挑战 |
在我的情境中，第一个参与者是 Ian，一名情报分析师，他的工作是监视社交媒体和其他公共数据来源，以标记仇恨行为并评估风险。这一手动过程意味着每天需要浏览长列表的动态，寻找仇恨语言或标签。
手动标记是劳动密集型的。假设手动检查用户是否仇恨只需五分钟，那么标记 100K 用户（相当于我们的 Twitter 数据集）将需要将近 12 个月的时间，假如一个人全天候工作。此外，新的研究显示，转发与在线极端主义的传播之间存在相关性。
从 Scott McCloud 的Google Chrome 的漫画中‘借用’的角色
所以，我把 Ian 和 Dan 配对在一起；Dan 是一位专门研究图形机器学习的数据科学家。在我的情境中，Dan 计划使用一种算法，该算法利用转发网络来推断用户是否可能在未标记的数据的剩余部分中表现出仇恨行为。这将生成一个嫌疑人短名单供 Ian 进一步调查，他可以根据数据的特征或标签的置信度等进行筛选。
现在故事开始成形了。存在背景、用户类型、他们试图解决的问题、图形和机器学习如何有用的见解、用户可能如何处理问题的想法以及预期的结果。
在进行用户测试我们的工具时，这个故事板作为了一个背景快照，对于那些不熟悉机器学习过程和术语的参与者尤其有效。我也经常回到故事板作为我的设计基础来探索想法、概念和验证详细功能。在那一步，Ian 需要做什么？Dan 可能会采取哪些后续步骤？
这与我面临的第二个挑战很好地衔接在一起。
| 第二个挑战 |
处理像为机器学习技术设计用户界面这样的全新事物的副作用是几乎没有可以模仿或迭代的东西。
以基本的图形互动为例：扩展节点（或实体）的‘邻域’。顾名思义，这就是我们查看图中与所选实体连接的其他实体。
听起来很简单。但想象一下有数百个、数千个甚至数百万个实体？事情会迅速升级，很快你就会得到一个大发丝团。
这就是为什么我们需要直观、有意义的方式来与图形互动，以便用户在需要时获得他们所需的信息。
在这里我得承认，通常在设计互动时，我会探索前人的设计解决方案。为了自我辩护，也许是为了其他 UX 设计师，这并不是出于懒惰或纯粹的剽窃，也不是不愿意创造。我们在交互设计中有这样的启发式原则：“识别优于回忆*”。*如果有一个有效的惯例或使用模式，使用它而不是重新发明轮子，并强迫用户学习一种新的方法。
说到图形互动，几乎没有现成的解决方案。
我回到我的场景中，看 Ian 这个情报分析师可能需要从繁忙的网络中看到什么。现在他可以查看完整的 Twitter 数据集和我们可视化工具上的机器学习预测，他可能发现了一个新的、潜在的仇恨 Twitter 账户想要调查。
Ian 可以使用我们的工具来展示用户节点（即仇恨 Twitter 账户的所有者），并将其添加到图中。
他不会看到所有节点的连接，因为这可能会复杂且拥挤。但如果他悬停在节点上，他可以看到一个数字，表示与该节点连接的邻居数量。
然后他可以双击该节点以扩展网络并查看其邻域。
因为我们的工具很智能，并且不想让 Ian 充满信息，它会根据数据集中的不同属性询问他在邻域中寻找哪些邻居。
在 Ian 的情况下，他可能只对那些被预测为充满仇恨的邻居节点感兴趣，这些节点还转发了特定的白人至上主义标签。这将使网络缩小到一个更易于理解的小网络。
当我们用 Twitter 数据集实际实现这一点时，我发现有时邻居节点之间也会相互连接。网络变得更加复杂。
为了理清混乱，我假设用户主要关心邻居与中央根节点之间的关系，因此我要求工程师将这些链接前置，并将其颜色加深。我们将此用于可用性测试，以查看用户是否能够轻松区分节点的网络，同时保持其邻居之间的连接上下文。
StellarGraph 可视化用户界面
这让我想起了 UX 设计基础课程。当你必须从零开始设计一些新东西时；
-
尝试理解交互的意图以及它在用户需要达到的完整故事中的位置。
-
利用故事和用例的力量来开发这一功能。
-
寻求反馈，使用真实数据进行测试，并进行迭代。
这不是一种新技术，但了解我们作为设计师的基础技能在未知领域中仍然有用，这一点非常重要且令人安慰。
按照这种方法，我掌握了设计不同图形交互的技巧。但还有一个第三个甚至更大的挑战：我们如何可视化机器学习结果？
**| 第三个挑战 |
我只有在开始从事StellarGraph项目时，才真正看到机器学习的实际应用。想象一下 Jupyter notebooks、Python 命令、大量的编程和数学。我很幸运有一支耐心且慷慨的数据科学团队可以提问，但这是我们工具的最终用户可能不具备的优势。
这就是为什么我们的团队在展示机器学习结果时坚持三个原则：
-
结果需要对不同技术理解水平的用户（例如情报分析师 Dan）可访问，无需编程语言。这意味着需要区分机器学习预测和人工标注的数据。
-
分析师需要能够理解或解读预测结果（要探讨这一点，请阅读‘揭秘：图形机器学习的显著性图’）。
-
最重要的是，提供明确的解释或指导，以便分析师可以决定结果是否可信，并自信地在工作中使用预测数据。
尽管我们在设计旅程中取得了长足的进展，但我们在掌握这些原则方面仍有待提高。通过继续研究现有文献、框架和指南——最重要的是我们的用户——我们希望不仅能在这些指导原则的基础上进行改进，还能更好地理解如何支持增强对机器学习结果的信任。
现在，让我们回到我们的场景。我们有一个 5 千人的 Twitter 用户子集，这些用户由人工标记为“仇恨”或“正常”（非仇恨）。这些人工标记的用户代表了我们的“真实情况”——我们确切知道的东西——而我们的模型将预测其余用户的标签。
知道用户是否具有仇恨情绪对于情报分析师 Ian 非常重要。因此，我们将这一点作为属性，从视觉化的角度定义节点的样式。例如，你可以看到下面人类标记的节点和预测的节点有所区分：
人类标记的节点用实色填充，以表明确定性，而轮廓则用来表示机器学习模型的预测。相同的色调用于表示相同的值；即粉色=正常，紫色=仇恨。
这一方法经过我们的数据科学家验证，但我们需要加入另外两个元素：
-
显示机器学习模型在测试集的人类标记节点上的预测，以作为准确性的衡量标准。
-
应用与自然人类联想更一致的颜色；即红色=坏，绿色=好。
在第三次迭代中，我们优化了设计以满足所有这些要求：
真实情况由形状或图标表示，而机器学习模型的预测则以节点上的光环形式表示。颜色也遵循以下约定：红色=仇恨，绿色=正常，灰色=未知。
为了确定结果是否如我们所期望的那样直观，我们需要进行更多的用户测试。在 11 名参与者中，10 人发现视觉样式直观。第十一名参与者看到的情况类似于下面的屏幕：
StellarGraph 的可视化界面左侧，右侧应用了 CoBlis——一种色盲模拟工具。
色盲影响到十分之一的男性，这不容忽视。我们需要使用除颜色以外的其他方式来帮助用户区分不同的预测，最终决定使用颜色和 图案的组合来传达预测层。通过引入图案，我们可以让色盲人士区分不同的预测。无障碍性对我们非常重要。
但我们也发现，虽然我们的可视化解决方案在这个数据集上表现良好，但一旦加载其他数据集，图标、颜色和模式将不再有意义。我们需要开发一个默认的样式集，适用于任何数据集，同时仍然能将意义附加到属性上。
所以，我们创建了一个视觉键，定义了每个图标在实际数据中的属性，以及每个模式对于预测属性的含义。
Et, voila。我们拥有一个足够灵活的可视化系统，以适应不同的用户需求和组织需求。我感谢 Ian 和 Dan。
根据现有的信息，机器学习和 UX 领域之间似乎存在鸿沟。机器学习可能对 UX 设计师来说是技术炒作，而数据科学家可能不知道或质疑我们职业的价值。但这两个学科可能正是天作之合。
机器学习已被证明可以增强和改善用户体验（例如推荐算法如 Netflix 或 Spotify），个人而言，我发现理解其基本概念既有帮助又迷人。但讲故事和用户测试在塑造机器学习模型中的作用是一个游戏规则的改变者，因为它提供了可用且有意义的应用给最终用户。
这只是我们 UX-机器学习之旅的开始，还有许多重大挑战待探索。我们如何在机器学习结果中建立信任？我们如何可视化其他图机器学习结果，如链接预测、实体解析和模式检测？
如果这些问题像我一样让你着迷，请关注这个频道，获取即将发布的内容。
这项工作得到了 CSIRO Data61 的支持，这是澳大利亚领先的数字研究网络。
特别感谢我那非常耐心且才华横溢的编辑Leda Kalleske，她帮助我塑造了这篇文章。
参考文献
- 用户界面的记忆识别与回忆
www.nngroup.com/articles/recognition-and-recall/
简介： Nhung Nguyen 是 CSIRO Data61 的 UX 设计师，正在 StellarGraph 项目中开发基于图技术的机器学习。Nhung 对数据可视化解决方案充满热情，同时观察和学习机器学习技术的用户。
原文。经授权转载。
相关：
-
数据科学家和 AI 产品的 UX 设计指南
-
可扩展图机器学习：我们能攀登的高峰？
-
Vega-Lite：交互图形的语法