原文：
www.kdnuggets.com/2021/05/most-demand-skills-data-engineers-2021.html
评论
在撰写了2021 年数据科学家最需求技能之后，我想对数据工程师进行相同的分析，因为该领域的需求正快速增长。根据Interview Query 的数据显示科学面试报告，2019 年到 2020 年之间，数据科学面试的数量仅增长了 10%，而在同一时期内，数据工程面试的数量增长了 40%！
1. 谷歌网络安全证书 - 快速进入网络安全职业生涯。
2. 谷歌数据分析专业证书 - 提升您的数据分析技能
3. 谷歌 IT 支持专业证书 - 支持您组织的 IT 需求
再次说明，我想预先声明，这受到 Jeff Hale 在 2018/2019 年所写文章的启发。我撰写这篇文章只是因为我想获取更符合当下的技能需求分析，并且我分享这篇文章是因为我假设也有其他人希望看到 2021 年数据工程师最需求技能的更新版本。
从这项分析中获取你想要的内容——显然，通过抓取招聘广告获得的见解并不能完美地与实际最受需求的数据科学技能相关联。然而，我认为这可以很好地指示出你应该更多关注哪些通用技能，同时避免哪些技能。
话虽如此，希望你喜欢这份分析，让我们开始吧！
在这项分析中，我从 Indeed、Monster 和 SimplyHired 上抓取并累计了超过 17,000 个招聘广告。我没有抓取 LinkedIn，因为我在尝试抓取时遇到了验证码问题。
我接着检查了每个我搜索的术语在招聘广告中出现的频率。我搜索的术语列表如下：
-
Python, SQL, R, Java, Git, C, MATLAB, Excel, C++, JavaScript, C#, Julia, Scala, SAS
-
Scikit-learn, Pandas, NumPy, SciPy
-
Matplotlib, Looker, Tableau
-
TensorFlow, PyTorch, Keras
-
Spark, Hadoop, AWS, GCP, Hive, Azure, Google Cloud, MongoDB, BigQuery
-
Docker, Kubernetes, Airflow
-
NoSQL, MySQL, PostgreSQL
-
Caffe, Alteryx, Perl, Cassandra, Linux
在获取每个来源的数据后，我将它们相加，然后除以数据工程师职位总数以获得百分比。例如，Python 的值为 0.76 表示 76% 的职位中要求掌握 Python。
最后，我将数据工程师分析的结果与数据科学家分析的结果进行了比较，以查看这两个角色之间的差异。
数据工程师的前 25 项技能
以下是 2021 年最受欢迎的数据工程师技能前 25 名，从高到低排名：
数据工程师的顶级编程语言
为了获得更详细的视图，下图显示了数据工程师的顶级编程语言：
数据工程师与数据科学家在顶级编程语言上的两个主要区别：首先，要求 SQL 的职位百分比对于数据工程师来说要高得多——这是合理的，因为 SQL 是构建数据管道、表视图等所必需的。其次，要求 R 的职位百分比对于数据工程师则要小得多。因此，如果你想同时保持数据工程师和数据科学家的职业选择，那么我建议学习 Python 而不是 R。
数据工程师和数据科学家之间正差异最大的前 10 项技能
下图显示了数据工程师和数据科学家之间在技能百分比上的最大差异：
不出所料，云计算技能和 Apache 的大数据产品如 Spark、Hive 和 Hadoop 对数据工程师而言比数据科学家更为重要，这很合理，因为数据工程师的工作重点是构建和维护组织的数据基础设施。Airflow 对数据工程师来说也更为重要，因为它正逐渐成为工作流调度的首选技术。
数据工程师和数据科学家之间负差异最大的前 10 项技能
同样，上图也不令人惊讶，因为这些技能大多集中在数据建模和数据分析上，这更符合数据科学家的领域而非数据工程师。
总体而言，所有分析技能的差异在下图中提供：
希望你发现这项分析有用。我不会仅凭这一资源完全决定学习某项技能而非另一项技能，但正如我之前所说的，我认为这能很好地展示出哪些技能在重要性上有所上升或下降。
相关：