2018年medium上一篇博文分析了数据科学家最需要的技能，那篇文章引起了很大的反响，在medium上有超过11000次点赞，并被翻译成几种语言，成为了2018年11月KD Nuggets最受欢迎的文章。一年多过去了，2019的作者也发布了最新的分析，让我们看看有什么变化。2018年的文章考察了对统计和沟通交流等一般技能的需求以及对Python和R等技术的需求。软件技术的变化一定快于一般技能需求上的变化，所以在本更新中只包括技术部分。我们搜索了SimplyHired、Indeed、Monster和LinkedIn以查看在美工作的列表中哪些关键词和“数据科学家”共同出现。这一次，我们决定用Request和Beautiful Soup包来获取工作列表，而不是手工搜索。事实证明，LinkedIn的爬取要困难得多，因为查看工作的列表的准确数字需要身份验证。我决定使用Selenium进行无头浏览。2019年9月，美国最高法院对LinkedIn做出了判决，允许其数据被爬取。尽管如此，在几次抓取尝试后，还是无法访问账户，这个问题可能源于刷新率限制。不管怎么说，微软拥有LinkedIn，Randstad Holding拥有Monster, Recruit Holdings拥有Indeed和SimplyHired。无论如何，LinkedIn的数据可能无法提供从去年到今年的苹果公司职位对比。今年夏天，LinkedIn的一些技术职位搜索词每周都会出现大幅波动。这可能是由于他们试图通过使用自然语言处理来衡量搜索目的，因而对他们的搜索结果算法进行了实验。相比之下，另外三个搜索网站在过去两年中出现的“数据科学家”相关职位列表数量则相对接近。基于这些原因，LinkedIn被排除在本文2019年和2018年的分析之外。对于每个工作搜索网站，我们计算了该网站中出现的每个关键词在所有数据科学家工作列表中所占的百分比。然后，在三个站点上为每个关键字取这些百分比的平均值。同时手动调查了新的搜索词以及那些看起来很有前途的词。在2019年，没有新的搜索词达到占全体5%的占有水平，这是下述结果中使用的截断指标。PyTorch职位需求翻番我们采用四种方法来查看每个关键字的结果：方法1：对于每个求职网站，在每个年度用包含关键词的列表数量除以包含data scientist的搜索词总数。然后取三个网站的平均值。方法2：看看2018年至2019年这些列表的平均比例变化的绝对值。方法3：看看2018年至2019年这些列表的平均比例变化的相对百分比。在完成上面的第一个步骤之后，计算每个关键字相对于该年度其他关键字的排名，然后计算每一年的排名变化。观察前三个带有柱状图的选项，然后我们将展示一个包含数据的表并讨论结果。这是上文中方法1对应的2019年图表，显示Python出现在近75%的列表中。这是上文中方法2的图表，显示了2018年至2019年职位列表中某项技能需求的变化。AWS显示上升了5%。在2019年和2018年上市的公司中，这一比例分别为19.4%和14.6%。这是上文方法3对应的图表，显示了每年的百分比变化。2018年，PyTorch上榜职位需求数平均增长了108.1%。以下是上述图表中的信息用表格形式展示的结果，按2018年至2019年上榜职位比例在三家网站平均后的变化百分比排序。稳居榜首的python，落寞的R在不到14个月的时间内技术需求发生了相当大的变化！优胜者Python仍然排名第一。到目前为止，它是最常用的语言。几乎霸占了四分之三的榜单，与2018年相比，Python使用量有了可观的增长。SQL使用量快速提升。它几乎快要超过获得第二高平均分数的R语言。如果继续保持该趋势，SQL很快将成为真正的第二。杰出的深度学习框架得到了广泛使用。PyTorch在所有关键字中的增幅最大，Keras和TensorFlow也表现出色。Keras和PyTorch在排名中均上升了4位，TensorFlow上升了3位。请注意，由于PyTorch的起始平均值较低，TensorFlow的当前平均值仍是PyTorch平均值的两倍。数据科学家对云平台技能的需求越来越大。AWS的出现频率高达20%，Azure约10%。Azure在排名中跃升了四位。落败者R语言的总体平均下降幅度最大。基于其他调研，这一趋势不足为奇。Python显然已经取代R成为数据科学的首选语言。 尽管如此，R仍然非常受欢迎，出现在55%的榜单中。如果您熟悉R语言，请不要沮丧，但如果您想要掌握需求量更大的技能，请考虑学习Python。许多Apache产品受到欢迎，包括Pig，Hive，Hadoop和Spark。Pig的排名下降了5位，比任何其他技术都下降得多。Spark和Hadoop仍然是人们普遍希望掌握的技能，但是我认为，转向其他大数据技术已经成为一种趋势。专有的统计软件包MATLAB和SAS使用量急剧下降。 MATLAB在排名中下降了四位，而SAS从第六位下降到第八位。与2018年的平均水平相比，两种语言均出现了大幅下降。推荐一个学习路径如果你刚开始从事数据科学，我建议你专注于需求增长和有发展潜力的技术，并且每次只专心学习一种技能以下是我推荐的学习路径：学习Python以掌握常规编程；学习pandas来进行数据操作；通过Scikit-learn库学习机器学习；学习用于高效查询相关数据库的SQL；学习Tableau以进行数据可视化；关于云计算平台，基于AWS的市场份额，它是一个不错的选择；学习一个机器学习框架，Keras现在与TensorFlow紧密结合，因此它是一个很好的起点，PyTorch也在迅速发展。这是我的总体学习路径建议。按照你的需要各取所需吧。
![]()
