正在阅读:如何破解大数据难关 以下8种技能抢先看

如何破解大数据难关 以下8种技能抢先看

2016-12-06 09:44:41来源:网络大数据 编辑:沐子飞 关键词:大数据机器学习数据挖掘阅读量:27886

导读:随着大数据渗透进各行各业,负责淘洗数据、从中精炼价值的数据科学家无疑是这几年炙手可热的职位,《哈佛商业评论》将之誉为21 世纪性感工作。
  【中国智能制造网 智造快讯】随着大数据渗透进各行各业,负责淘洗数据、从中精炼价值的数据科学家无疑是这几年炙手可热的职位,《哈佛商业评论》将之誉为21 世纪性感工作。

如何破解大数据难关 以下8种技能抢先看
  
  1,因为优异的数据科学家就像独角兽一样珍贵难寻,而且可不是只有科技公司在抢人,传统金融界、零售商、广告、教育,几乎所有产业都需要数据科学家从大量数据中萃取精华。根据去年七月 Indeed.com 的调查,美国数据科学家每年均薪 12.3 万美金。
  
  2,比起整体均薪多出 113%——当然,还是比每年平均可以领 74 万美金的 CEO 还少,但也够让 99.99% 的上班族望尘莫及。
  
  能领这么惊人的薪资,数据科学家的本领真的不是三言两语就能讲完。但是到底什么是数据科学家?
  
  的数据科学家好统计、数学、程式能力好都要掌握,而且要能从中洞察意义,并且拥有非凡的直觉,用数据数据发声,帮助公司制定重大决策。但是,其实就算同样都是寻找「数据科学家」,Google 跟沃尔玛超市要的人才,可能非常不一样。别因你好像缺了哪个专长而打退堂鼓,如果仔细阅读每家公司张贴的职缺叙述,你会发现说不定现有的技能就能进入数据科学的殿堂。Airbnb 数据科学家 Dave Holtz 把市场上所需的数据科学家概括成以下四类:
  
  四种数据科学家
  
  菜鸟数据科学家说穿了就是数据分析师
  
  有些公司需要的数据科学家,说白话就是数据分析师(data analyst),而数据分析师就是菜鸟数据科学家。你的工作包括从 MySQL 萃取数据或是一名 Excel 专家,也许要能绘制基础的数据视觉图表、分析 A/B 测试的结果或者管理公司的 Google Analytics 帐号。这种公司对抱负远大的数据科学家来说,是很不错的练功场所,当你变成老手了,也能开始尝试新事物,扩充技能组合。
  
  来清理我们乱糟糟的数据
  
  公司发展到了一定规模之後,累积一堆尚未理清的数据,而且持续大幅增加,因此他们会需要一个能够建立数据基本设施(data infrastrucure)的人,以让他们在这个基础上继续成长。由於你是个或批获聘的数据相关人员,工作通常不会太难,不求统计学家或机器学习专家才能胜任。在这种公司里面,带有软体工程背景的数据科学家就很吃香了,重点任务是提供数据到 production code,关於数据的洞见与分析倒是其次。就像前面说的,你是这家公司的个数据探勘者,通常你不会获得太多上层的支援,虽然反而更有机会大放异彩,不过因为比较缺乏真正的挑战,也有可能面临停滞不前的窘境。
  
  我们就是数据,数据就是我们
  
  也有很多公司,主要的产品就是数据(或数据分析平台)。如果你想进入这种公司,那你势必要具备很高深的数据分析或机器学习功力。的人选应该是有正规的数学、统计、物理背景,而且有意继续朝学术面钻研。这些数据科学家的主要职责在於研发出色的数据产品,而非解答公司的营运问题。拥有大量消费者数据也以此作为主要营利来源的公司、或者提供基於数据的服务的公司,都归属此类。
  
  产品并非数据、却以数据驱动产品的公司
  
  很多公司都属这种类型。你可能会加入一组已经建立的数据科学家团队,这家公司很重视数据,但称不上一家数据公司。你既要能够进行数据分析、接触 production code、也能将数据视觉化。一般来说,这种公司要的人才要不是通才,就是他们团队缺乏的某种特殊专才,比如数据视觉化或机器学习。想要通过这类公司的考验,端看你对「大数据(比如 Hive 或 Pig)」工具的熟稔程度,以及过往处理杂乱无章数据的经验。
  
  现在,你了解“数据科学家”的定义很浮动,即使公司开缺都以数据科学家为名,但是他们要找的人其实不太一样,不一样的技能组合、不一样专长、不一样的经验层级,却都能够称之数据科学家,因此找工作时,务必详读职位描述,搞清楚你会进入什么样的团队、发展什么样的技能。
  
  基本工具
  
  无论哪一类公司,统计程式语言如 R 或 Python,以及数据库查询工具像 SQL 大概都是数据科学家必备的常识。
  
  基础统计学
  
  对统计起码要有基本认识,才称得上及格的数据科学家,一名拥有许多面试经验的人资说,很多他曾面试的人连 p-value 的定义都讲得不清不楚。你应该熟悉统计测试、分布、大似然法则(maximum likelihood estimators)等等。机器学习也很重要,但更关键的能力,是你能否判断不同状况该用什么不同的技术。统计学适用於所有类型的公司,但对那些主要产品并非数据、却大幅依赖数据的公司来说尤为必备能力,老板需要的是你能不能利用数据帮助他们进行决策,以及设计、评估实验与结果。
  
  机器学习
  
  假如你是在握有大量数据的大型企业,或是产品本身就是以数据为卖点的公司工作,机器学习就是你用来吃饭的家伙。虽然 KNN 演算法(k-nearest neighbors)、随机森林(random forest)、集成学习(ensemble methods)这类机器学习的流行术语好像不懂不行,不过因为事实上很多技术都可以用 R、Python 程式库解决,所以即使你不是演算法的世界专家,并不代表就毫无希望。比较重要的是,能够纵观全局,每种状况出现都能找出契合的技术。
  
  多变量微积分、线性代数
  
  就算你即将面试的公司并未要求机器学习或统计学知识,基础多变量微积分与线性代数问题十之八九都是逃避不了的必考题,因为数据科学就是由这些技术型塑而成。尽管很多事情可以交给 sklearn 或 R 自动执行,但是未来如果公司想要建立自有的方案,这些基本知识就变得很重要了。如果你置身於「数据就是产品」,或者预测绩效仅因小小进步或演算法优化就能带来惊人效益的公司里面,微积分、线性代数等数学概念都需了解通透。
  
  清理数据
  
  Data Munging 是容易令人不耐的过程,你面对的是乱七八糟的数据。这些数据包含消失的数值、不一致的字串格式(比如「New York」与「new york」与「ny」)、数据格式(「2015-03-26」、「03/26/2015」,「unix time」、「timestamps」等等),必须劳心费神梳理这些庞杂的数据。虽然这工作吃力不讨好,但只要是数据科学家,大概都避免不了,而如果你是某家小公司的先遣数据科学家,或是在一家产品非与数据相关,但是数据却扮演重要角色的公司里工作,清理数据的任务格外重要。
  
  数据视觉化与沟通
  
  把枯燥繁琐的数据转成图像,以及向外界沟通的技能愈来愈重要,尤其是在年轻的公司制定由数据驱动的决策,或者协助其他组织进行数据决策的公司。「沟通」二字的真谛在於,面对技术人或一般人,你都能准确的传达研究发现,并能让他们轻易理解。至於视觉化,如果可以熟悉 ggplot、d3.js 等软体的运用,会有很大的助益,当然工具只是表象,能否参透数据视觉化的原则,才是需费心的地方。
  
  软件工程
  
  如果你是公司数据科学团队的草创元老,拥有强悍的软体工程背景十分重要,你会负责处理很多数据登录(data logging),也有可能需要参与开发以数据为本的产品。
  
  像个数据科学家般思考
  
  所谓数据科学家,就是你解决问题的方法奠基於数据数据。在面试过程中,主考官可能会出一些比较艰涩的问题,比如公司想要执行的某个测试,或者计划开发的数据产品。判断事情的轻重缓急、作为数据科学家如何与工程师和产品经理互动、知道该用什么方式解决问题,都是你该培养的能力。
  
  (原标题:攻克大数据:数据科学家的八种技能)
我要评论
  • 稳中求进固根基 向智而行开新局——中国工业互联网研究院召开国家工业互联网大数据中心建设专题报告会

    10月26日,中国工业互联网研究院组织召开国家工业互联网大数据中心建设专题报告会。会议由中国工业互联网研究院院长鲁春丛主持,院党委书记田川及院班子成员出席会议,院本部及各分院干部职工500多人以线上线下相结合的方式参加会议。
    工业互联网大数据
    2026-10-28 11:52:37
  • 机器学习如何从模型走向生产系统

    相关工程实践揭示了机器学习落地过程中的一个关键变化:技术工作的重点,正在从单一模型的构建,转向整个系统的设计、优化与持续运行。
    机器学习计算机视觉
    2026-10-14 10:43:21
  • 2027年值得关注的十大大数据趋势

    进入2027年,大数据技术的发展重点将不再局限于数据量增长,而是更加关注数据的实时性、可用性、治理能力以及与人工智能系统之间的协同。企业需要解决的不只是“如何存储更多数据”,还包括如何让数据能够被快速理解、可靠调用并转化为实际价值。
    大数据数据治理
    2026-09-01 09:37:12
  • 工业和信息化部等八部门印发《关于推动工业互联网高质量发展的实施意见》的通知

    《关于推动工业互联网高质量发展的实施意见》提出,到2030年,工业互联网实现更广范围、更深程度、更高水平发展,推动实体经济和数字经济深度融合迈上新台阶。
    工业互联网大数据工业5G专网
    2026-07-01 10:47:35
  • 企业为何走向智能自动化?机器学习给出了答案

    机器学习驱动的流程自动化正在重塑这一格局。早期自动化主要基于规则引擎,通过预设条件触发固定操作,在结构稳定、场景可预测的任务中表现良好。
    机器学习流程自动化
    2026-01-27 11:50:06
  • AI元宇宙:重塑数字传播的创新范式与应用图景

    当人工智能(AI)的生成与交互能力,与元宇宙的虚实融合特性相遇,数字传播正告别传统的“信息传递”模式,迈入“沉浸共创”的全新阶段。随着算力提升、算法优化及行业标准的完善,AI元宇宙将真正构建起数字传播新生态。
    人工智能大数据元宇宙
    2026-01-15 15:42:02
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了