正在阅读:八大原因告诉你 数据分析机器学习模型为何部署难

八大原因告诉你 数据分析机器学习模型为何部署难

2016-06-21 09:54:53来源:36大数据 原标题:数据分析/机器学习模型无法部署的八大原因 关键词:数据分析机器学习落地难阅读量:31896

导读:本文中我列出了在建立模型时你应当谨记的所有可能原因。在我的职业生涯中,我曾多次遇到过这种情况。我希望在我经验的帮助下,可以帮助你克服这种情况。
  【中国智能制造网 市场分析】在本文中,我列出了在建立模型时你应当谨记的所有可能原因。在我的职业生涯中,我曾多次遇到过这种情况。因此,我认为在我经验的帮助下,可以帮助你克服这种情况。

八大原因告诉你 数据分析机器学习模型为何部署难
  
  不要成为一个模型无法部署的数据科学家
  
  举一个典型的模型部署失败的实例:Netflix大奖竞赛。简单来说,这是一个面向大众开放的竞赛,参与者需要写一个协同过滤算法来预测电影的用户评级。胜出者获得了1000万美元的大奖。然而后,这个完整的模型却没有得到部署。
  
  不仅仅是Netflix,大多数公司都发生过这种戏剧性的事件。就在近,我与许多数据分析公司的公司高管进行了交流,而他们大的担忧就是公司50%的预测模型都得不到实现。
  
  为什么要建立一个在现实世界中无法使用的模型呢?这就好像你做一个蛋糕,尝试过后发现很美味,但却永远不让任何人吃一个道理。
  
  模型部署失败的8个原因
  
  1、高假正性(FP):这看上去似乎有点专业,而目前重要的是了解什么是假正。假设在一个分类模型中,我们想要预测客户是应答者(给出答案的人)还是非应答者(不给出答案的人)
  
  想象一下,如果你预测一个人X会是一个应答者,但实际上他并不会给出任何答案。这种情况下,X就被称为假正。那么在现实世界中这会造成什么影响,我知道你想要问这个问题。
  
  举个例子,例如你需要为1000个客户建立一个保留活动,在这1000个客户中会有100个客户流失(离开)。你创建一个了不起的模型,在这个模型中前十个人中有四个人会离开(相等的部分)
  
  这就意味着,从你预测的前100个客户中,40个客户会流失。所以,你推荐企业专为这100个客户提供一个吸引人的购物方案,这样可以阻止他们流失。但是,这仍有很大问题。
  
  问题就是你花费在那些客户身上的每一美元中,只有0.4美元被用来阻止客户流失。剩下的0.6美元都浪费在那些并不是真心想要离开的假正(FP)客户身上。
  
  2、不了解基本业务模型:近,对于使用机器学习算法和更加复杂的模型建立技术的需求正在日益增长。换句话说,各企业正在逐渐减少使用传统的模型技术。
  
  毫无疑问,使用机器学习技术可以加大预测能力。但是企业仍不是太接受这种黑盒技术。以我经验而言,这将导致实施一个预测策略时会需要更长的前置时间。由于大多数的应用程序业务上是高度动态的,该模型也会由于较长的前置时间变得越来越冗余。
  
  3、对业务问题不够了解:创建过预测模型对分析师或者业务同行而言都会在其履历上添加浓墨重彩的一笔。然而,这并不是你建立模型的目的。在某些情况下,分析师进入创建模型阶段,并会试图削减本应分配给了解业务问题的时间。
  
  4、模型实施过于复杂:预测能力是这些模型实施的灵魂,但是一般情况下,预测能力是以模型的复杂度为代价的。为使模型更加健壮我们开始引入双变量和三变量,不论这些变量对业务来说有没有意义。这样的模型在书本上可能是十分精彩的,然而就因如此,他们也只能停留在书本上,并不能在现实世界中实现。
  
  5、不能解决根本原因,仅仅试图提高一个过程的影响。我们为什么做模型?重要的原因是为找到一个特定响应的驱动程序。这些驱动程序又是什么?驱动程序往往是响应率的根本原因。如果你引进所有影响当做输入变量,然后这些变量也会作为重要输出时将会发生什么?这将没有任何用处,因为你没有改变任何可能带来变化的事情。
  
  6、训练人口与得分人口完全不同:在很多情况下,我们终是在一个与实际人口完全不同的人口中建立模型。举例来说,如果你正在创建一个针对人口的活动,并且以前没有类似的活动。在这种情况下,我们先从基本假设开始,假设该人口具有高响应率,且有可能有高增量响应率。但是这种假设很少是真实的,因此该模型将很难使用。
  
  7、不稳定模型:高性能模型通常是高度不稳定的,并且不在同一时间内执行。在这种情况下,业务可能需要高频的模型修正。随着模型创建的前置时间越来越长,业务可能会开始回到基于直觉的策略。
  
  8、依赖于高动态变量的模型:动态变量给模型带来真正的预测能力。然而,你也可能会有这样的变量,它的赋值永远不会显示在训练窗口。
  
  例如,你可能得到一些工作日的销售量作为重要变量来预测一个分支的月销售量。我们就说这种变量具有高预测性。但是对于我们的评分窗口而言,有一些月份仅仅有10-15天的工作日。如果你的训练数据没有这样的月份,你的模型可能无法进行准确预测。
我要评论
  • 国家发展改革委等部门关于促进数据产业高质量发展的指导意见

    到2029年,数据产业规模年均复合增长率超过15%,数据产业结构明显优化,数据技术创新能力跻身世界先进行列,数据产品和服务供给能力大幅提升,催生一批数智应用新产品新服务新业态,涌现一批具有国际竞争力的数据企业,数据产业综合实力显著增强,区域聚集和协同发展格局基本形成。
    数据产业数据分析
    2025-01-03 09:58:46
  • 未来最值得关注的人工智能和机器学习趋势是什么?

    人工智能和机器学习社区最紧迫的问题之一是道德人工智能系统的开发和实施。随着人工智能技术在我们生活中变得越来越普遍,确保负责任地设计和部署这些系统至关重要。
    人工智能机器学习
    2024-12-23 11:21:00
  • 市场分析|推动工业物联网数据分析的四项关键技术

    人工智能无疑将工业物联网分析提升到了一个新的水平。这种改进主要是因为人工智能可以在大量数据中检测模式,让人们能够比没有技术帮助的情况下更快地得出结论。
    工业物联网数据分析
    2024-10-23 09:39:50
  • 中国废橡胶综合利用行业2024年6月及上半年统计数据分析

    2024年6月份再生胶、胶粉总产量75699.62吨(其中:普通再生橡胶44411.9吨 ,特级再生橡胶8452吨,特种再生橡胶10115.72吨,胶粉12720吨),比上年同比降低5.40%。
    废橡胶数据分析
    2024-07-30 17:04:16
  • 2025年大数据分析:未来趋势及技术展望

    本文将预测2025年的大数据分析趋势,并找到数据分析中最合适的工具、企业和新兴趋势,从而塑造未来。
    大数据机器学习
    2024-07-29 09:55:05
  • 2024年十大生成式人工智能预测

    展望2024年,生成式人工智能的前景是谨慎乐观的,预计将进一步增强和发展。本文揭示了2024年十大生成式人工智能预测,这些预测有可能改变各个领域的人工智能未来。
    生成式人工智能机器学习
    2024-05-30 09:43:50
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了