正在阅读:大数据项目遭遇失败 8大错误需谨记于心

大数据项目遭遇失败 8大错误需谨记于心

2016-12-28 16:01:04来源:51CTO 编辑:沐子飞 关键词:大数据数据挖掘大数据技术阅读量:36475

导读:使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈,终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。
  【中国智能制造网 智造快讯】为防止大数据项目遭遇失败,引入迭代机制是非常必要的。使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈,终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。

大数据项目遭遇失败 8大错误需谨记于心
 
  近年来,大数据旋风以“迅雷不及掩耳之势”席卷,不仅是信息领域,经济、政治、社会等诸多领域都“磨刀霍霍”向大数据,准备在其中逐得一席之地。然而,很多公司在迈入大数据领域后遭遇“滑铁卢”。在此,本文盘点了一系列大数据失败项目,深究其原因,具有警示意义。
 
  对数据过于相信
 
  2008年,Google次开始预测流感就取得了很好的效果,比美国疾病预防控制中心提前两礼拜预测到了流感的爆发。但是,几年之后,Google的预测比实际情况(由防控中心根据全美就诊数据推算得出)高出了50%。媒体过于渲染了Google的成功,出于好奇目的而搜索相关关键词的人越来越多,从而导致了数据的扭曲。
 
  低估大数据复杂程度
 
  在美国有几个互联网金融公司专做中小企业贷款。但是中小企业贷款涉及的数据更复杂,而且中小企业涉及到整个行业非常特殊的一些数据,比如非标准的财务报表和不同行业、不同范式的合同,他们没有很专业的知识,是很难理解或者很难有时间把它准确挖掘出来。
 
  当时大数据团队想用一个很的模型把所有的问题都解决掉,比如把市场和信贷的解决方案全部用一个模型来解决,但因为数据的复杂程度,后证明这种方法是失败的,而且90%的时间都在做数据清理。这就说明,想通过大数据技术一下子解决所有的问题是很难成功的,而是要用抽丝剥茧、循序渐进的方式。
 
  管理层的惰性
 
  某家旅游公司系统通过web日志数据的挖掘来提升客户洞察。结果证明,用户在浏览网站之后,随后的消费行为模式与管理层所认为的不一致。当团队汇报此事时,管理层认为不值一提。但是,该团队并没有放弃,并通过严密的A/B测试,回击了管理层的轻视。
 
  这个案例的终结果,不是每个CIO都能期盼的。但是,有一点是可以确定的:做好和管理层打交道的准备,让他们充分理解大数据是什么以及相应的价值。
 
  应用场景选择错误
 
  一家保险公司想了解日常习惯和购买生命保险意愿之间的关联性。由于随后觉得习惯太过于宽泛,该公司将调查范畴限定到是否吸烟上。但是,工作仍然没有实质进展。不到半年,他们就终止了整个项目,因为一直未能发现任何有价值的信息。
 
  这个项目的失败是由于问题的复杂性。在抽烟与否之间,该公司没有注意到还有大片灰色地带:很多人是先抽烟而后又戒烟了。在将问题简单化动机的驱动下,这个部分被忽略了。
 
  问题梳理不够全面
 
  一家性公司的大数据团队发现了很多深刻的洞察,并且计划通过云让全公司共享。结果这个团队低估了效率方面的损耗,由于网络拥塞的问题,无法满足各个分支顺畅提交数据运行分析的需求。
 
  该公司应该仔细思考下如何支撑大数据项目,梳理所需的技能并协调各IT分支的力量进行支持。由于网络、安全或基础设施的问题,已经有太多的大数据项目栽了跟头。
 
  缺乏大数据分析技能
 
  一家零售公司的执行官不认同亚马逊规模化、扁平化的服务模式,因此让CIO构建一个客户推荐引擎。项目初的规划是半年为期,但是团队很快认识到诸如协同过滤(collaborative filtering)之类的概念无法实现。为此,一个团队成员提出做一个“假的推荐引擎”,把床单作为的推荐产品。这个假引擎的工作逻辑是:买搅拌机的人会买床单,买野营书籍的人会买床单,买书的人会买床单。就是如此,床单是的、默认的推荐品。
 
  尽管可笑,这个主意其实并不坏,默认的推荐也能给企业带来销售上的提升。但是,由于大数据相关技能的缺失,真正意义上的引擎未能实现。
 
  提出了错误的问题
 
  一家的汽车制造商决定开展一个情感分析项目,为期6个月,耗资1千万美元。项目结束之后,该厂商将结果分享给经销商并试图改变销售模式。然后,所得出的结果终被证明是错误的。项目团队没有花足够的时间去了解经销商所面临的问题或业务建议,从而导致相关的分析毫无价值。
 
  应用了错误的模型。某银行为判断电信行业的客户流失情况,从电信业聘请了一位专家,后者也很快构建了评估用户是否即将流失的模型。当时已进入评测验证的后阶段,模型很快就将上线,而银行也开始准备给那些被认为即将流失的客户发出信件加以挽留。
 
  但是,为了保险起见,一位内部专家被要求对模型进行评估。这位银行业专家很快发现了令人惊奇的事情:不错,那些客户的确即将流失,但并不是因为对银行的服务不满意。他们之所以转移财产(有时是悄无声息的),是因为感情问题——正在为离婚做准备。
 
  可见,了解模型的适用性、数据抽象的级别以及模型中隐含的细微差别,这些都是非常具有挑战性的。
 
  管理层阻力
 
  尽管数据当中包含大量重要信息,但Fortune Knowledge公司发现有62%的企业仍然倾向于相信自己的直觉,更有61%的受访者认为的实际洞察力在决策过程中拥有高于数据分析结论的优先参考价值。
 
  选择错误的使用方法
 
  企业往往会犯下两种错误,要么构建起一套过分激进、自己根本无法驾驭的大数据项目,要么尝试利用传统数据技术处理大数据问题。无论是哪种情况,都很有可能导致项目陷入困境。
 
  提出错误的问题
 
  数据科学非常复杂,其中包含专业知识门类(需要深入了解银行、零售或者其它行业的实际业务状况);数学与统计学经验以及编程技能等等。很多企业所雇用的数据科学家只了解数学与编程方面的知识,却欠缺重要的技能组成部分——对相关行业的了解,因此好能从企业内部出发寻找数据科学家。
 
  缺乏必要的技能组合
 
  这项理由与“提出错误的问题”紧密相关。很多大数据项目之所以陷入困境甚至终失败,正是因为不具备必要的相关技能。通常负责此类项目的都是IT技术人员——而他们往往无法向数据提出足以指导决策的正确问题。
 
  与企业战略存在冲突
 
  要让大数据项目获得成功,大家必须摆脱将其作为单一“项目”的思路、真正把它当成企业使用数据的核心方式。问题在于,其它部门的价值或者战略目标有可能在优先级方面高于大数据,这种冲突往往会令我们有力无处使。
 
  大数据孤岛
 
  大数据供应商总爱谈论“数据湖”或者“数据中枢”,但事实上很多企业建立起来的只能算是“数据水坑儿”,各个水坑儿之间存在着明显的边界——例如市场营销数据水坑儿与制造数据水坑儿等等。需要强调的是,只有尽量缓和不同部门之间的隔阂并将各方的数据流汇总起来,大数据才能真正发挥自身价值。
 
  在大数据技术之外遇到了其它意外状况。数据分析仅仅是大数据项目当中的组成部分之一,访问并处理数据的能力同样重要。除此之外,常常被忽略的因素还有网络传输能力限制与人员培训等等。
 
  回避问题
 
  有时候我们可以肯定或者怀疑数据会迫使自身做出一些原本希望尽量避免的运营举措,例如制药行业之所以如此排斥情感分析机制、是因为他们不希望将不良副作用报告给美国食品药品管理局并承担随之而来的法律责任。
 
  在这份理由清单中,大家可能已经发现了一个共同的主题:无论我们如何高度关注数据本身,都会有人为因素介入进来。即使我们努力希望获取对数据的全面控制权,大数据处理流程终还是由人来打理的,其中包括众多初始决策——例如选择哪些数据进行收集与分析、向分析结论提出哪些问题等等。
 
  为防止大数据项目遭遇失败,引入迭代机制是非常必要的。使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈,终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。
 
  (原标题:用大数据失败案例的血泪教训来诉说8个不能犯的错误)
我要评论
  • 物流智能转型新引擎:DeepSeek+物流

    DeepSeek 物流不仅是技术的革新,更是城市发展的重要推动力。它通过智能化手段提升物流效率、优化资源利用、减少环境影响,并为智慧城市建设提供支撑。未来,随着AI技术的不断进步,物流行业将迎来更深刻的变革。
    物流大数据服务平台
    2025-04-30 10:11:15
  • 2025年4月1日开始施行的重要新规一览

    四月,一系列新规定即将实施,包括《公共安全视频图像信息系统管理条例》、《车联网网络安全异常行为检测机制》等。
    大数据服务平台
    2025-04-02 09:31:36
  • 铁塔大数据灾害分析平台:提升自然灾害智能化预警水平

    目前,我国灾害预防面临着监测预警网络不健全、实效性不高、精准性不强,“三断”(断路、断网、断电)无法及时发现等问题,亟需建立防灾减灾预警网络,实现“灾后救助”向“灾前预防”转变的目标。
    大数据灾害分析平台
    2025-03-19 10:47:45
  • 淄博市召开大数据系统工作会议暨“三拼三比”动员部署会

    会议指出,2024年是新一轮机构改革后全市大数据系统全面履职的第一年,全市大数据系统在市委市政府的坚强领导和省大数据局的有力指导下,数据要素价值加速释放、数字经济发展步伐加快、数字政府建设深入推进、数字支撑底座更为夯实,数字淄博建设取得明显成效。
    大数据服务平台
    2025-03-18 10:07:30
  • 公司重要动态速览|海康威视、新华三、宇树科技......

    近期,智慧城市领域的企业有哪些动态呢?小编整理了一下,一起来回顾。海康威视发布视觉大模型周界摄像机;宇树科技入驻阿里速卖通AliExpress出海......
    大数据服务平台
    2025-03-16 14:10:47
  • 贵州省大数据局召开数字企业座谈会

    会上,朱宗尧介绍了全省数据工作“一体两翼三大转型”总体思路及数字产业重点发展方向,数字产业处就起草促进数字产业发展相关政策措施有关情况作了说明。
    大数据服务平台
    2025-03-10 11:14:27
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了