最新行业资讯

头条号

最新原创观点

百家号


资讯中心

如何利用大数据挖掘帮助企业实现创新经营?

2016-06-23 09:41:43来源:达观数据 原标题:达观数据陈运文:大数据挖掘技术在企业创新中的应用 阅读量:32695

分享:
导读:正在发生的大数据变革,恐怕是人类技术发展中重要的话题之一,它冲击着许多主要的行业,同时大数据技术也正在彻底的改变我们的日常生活。
  【中国智能制造 学术论文】从人类文明诞生的那一刻起,数据就伴随我们而生——人类交流信息所用的文字和语言,计量距离或数量使用的记号和图案,观察自然所积累和传承的经验等,都是数据构成的。这些数据在百万年历史长河里,为人类文明的发展进化带来了难以估量的巨大价值。

如何利用大数据挖掘帮助企业实现创新经营?
  
  自从人类发明了纸和笔,创造了数字、文字、几何技术后,数据有了更的描述和记录的方法,在此基础上催生出了数字、物理、化学,以及文学、艺术、管理等学科,我们今天所享受的现代文明,都深深的植根于数据技术。
  
  随着互联网时代的大发展,数据记录逐步脱离了纸笔的限制,人类发明了廉价的硅晶半导体所蕴藏的秘密,大量的数据可以按0或1的二进制方式存储半导体材料内,它们的存储能力如此巨大,成本如此低廉,以至于以往被轻易忽略的数据都能被忠实的保存下来:我们每一下轻微的呼吸、每一次心脏的跳动、每一下鼠标的点击,企业里员工的每一次出勤、财务的每一笔账单、客户的每一个评论,包罗万象都能一一记录。
  
  与此同时,数据的概念也在进一步拓宽。传统的数据是指用数字或文字描述的内容,通称为结构化数据,而大数据时代涌现出了大量新型数据的、非结构化的数据。例如人群之间看不见的社交关系,移动设备发射的GPS位置,网络传播的图像、视频信号,可穿戴设备采集的健康数据等。对这些各种各样的数据的采集、挖掘、运用,也是现代大数据挖掘的重要研究课题。
  
  正在发生的大数据变革,恐怕是人类技术发展中重要的话题之一,它冲击着许多主要的行业,包括零售业、服务业、电子商务和金融领域等,同时大数据技术也正在彻底的改变我们的日常生活。如果把数据比作是矿石的话,大数据挖掘技术就是要从矿石中提炼出黄金,并形成各种精致的制成品发挥作用的过程。它既能够通过移动应用和云服务追踪和提升个人的生活品质,也能为现代企业带来更和稳健的管理方式。小到个人,大到企业和国家,大数据均是极度重要的一个议题,需要我们真正的深入理解它,因此本文将对大数据挖掘技术给出全景式的介绍,首先给出大数据的背景、原理和概念,然后阐述大数据挖掘的方法和步骤,再讲解大数据在企业应用中的方式和收益,后分享大数据时代的产业状况,和我们面临的挑战与机遇。
  
  大数据技术的背景、概念和意义
  
  1.大数据的产生背景
  
  大数据热潮诞生的先决条件是计算机存储能力的迅速扩大和成本的一再降低。得益于半导体技术在过去20年里持续快速的发展,今天我们用500元人民币就能轻松买到一块能装得下63万本《红楼梦》的1T容量的移动硬盘;价值2000元的一块PC硬盘甚至能存储下全世界迄今为止所有的音乐内容。在很多大型互联网公司里,拿一台较好配置的服务器,就可以一举装下美国国家图书馆里所有纸质书的内容——纵观整个人类文明发展史,今天人类拥有了的海量信息的存储能力,并且这个能力仍然在日新月异的向前发展着。
  
  与此同时,人类创造数据的能力也同样在高速增长。传统社会只有文人墨客、达官显贵才能青史上留下只言片语,而互联网时代里所有人都能轻松成为数据的生产者,例如Facebook上每月被用户分享500亿条新信息,的社交网络每天产生1亿张新照片。能够产生和采集数据的方式也越来越多——电脑、手机、电视、汽车……一切都在大踏步的向“智能化”迈进。
  
  我们对数据进行挖掘和处理的能力也遵照着“摩尔定律”在飞速的发展。这些IT技术在数据产生、存储、挖掘、运用方面的逐步成熟,让数据驱动产生价值的门槛越来越低,终于大数据时代的脚步匆匆到来了。
  
  2.大数据的“4V”要素
  
  大数据(BigData)概念早的提出者是麦肯森咨询公司和IBM公司的科学家们。在大数据的定义中,有如下“4V”要素是必须的:Volume,Variety,Velocity,Value,具体含义如下:
  
  Volume:具备超出典型数据库软件收集、存储、管理和分析能力的数据集;
  
  Variety:具备多样性的,结构化、半结构化、非结构化等多种类型的数据形式;
  
  Velocity:具备快速、实时的数据处理能力;
  
  Value:具备从稀疏的数据中挖掘高价值内容的意义。
  
  4V要素之间存在密切的关联关系:Volume是所有工作的基础,构建一个容量足够巨大的数据处理平台才能保证其上的应用;基于Volume进一步有Variety,用于多样化数据的处理;Velocity保证了系统有实时数据处理的能力;终的Value体现了数据所能发挥的价值,大数据重要的并非“大”,也并非“数据”本身,而是人们如何认识和使用它,尽大可能挖掘出其中价值,正所谓吹尽黄沙始见金。
  
  3.大数据价值和企业信息化
  
  数据价值的直观应用就是在企业管理里,这个过程和企业信息化的发展往往交织在一起。在1980s年代及以前,企业的各类业务、财务数据都是通过账簿记录,这种方式查阅和统计的效率都很低,可靠性也不高。从1990s年代末开始,金融业、电信业、大型零售等行业企业将核心交易数据电子化,2000年以后随着IT技术的进步,越来越多的企业将信息化纳入议程,ERP、MIS系统蓬勃发展,设计、制造、进存销等业务管理逐步数据化,这些数据被大家意识到是企业宝贵的资产,随之而起的统计报表技术也渐渐完善。2010年以后,更多种类的数据,包括客户的浏览数据、反馈数据等在一些企业中也都开始记录并逐步进行个性化建模和分析,数据驱动的CRM客户关系管理开始在运营和个性化服务方面崭露头角,基于数据分析的预测技术也逐步开始出现。
  
  从过去到未来,数据的价值在一点一滴的凸显,注意这个过程是动态变化的,十年以前的大数据在如今看来根本不算很大;而同样的,今天的大数据在若干年后也将不再被认为是大数据。数据容量、速度、多样性、复杂度方面在今天来看无法想象的事情,几年之后都将完全被颠覆;不变的,是对数据的思考和分析的方法,和利用数据来产生附加价值的出发点。
  
  大数据挖掘的方法、流程和场景
  
  1.大数据采集的特点
  
  大数据应用的步就是采集数据。巧妇难为无米之炊,数据采集的完整性、准确性,决定了数据应用是否能真实可靠的发挥作用。大数据时代的数据采集有如下三个特点:
  
  1)数据采集以自动化手段为主,要尽量摆脱人工录入的方式;
  
  2)采集内容以全量采集为主,要摆脱对数据进行采样的方式;
  
  3)采集方式多样化、内容丰富化,摆脱以往只采集基本数据的方式。
  
  从采集数据的类型上看,不仅要涵盖基础的结构化交易数据,还将逐步包括半结构化的用户行为数据,网状的社交关系数据,文本或音频类型的用户意见和反馈数据,设备和传感器采集的周期性数据,网络爬虫获取的互联网数据,以及未来越来越多有潜在意义的各类数据。
  
  2.常见数据采集技术
  
  传统的数据采集方法包括人工录入、调查问卷、电话随访等方式,大数据时代到来后,一个突出的变化是数据采集的方法有了质的飞跃,下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。
  
  移动互联网的兴起让面向移动设备的数据采集技术有了迅速发展,目前使用多的常称为Android或iOS的采集SDK,这种技术能帮助统计APP的基础数据,包括用户数、活跃情况、流失比例、使用时长等;用户的位置、安装列表、通讯情况等通过授权也可以采集。网络爬虫是另一类广泛使用的互联网采集技术,常被用于进行大规模全网信息采集、舆情监控、竞品分析等领域。
  
  物联网也和大数据息息相关,因为物联网的关键技术之一是无线射频标签:当安装有RFID微型标签的读卡器在近距离发出信号时,带有RFID的物品能自动返回其的序列号,这样就能实现自动大批量辨识物品信息的工作。RFID技术解决了物品信息与互联网实现自动连接的问题,结合后续的大数据挖掘工作,能发挥其强大的威力。
  
  在工业制造业里,传感器是另一类常见的大数据采集装置,它能将测量到的信息按一定规律变换为电信号输出,通常用于自动检测和控制等环节。传感器的种类极为丰富:大到机械设备、汽车、飞机、建筑物,小到一部智能手机、一个智能设备,都可以安装很多种传感器,传递温度、压力、位置、位移、光敏、距离、化学感应、生物、磁场等各类信号。未来携带传感器 大数据平台的智能设备将越来越多,基于传感器数据的大数据应用才刚刚起步,如智能医疗,智慧城市等,这方面有着广阔的前景。
  
  3.数据存储技术的发展和演进
  
  传统企业信息化系统采用关系数据库来进行数据存储,其中规模较大的通常被称为“数据集市”。随着采集数据的种类越来越多,部分行业的公司看到了把不同数据集市集中到一个大系统中的价值,这个大系统称为企业级数据仓库,由专门的数据团队(或称为数据中心)负责集中式的数据管理和维护。
  
  随着数据量的惊人增长,已经使用了20余年的传统数据库再也无法支撑起新的存储需求了,所以被Google称为BigTable和GFS的新型存储技术在过去的几年里被发明出来,并在行业中广泛应用,这些技术通过自动调配上万台服务器协同工作,能完成高性能和高可靠的数据存储任务,为大数据的运用铺平了道路。
  
  [1]  [2]  下一页

我要评论

相关新闻

中国废橡胶综合利用行业2024年1月统计数据分析 2024-03-05 08:27:52
024年1月份再生胶、胶粉总产量76203吨(其中:普通再生橡胶44787吨 ,特级再生橡胶6124吨,特种再生橡胶8843吨,胶粉16449吨),比上年同期增长了39.06%。
到2028年,数据分析市场规模将达到1820亿美元 2024-02-26 09:03:26
预测显示,从2023年560.6亿美元的估值来看,到2028年,数据分析市场将飙升至1829.7亿美元,复合年增长率为26.69%。
中国废橡胶综合利用行业10月统计数据分析 2023-11-29 11:43:29
2023年10月份,从29家会员单位统计同比显示,当前总产量、销售量、工业销售产值、实现利润总额同比去年同期均有所下降。

版权与免责声明:凡本网注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本网将追究其相关法律责任。

本网转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

不想错过最新资讯?

下载智能制造APP

一键筛选来订阅

信息更精准

企业直播

更多

产品商城 更多


关于我们|本站服务|会员服务|商站通服务|旗下网站|友情链接|产品分类浏览|意见反馈|兴旺通|频道

智能制造网 - 工业4.0时代智能制造领域“互联网+”服务平台

Copyright gkzhan.comAll Rights Reserved法律顾问:浙江天册律师事务所 贾熙明律师

客服热线:0571-87756395采购热线:0571-87759926媒体合作:0571-89719789

客服部:采购部:编辑部:展会合作:市场一组:市场二组:

关闭