正在阅读:2019年大数据的10大发展趋势

2019年大数据的10大发展趋势

2019-02-21 11:57:52来源:企业网D1Net 关键词:大数据大数据技术阅读量:24632

导读:如今,人们寻求获得更多的数据有着充分的理由,因为数据分析推动了数字创新。然而,将这些庞大的数据集转化为可操作的洞察力仍然是一个难题。
  【中国智能制造网 市场分析】如今,人们寻求获得更多的数据有着充分的理由,因为数据分析推动了数字创新。然而,将这些庞大的数据集转化为可操作的洞察力仍然是一个难题。而那些获得应对强大数据挑战的解决方案的组织将能够更好地从数字创新的成果中获得经济利益。
2019年大数据的10大发展趋势
 
  考虑到这个基本前提,以下是组织在2019年应该关注的大数据的10个发展趋势:
 
  1.数据管理仍然很难
 
  大数据分析有着相当明确的重要思想:找到隐藏在大量数据中的信息模式,训练机器学习模型以发现这些模式,并将这些模型实施到生产中以自动对其进行操作。需要清理数据,并在必要时进行重复。
 
  然而,将这些数据投入生产的现实要比看上去困难得多。对于初学者来说,收集来自不同孤岛的数据很困难,需要提取、转换和加载(ETL)和数据库技能。清理和标记机器学习培训的数据也需要花费大量的时间和费用,特别是在使用深度学习技术时。此外,以安全可靠的方式将这样的系统大规模投入生产需要另外一套技能。
 
  出于这些原因,数据管理仍然是一个巨大的挑战,数据工程师将继续成为大数据团队中受欢迎的角色之一。
 
  2.数据孤岛继续激增
 
  这个预测并不困难。在五年前的Hadoop开发热潮中,人们认为可以将所有数据(包括分析和事务工作负载)整合到一个平台上。
 
  出于各种原因,这个想法从未真正实现过。其面临的大挑战是不同的数据类型具有不同的存储要求。关系数据库、图形数据库、时间序列数据库、HDF和对象存储都有各自的优缺点。如果开发人员将所有数据塞进一个适合所有数据的数据湖中,他们就无法大限度地发挥其优势。
 
  在某些情况下,将大量数据集中到一个地方确实有意义。例如,像S3这样的云数据存储库为企业提供了灵活且经济的存储,而Hadoop仍然是非结构化数据存储和分析的经济的存储。但对于大多数公司而言,这些只是必须管理的额外孤岛。当然,它们是重要的孤岛,但它们不是的。
 
  而在缺乏强大集权的情况下,数据仓库将会继续激增。
 
  3. 流媒体分析的突破性的一年
 
  组织处理新数据越快,业务发展就会越好。这是实时分析或流式分析背后的推动力。但组织一直面临的挑战是要真正做到这一点非常困难,而且成本也很高,但随着组织的分析团队的成熟和技术的进步,这种情况正在发生变化。
 
  NewSQL数据库、内存数据网格和专用流分析平台围绕通用功能进行融合,这需要对输入数据进行超快处理,通常使用机器学习模型来自动化决策。
 
  将它与Kafka、Spark和Flink等开源流式框架中的SQL功能相结合,组织就可以在2019年获得真正的进步。
 
  4.数据治理不善将带来风险
 
  有些人将数据称之为“新石油”,也被称为“新货币”。无论是什么样的比喻,大家都认为数据具有价值,并且如果对此不重视将会带来更大的风险。
 
  欧盟通过去年颁布的GDPR法规阐明了数据治理不善的财务后果。虽然美国还没有类似的法律,但美国公司仍然必须遵守由美国联邦、各州等创建的80个不同的数据制授权法规。
 
  数据泄露正在引发问题。根据Harris Poll公司进行的一项在线调查,2018年有近6000万美国人受到身份盗窃的影响。这比2017年增长了300%,当时只有1500万人表示受到了影响。
 
  大多数组织已经意识到无序发展的大数据时代即将结束。而很多国家和地区的政府对数据滥用或隐私泄露行为不再容忍。
 
  5.随着技术的发展,技能也在转变
 
  人力资源通常是大数据项目中的大成本,因为工作人员终构建并运行大数据项目,并使其发挥作用。无论使用何种技术,找到具有合适技能的人员对于将数据转化为洞察力至关重要。
 
  而随着技术的进步,技能组合也是如此。在2019年,人们可以看到企业对于神经网络专业人才的巨大需求。在数据科学家(而不是人工智能专家)的技能中,Python仍然在语言中占主导地位,尽管对于R、SAS、Matlab、Scala、Java和C等语言还有很多工作要做。
 
  随着数据治理计划的启动,对数据管理人员的需求将会增加。能够使用核心工具(数据库、Spark、Airflow等)的数据工程师将继续看到他们的机会增长。人们还可以看到企业对机器学习工程师的需求加速增长。
 
  然而,由于自动化数据科学平台的进步和发展,组织的一些工作可以通过数据分析师或“公民数据科学家”来完成,因为众所周知,数据和业务的知识和技能可能会让组织在大数据道路上走得更远,而不是统计和编程。
 
  6.深度学习变得更加深入
 
  深度学习的发展为人工智能的应用提供了更多的动力,在2019年没有任何减缓的迹象。组织将继续尝试深度学习框架,如TensorFlow、Caffe、Keras、PyTorch和MXnet,以期将大量数据集实现货币化。
 
  组织将扩展深度学习,超越其初的用例,如计算机视觉和自然语言处理(NLP),并找到实现强大技术的新的和创造性的方法。大型金融机构已经发现神经网络算法比“传统”机器学习方法更能发现欺诈行为,并且将在2019年继续探索新的用例。
 
  这也将支持对GPU的需求,GPU是培训深度学习模型的处理器。目前还不清楚是否有新的处理器类型,包括ASIC、TPU和FPGA。但是,显然还需要更快的培训和推理。
 
  然而,深度学习生态系统将保持相对年轻,缺乏通用平台将使其成为真正专家的领域。
 
  7.“Special K”扩大了足迹
 
  软件需要运行一些东西。用于提供通用基础的操作系统,但现在开发人员的目标要低一点:Kubernetes。
 
  Kubernetes由Google公司开发,用于管理和协调云中的虚拟化Linux容器,在IT行业中,它已成为大数据生态系统中热门的技术之一。随着多云和混合部署变得越来越普遍,Kubernetes就是将它们整合在一起的粘合剂。
 
  以前编写Hadoop上运行的软件的大数据软件供应商现在正在编写Kubernetes上运行的软件,这至少让他们进入了前台。支持Kubernetes软件已经成为软件供应商(包括Hadoop供应商)的首要需求。
 
  8. 难以忽视的云计算
 
  云计算的规模越来越大。2018年,三大公共云供应商的业务增长率接近50%。云计算供应商提供了一系列大数据工具和技术,更不用说用于存储所有数据的廉价存储,因此用户很难抵御云计算的诱惑。
 
  2019年,小型企业和初创企业将被主要的公共云提供商提供的服务所吸引,这些云计算提供商正在投入巨资建设随时可运行的大数据平台,提供自动化机器学习、分析数据库和实时流分析服务。
 
  即使成本方面并不那么吸引人,大型企业也难以抗拒云计算所带来的好处。然而,将业务锁定在单一云计算供应商,这让大型企业担心面临将所有鸡蛋放在一个篮子中的风险。
 
  9.新技术将会出现
 
  当今推动创新的许多主要大数据框架和数据库都是由网络巨头创建的,并作为开源应用发布。好消息是可能将加快技术创新。
 
  在2019年,大数据从业者在他们的创作中会尽可能保持灵活性。虽然出于性能原因,将应用程序绑定到某项技术可能会很有诱惑力,但是当更好、更快地出现这种情况时,这可能会让组织感到困扰。
 
  尽可能多地保持应用程序“松散耦合但紧密集成”,因为终必须将其拆分并重新构建。
 
  10.智能设备无处不在
 
  如今,智能设备无处不在,并且不断收集数据。而在消费者需求的推动下,智能设备正以惊人的速度增长。智能设备生态系统正在亚马逊Alexa和谷歌智能助理两大平台上崭露头角,为消费者提供了将远程访问和人工智能融入从照明、暖通空调系统、门锁、家用电器等各个行业领域的机会。
 
  由于超高速5G无线网络即将推出,消费者将能够与众多设备进行交互,并且无论在哪里,都会提供新的个性化服务。
 
  2019年,大数据将在多个方面取得进展。虽然大数据和人工智能的发展仍然存在大量的技术、法律和道德障碍,但潜在的好处巨大,不容忽视。
 
  (原标题:2019年大数据的10大发展趋势)
我要评论
文明上网,理性发言。(您还可以输入200个字符)

所有评论仅代表网友意见,与本站立场无关。

  • 稳中求进固根基 向智而行开新局——中国工业互联网研究院召开国家工业互联网大数据中心建设专题报告会

    10月26日,中国工业互联网研究院组织召开国家工业互联网大数据中心建设专题报告会。会议由中国工业互联网研究院院长鲁春丛主持,院党委书记田川及院班子成员出席会议,院本部及各分院干部职工500多人以线上线下相结合的方式参加会议。
    工业互联网大数据
    2026-10-28 11:52:37
  • 2027年值得关注的十大大数据趋势

    进入2027年,大数据技术的发展重点将不再局限于数据量增长,而是更加关注数据的实时性、可用性、治理能力以及与人工智能系统之间的协同。企业需要解决的不只是“如何存储更多数据”,还包括如何让数据能够被快速理解、可靠调用并转化为实际价值。
    大数据数据治理
    2026-09-01 09:37:12
  • 工业和信息化部等八部门印发《关于推动工业互联网高质量发展的实施意见》的通知

    《关于推动工业互联网高质量发展的实施意见》提出,到2030年,工业互联网实现更广范围、更深程度、更高水平发展,推动实体经济和数字经济深度融合迈上新台阶。
    工业互联网大数据工业5G专网
    2026-07-01 10:47:35
  • AI元宇宙:重塑数字传播的创新范式与应用图景

    当人工智能(AI)的生成与交互能力,与元宇宙的虚实融合特性相遇,数字传播正告别传统的“信息传递”模式,迈入“沉浸共创”的全新阶段。随着算力提升、算法优化及行业标准的完善,AI元宇宙将真正构建起数字传播新生态。
    人工智能大数据元宇宙
    2026-01-15 15:42:02
  • 车凌科技CES 2026发布Hyper Hub,为车企构建数据生态连接器

    在刚刚落幕的CES 2026期间,车凌科技正式推出车辆数据对外合作平台Hyper Hub(凌云数汇)。该平台定位为车凌科技MaaS (Mobility as a Service)全栈解决方案的生态枢纽,试图应对当前汽车行业普遍存在的数据孤岛与生态封闭问题。
    云计算大数据
    2026-01-15 09:22:39
  • 2026年领导层需要关注的7大云计算趋势

    当全球云计算支出在 2026 年初正式突破 1 万亿美元的那一刻,云已不再是“IT 议题”,而是决定企业估值、产业安全与国家竞争力的核心变量。
    云计算大数据
    2026-01-13 13:25:55
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了