正在阅读:抓错能手!MIT发布首个贝叶斯“数据清理”机器人:7.5小时洗220万条数据

抓错能手!MIT发布首个贝叶斯“数据清理”机器人:7.5小时洗220万条数据

2021-05-18 09:23:43来源:智能制造网 关键词:机器人数据清洗阅读量:22916

导读:麻省理工学院的研究人员发明了一种新的系统,可以自动清除“脏数据”——数据分析师、数据工程师和数据科学家害怕的打字错误、重复、拼写错误和不一致。
  麻省理工学院(MIT)的研究人员发明了一种新的系统,可以自动清除“脏数据”(dirty data)——数据分析师、数据工程师和数据科学家害怕的打字错误、重复、缺失值、拼写错误和不一致。
 
  这个系统被称为PClean,是概率计算项目(Probabilistic Computing Project)研究人员编写的针对特定领域的概率编程语言,旨在简化人工智能应用程序的开发并实现自动化,例如时间序列和数据库进行建模。
 
  根据Anaconda和Figure Eight进行的调查,数据清理可能需要数据科学家四分之一的时间。自动化数据清理这项任务,一直是很有挑战性的,因为不同的数据集需要不同类型的清理,而且经常需要对世界上的对象进行常理性的判断。PClean为这些判断用提供了通用的常识性模型,这些判断可以根据特定的数据库和错误类型进行定制。
 
  PClean使用一种基于知识的方法来自动化数据清理过程:用户对数据库的背景知识以及可能出现的问题进行编码。用户可以给PClean关于域和关于数据可能被破坏的背景知识。PClean通过常识概率推理结合这些知识来得出答案。
 
  这篇论文的主要作者、电子工程和计算机科学系(EECS)的博士生亚历克斯·卢(Alex Lew)说,他最兴奋的是PClean提供了一种从计算机获取帮助的方式,就像人们相互寻求帮助一样。
 
  “PClean是第一个基于生成数据建模的可扩展、设计良好、通用的解决方案,这必须是正确的道路。结果不言自明。”合著者Agrawal补充说:“现有的数据清理方法在表达能力上受到了更多的限制,而这可能更加用户友好,但代价是相当有限。”此外,我们发现PClean可以扩展到非常大的数据集,这些数据集在现有系统下运行时不现实。”
 
  PClean建立在概率编程的最新进展之上,包括在麻省理工概率计算项目中建立的一个新的人工智能编程模型,该模型使应用人类知识的现实模型来解释数据变得更加容易。PClean的修复是基于贝叶斯推理(Bayesian reasoning)的,这种方法结合了先验概率(给定的手头数据)和后验概率,能够对填补的数据给出一个概率值。
 
  PClean是第一个贝叶斯数据清理系统,它可以结合领域专业知识和常识性推理,自动清理数据库中的数百万条记录。PClean通过三项创新实现了这一效率:
 
  - 首先,PClean的脚本语言允许用户对他们知道的内容进行编码。这将产生精确的模型,即使对于复杂的数据库也是如此。
 
  - 第二,PClean的推理算法使用了一种两阶段的方法,基于一次处理记录,对如何清除记录做出有根据的猜测,然后重新访问判断调用来修复错误。这将产生强大、准确的推理结果。
 
  - 第三,PClean提供了一个自定义编译器,可以生成快速推理代码。这使得PClean能够以比其他竞争方法更快的速度运行在有上百万条记录的数据库上。
 
  与所有概率程序一样,该工具工作所需的代码行数要比其他最先进的选择少得多:PClean程序只需要大约50行代码就可以在准确性和运行时方面超过基准测试。做个比较你就明白这种提升有多明显:一款简单的蛇形手机游戏需要两倍多的代码才能运行,而《我的世界》的代码就超过了100万行。
 
  在他们刚刚于2021年人工智能和统计学会会议上提交的论文中,作者展示了PClean的能力,通过使用PClean来检测错误,并在220万行全国医疗保险医师比较数据集中输入缺失值,可以扩展到包含数百万条记录的数据集。仅仅运行了7个半小时,PClean就发现了8000多个错误。然后作者通过手工验证(通过搜索医院网站和医生LinkedIn页面),结果显示:对于超过96%的患者,PClean提出的修复方案是正确的。
 
  由于PClean是基于贝叶斯概率的,它也可以给出其不确定性的校准估计。它可以维持多个假设——给你分级的判断,而不仅仅是是/否的答案。
 
  (原标题:抓错能手!MIT发布首个贝叶斯“数据清理”机器人:7.5小时洗220万条数据)
我要评论
文明上网,理性发言。(您还可以输入200个字符)

所有评论仅代表网友意见,与本站立场无关。

  • 投资6个亿!年产1000万套机器人轴承生产线在南京开工

    南京光力精工有限公司年产1000万套机器人轴承生产线项目近日在南京溧水区正式开工建设。这是溧水近期落地的又一个机器人及高端装备制造项目,也折射出核心零部件环节持续升温的产业节奏。项目投产后,年销售收入有望突破3亿元,产品将面向工业机器人、高端机床等下游行业,匹配相关领域对高精度通用设备零部件的市场需求。
    机器人机器人配件轴承
    2026-11-17 10:04:41
  • 浙江省机器人产业发展协会第二届会员大会第三次会议顺利召开

    11月16日下午,浙江省机器人产业发展协会第二届会员大会第三次会议顺利召开。
    机器人
    2026-11-17 10:08:37
  • 意优科技合肥工厂开业,聚焦高性能协作机械臂

    11月13日,意优科技合肥工厂正式开业。意优集团高层领导、合肥高新区相关领导及客户代表出席活动,共同见证意优协作机械臂制造基地落地的重要时刻。合肥工厂未来达产后,预计年产机械臂约2000条,年产值可达4000万元。工厂将结合市场需求与业务发展节奏,稳步推进产线布局,逐步将规划转化为实际产出。
    机器人具身智能意优科技
    2026-11-17 10:01:15
  • 星动XHAND 1 Pro-U开启限量发售:英伟达GR00T 2、GEAR DexUMI官配五指灵巧手

    11月9日,英伟达科学家Jim Fan在CoRL现场发布GR00T 2并公布全栈开源计划,主题定为「机器人的夏天」。他指出,GPT-6 Astra并非带来颠覆:Astra(System 2)负责理解与规划,GR00T 2世界-动作模型WAM(System 1)负责快速执行,System 2越强,越需要高质量的System 1,系统瓶颈进一步转向物理世界。
    机器人具身智能灵巧手
    2026-11-17 09:56:47
  • 医管家携手普渡机器人、芯驰科技达成战略合作:以“AI智能化×车规级”探索医院后勤人机协同

    近日,医管家与普渡机器人、芯驰科技正式达成战略合作。三方将发挥各自在场景运营、具身智能机器人、高可靠车规级芯片方面的积累,以医院真实场景为验证和落地环境,以具身智能机器人为技术引擎,以车规级芯片为安全底座,共同探索面向医院后勤场景的机器人应用体系,推动医院后勤服务智能化升级。
    机器人具身智能服务机器人
    2026-11-17 09:39:52
  • 松延动力Bumi小布米OTA V3.2.0版本迎来全新升级!

    11月13日,松延动力Bumi小布米OTA V3.2.0版本迎来全新升级!此次OTA V3.2.0更新进一步聚焦语音交互、舞蹈表现、日常操作与多机协同,带来喜马拉雅语音联动、舞蹈BGM伴奏、语音交互开关、低电量自动收纳及云平台群控五项功能升级,让小布米更好用、更有趣,也为机器人拓展更多互动玩法。
    机器人具身智能
    2026-11-16 09:53:31
版权与免责声明:

凡本站注明“来源:智能制造网”的所有作品,均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品,未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:智能制造网”。违反上述声明者,本站将追究其相关法律责任。

本站转载并注明自其它来源(非智能制造网)的作品,目的在于传递更多信息,并不代表本站赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时,必须保留本站注明的作品第一来源,并自负版权等法律责任。如擅自篡改为“稿件来源:智能制造网”,本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多,如涉及作品内容、版权等问题,请与本站联系并提供相关证明材料:联系电话:0571-89719789;邮箱:1271141964@qq.com。

不想错过行业资讯?

订阅 智能制造网APP

一键筛选来订阅

信息更丰富

推荐产品/PRODUCT 更多
智造商城:

PLC工控机嵌入式系统工业以太网工业软件金属加工机械包装机械工程机械仓储物流环保设备化工设备分析仪器工业机器人3D打印设备生物识别传感器电机电线电缆输配电设备电子元器件更多

我要投稿
  • 投稿请发送邮件至:(邮件标题请备注“投稿”)1271141964.qq.com
  • 联系电话0571-89719789
工业4.0时代智能制造领域“互联网+”服务平台
智能制造网APP

功能丰富 实时交流

智能制造网小程序

订阅获取更多服务

微信公众号

关注我们

抖音

智能制造网

抖音号:gkzhan

打开抖音 搜索页扫一扫

视频号

智能制造网

公众号:智能制造网

打开微信扫码关注视频号

快手

智能制造网

快手ID:gkzhan2006

打开快手 扫一扫关注
意见反馈
我要投稿
我知道了