抓错能手！MIT发布首个贝叶斯“数据清理”机器人：7.5小时洗220万条数据

2021-05-18 09:23:43来源：智能制造网关键词：机器人数据清洗阅读量：22807

导读：麻省理工学院的研究人员发明了一种新的系统，可以自动清除“脏数据”——数据分析师、数据工程师和数据科学家害怕的打字错误、重复、拼写错误和不一致。

　　麻省理工学院(MIT)的研究人员发明了一种新的系统，可以自动清除“脏数据”(dirty data)——数据分析师、数据工程师和数据科学家害怕的打字错误、重复、缺失值、拼写错误和不一致。

　　这个系统被称为PClean，是概率计算项目(Probabilistic Computing Project)研究人员编写的针对特定领域的概率编程语言，旨在简化人工智能应用程序的开发并实现自动化，例如时间序列和数据库进行建模。

　　根据Anaconda和Figure Eight进行的调查，数据清理可能需要数据科学家四分之一的时间。自动化数据清理这项任务，一直是很有挑战性的，因为不同的数据集需要不同类型的清理，而且经常需要对世界上的对象进行常理性的判断。PClean为这些判断用提供了通用的常识性模型，这些判断可以根据特定的数据库和错误类型进行定制。

　　PClean使用一种基于知识的方法来自动化数据清理过程：用户对数据库的背景知识以及可能出现的问题进行编码。用户可以给PClean关于域和关于数据可能被破坏的背景知识。PClean通过常识概率推理结合这些知识来得出答案。

　　这篇论文的主要作者、电子工程和计算机科学系(EECS)的博士生亚历克斯·卢(Alex Lew)说，他最兴奋的是PClean提供了一种从计算机获取帮助的方式，就像人们相互寻求帮助一样。

　　“PClean是第一个基于生成数据建模的可扩展、设计良好、通用的解决方案，这必须是正确的道路。结果不言自明。”合著者Agrawal补充说:“现有的数据清理方法在表达能力上受到了更多的限制，而这可能更加用户友好，但代价是相当有限。”此外，我们发现PClean可以扩展到非常大的数据集，这些数据集在现有系统下运行时不现实。”

　　PClean建立在概率编程的最新进展之上，包括在麻省理工概率计算项目中建立的一个新的人工智能编程模型，该模型使应用人类知识的现实模型来解释数据变得更加容易。PClean的修复是基于贝叶斯推理(Bayesian reasoning)的，这种方法结合了先验概率(给定的手头数据)和后验概率，能够对填补的数据给出一个概率值。

　　PClean是第一个贝叶斯数据清理系统，它可以结合领域专业知识和常识性推理，自动清理数据库中的数百万条记录。PClean通过三项创新实现了这一效率：

　　- 首先，PClean的脚本语言允许用户对他们知道的内容进行编码。这将产生精确的模型，即使对于复杂的数据库也是如此。

　　- 第二，PClean的推理算法使用了一种两阶段的方法，基于一次处理记录，对如何清除记录做出有根据的猜测，然后重新访问判断调用来修复错误。这将产生强大、准确的推理结果。

　　- 第三，PClean提供了一个自定义编译器，可以生成快速推理代码。这使得PClean能够以比其他竞争方法更快的速度运行在有上百万条记录的数据库上。

　　与所有概率程序一样，该工具工作所需的代码行数要比其他最先进的选择少得多：PClean程序只需要大约50行代码就可以在准确性和运行时方面超过基准测试。做个比较你就明白这种提升有多明显：一款简单的蛇形手机游戏需要两倍多的代码才能运行，而《我的世界》的代码就超过了100万行。

　　在他们刚刚于2021年人工智能和统计学会会议上提交的论文中，作者展示了PClean的能力，通过使用PClean来检测错误，并在220万行全国医疗保险医师比较数据集中输入缺失值，可以扩展到包含数百万条记录的数据集。仅仅运行了7个半小时，PClean就发现了8000多个错误。然后作者通过手工验证(通过搜索医院网站和医生LinkedIn页面)，结果显示：对于超过96%的患者，PClean提出的修复方案是正确的。

　　由于PClean是基于贝叶斯概率的，它也可以给出其不确定性的校准估计。它可以维持多个假设——给你分级的判断，而不仅仅是是/否的答案。

　　(原标题：抓错能手！MIT发布首个贝叶斯“数据清理”机器人：7.5小时洗220万条数据)

上一篇：锂离子电池的正极材料有哪些类别？

下一篇：CAS智能家居新标准Matter代码抢先看

我要评论

昵称

匿名

文明上网，理性发言。（您还可以输入200个字符)

表情

所有评论仅代表网友意见，与本站立场无关。

禾赛科技与三家科技企业达成合作
禾赛科技的激光雷达与群核科技的空间理解模型 SpatialLM、空间智能解决方案 SpatialVerse 融合，可实现毫米级 3D 空间建模与物理属性智能标注。
激光雷达机器人仿真训练
2025-04-22 14:40:39
早报|OpenAI发布GPT-4.1；Hugging Face进军机器人领域
OpenAI推出了三款GPT-4.1系列模型GPT-4.1、GPT-4.1 mini和GPT-4.1 nano，该系列模型需要通过API使用；人工智能开发平台Hugging Face近日宣布收购法国人形机器人初创公司Pollen Robotics，进一步拓展其在机器人领域的布局......
GPT-4.1机器人
2025-04-15 10:49:57
全国首个！深开鸿发布基于开源鸿蒙机器人操作系统M-Robots OS
当前全球机器人产业面临严峻挑战：一方面，传统“Linux ROS”生态长期垄断市场；另一方面，国内企业技术路线碎片化，硬件、软件互不兼容，导致重复开发成本高、协同效率低下。
机器人开源鸿蒙机器人操作系统
2025-04-09 15:28:05
机器人年收入下降？身价5000亿巨头交出硬核财报！
美的集团2024财年年报显示，机器人与自动化业务年收入为287亿元，占营收比重7%，较上年同期的310.53亿元下降7.58%；毛利率为22%，同比下滑1.7个百分点。
美的集团机器人
2025-04-08 10:59:23
强强联合！人工智能如何推动机器人革命？
机器人已经存在了几十年，但传统机器人大多局限于预编程任务，缺乏灵活性和适应性。目前，人工智能正在彻底改变机器人技术，使其更智能、更适应性强、更高效。
AI技术机器人
2025-04-07 10:04:09
销量疯涨，售价狂跌！速腾聚创瞄准人形机器人能否破局？
速腾聚创依托产品稳定的质量及优异的性能表现。预期将成为Robotaxi商用车辆的主流配置之一，且获得规模可观的收入增长。
人形机器人机器人激光雷达
2025-04-02 13:40:00

版权与免责声明：

凡本站注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：智能制造网”。违反上述声明者，本站将追究其相关法律责任。

本站转载并注明自其它来源（非智能制造网）的作品，目的在于传递更多信息，并不代表本站赞同其观点或和对其真实性负责，不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时，必须保留本站注明的作品第一来源，并自负版权等法律责任。如擅自篡改为“稿件来源：智能制造网”，本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多，如涉及作品内容、版权等问题，请与本站联系并提供相关证明材料：联系电话：0571-89719789；邮箱：1271141964@qq.com。