阿里研发AI技术0.15秒识别拦截外语脏话图覆盖近30个语种

2021-09-27 13:42:13来源：快科技关键词：阿里巴巴智能识别阅读量：21610

导读：为解决语言问题，阿里安全进行了多语种识别技术升级。近日，阿里安全算法团队宣布，其研发用于网络脏话的AI技术，已能识别近30种语言。

　　一年多前，阿里巴巴国际安全内容风控小二小荷(化名)在用户交互场景发现了特殊的为规避平台审查的“脏话”案例。

　　她的工作是借助技术和规则识别与清扫影响清朗环境的违规内容，刚开始，一些小广告和口吐芬芳的脏话只是以文字形式呈现，后来随着对抗升级，一些脏话嵌入到图片中，甚至会使用多国语言进行伪装。

　　为解决这个问题，阿里安全进行了多语种识别技术升级。近日，阿里安全算法团队宣布，其研发用于网络脏话的AI(OCR)技术，已能识别近30种语言，包括嵌入图片中的英文、阿拉伯、俄语、法语、西语、日语、韩语、泰语、越南语、波斯语、孟加拉、尼泊尔、僧伽罗、朝鲜、苏丹、德语、荷兰语，以及马来语、塔加洛语、土耳其语、意大利语、印尼语等国语言，甚至还包括三种中国少数民族语言。

　　在部分国际平台中，“买家”在商品评论中以英语评论图骂人，或者在交互场景中，买卖双方以俄语脏话图片对阵。国际平台风控团队和算法团队复盘了很多案例，发现除了多语种脏话，多语种垃圾广告以及不良信息也会暗藏在图片中，试图对抗风控。

　　全球有几百种语言，重点的语言也有几十种，一个工作人员最多认识三四种语言，在国际化场景下，靠人工识别风险图片是不现实的，多语言识别的技术需求应运而生。

　　阿里安全高级算法工程师沄帆介绍，要识别多语种文字，就要了解各个语言文字特点，以及影响算法识别的问题。每种文字体系都有自己的字体，不同字体会导致同一字符出现字形上的差异，例如下左图展示了汉字“字”在不同字体时的形态，以及手写文字中的字符变化。下右图则展示了俄语字母在手写体和印刷体时的差异，红框标出了部分字符会出现字形上的巨大变化。

　　“字符连接导致字形变化，不同文字体系，书写及阅读顺序是不同的，这些都会影响AI识别和对语义的判断。”沄帆说。例如，相同的单词在不同的语种里也可能有不同的含义，“jammer”在荷兰语里是“遗憾”的意思，但是在英语中是“信号屏蔽器”，可能涉及违规。

　　“以前没有多语种识别功能的时候，我们如果把这个口语词直接拦截，可能会造成‘误杀’，脏话图识别也是如此，要依据语种来判断。”小荷说。

　　除此之外，还有脏话图以置换正常字符顺序，对抗风控的情况出现，即使调换字符顺序，人还是可以轻而易举地判断单词的含义，但这种“攻击”试图以打乱字母顺序的方式骗过机器识别。

　　当然，要训练如此多语种的识别模型，并解决多种对抗情况并不容易。技术团队既要保证好的识别效果，又要尽可能提高计算效率及控制成本，解决好训练样本及模型方案的问题。

　　通过一年多努力研究，阿里安全算法团队对这些点进行了逐个突破，通过改进多语言样本生成方案与多语种识别模型框架，在多种图片语言的识别上做到了高识别率，以及做到识别1张脏话图只需0.15秒的速度，目前该技术也已应用在阿里多项国际业务中，总体识别准确率可达95%以上，并对各种艺术字体、复杂背景以及手写图进行了针对性识别优化。

　　其实，脏话拦截只是多语种OCR识别技术应用的场景之一，阿里安全国际风控小二文萱介绍，在交互场景里，违规信息中还有大部分属于垃圾信息。

　　现在，基于阿里安全的算法能力，每天仅单个国际平台就为全球用户拦截几万次包含危险、辱骂、垃圾文本的多语言脏话图片。阿里安全图灵实验室算法负责人薛晖表示：“期待以科技创新解决实际业务问题，帮助造就更好的网络环境和网络安全。”

　　(原标题：阿里研发AI技术0.15秒识别拦截外语脏话图覆盖近30个语种)

上一篇：小米Civi电池不妥协：容量4500mAh 厚度仅为6.98mm

下一篇：3200兆无线速率！Redmi路由器AX6S开卖：到手309元

我要评论

昵称

匿名

文明上网，理性发言。（您还可以输入200个字符)

表情

所有评论仅代表网友意见，与本站立场无关。

131.38亿港元！阿里巴巴宣布出售大润发母公司高鑫零售
阿里巴巴发布公告，宣布子公司及NewRetail与德弘资本达成交易，以最高约131.38亿港元出售所持高鑫零售全部股权，合计占高鑫零售已发行股份的78.7%。
阿里巴巴高鑫零售
2025-01-02 10:05:54
快讯|阿里巴巴大动作；苹果开发全新Siri叫板ChatGPT
阿里宣布成立阿里电商事业群，全面整合淘宝天猫集团、阿里巴巴国际数字商业集团以及1688、闲鱼等电商业务，形成覆盖国内外全产业链的业务集群；据外媒报道，苹果公司正在开发一款全新的对话式AI助手Siri，与OpenAI的ChatGPT，和谷歌的Gemini Live语音助手竞争......
阿里巴巴苹果Siri
2024-11-23 09:31:34
8月28日生效阿里巴巴宣布在香港纽约双重主要上市
阿里巴巴表示，8月28日自愿将本公司于香港联交所第二上市变更为主要上市的转换将生效。
阿里巴巴
2024-08-23 10:32:52
进一步深化布局！阿里巴巴投了人形机器人
作为通用机器人新秀，逐际动力去年就曾以“地面大疆”的产品演示、2亿元的巨额融资，在网络刷屏，展露强大的技术沉淀与发展前景。
人形机器人阿里巴巴
2024-05-22 11:21:51
阿里巴巴发布2024财年Q4及全年业绩：全年收入9411.68亿元六大核心业务谁最赚钱
阿里巴巴财报显示，集团Q4收入2218.74亿元，同比增长7%。2024财年，阿里巴巴集团收入达9411.68亿元，同比增长8%。
阿里巴巴云计算
2024-05-15 12:01:43
阿里巴巴CEO吴泳铭：即将开源720亿参数大模型
阿里巴巴集团CEO吴泳铭表示，阿里巴巴即将开源720亿参数大模型，这将是国内参数规模最大的开源大模型。
开源大模型阿里巴巴
2023-11-10 13:16:29

版权与免责声明：

凡本站注明“来源：智能制造网”的所有作品，均为浙江兴旺宝明通网络有限公司-智能制造网合法拥有版权或有权使用的作品，未经本站授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：智能制造网”。违反上述声明者，本站将追究其相关法律责任。

本站转载并注明自其它来源（非智能制造网）的作品，目的在于传递更多信息，并不代表本站赞同其观点或和对其真实性负责，不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、平台或个人从本站转载时，必须保留本站注明的作品第一来源，并自负版权等法律责任。如擅自篡改为“稿件来源：智能制造网”，本站将依法追究责任。

鉴于本站稿件来源广泛、数量较多，如涉及作品内容、版权等问题，请与本站联系并提供相关证明材料：联系电话：0571-89719789；邮箱：1271141964@qq.com。