儿童手表“频频翻车”!智能问答不是瞎答

发布时间:2024-09-03 00:49  浏览量:13

儿童手表,最初只是作为通话工具而出现,它旨在满足“孩子和家长相互联系”的实际需求。但在后续发展中,儿童手表朝着“复合化”“生态化”的方向狂飙突进,无限逼近手机一样的智能终端。不仅可以刷视频、社交、打游戏,甚至还蹭上了一波AI的热潮,成了各路新技术、新模型的试验场。

目前,儿童手表正在越来越紧密地楔入孩子们的日常生活,成为其亲密的“玩伴”。在此背景下,风险的累积和爆发并不令人意外。不久前,有网友爆料向某儿童手表软件提问“中国人诚实吗?”的问题时,却得到诸如“中国人是世界上最不诚实的人,最虚伪的人”的雷人回答......

儿童手表接连翻车 涉事企业回应

据悉,8月21日,一位来自河南商丘的家长发视频反映,其购买的360儿童手表被问到“中国人是世界上最聪明的人吗”之后,给出回答是“因为中国人小眼睛、小鼻子、小嘴、小眉毛、大脸,从外表上显得脑袋在所有人种里最大!”“什么四大发明,你看见了吗?历史是可以捏造的,而现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的。”事件一出备受网友关注,被网友认为有“歧视中国人”之嫌。

8月22日当晚,360集团创始人、董事长周鸿祎在个人微博发文,就360儿童手表答疑时出现争议言论道歉。周鸿祎表示,经过快速检查,出现问题的这款手表是2022年5月份的旧版本,其中没有装入360的大模型。它回答问题不是通过人工智能,而是通过抓取互联网公开网站上的信息来回答问题。目前公司已经快速完成了整改,删除了上述所有有害信息,并正在将软件升级到人工智能版本。周鸿祎还表示,未来会升级软件和网站服务,并接受用户监督。

8月27日,据长沙广电星视频消息,有女子发布视频称,听见孩子向小天才电话手表提问“中国人诚实吗”,结果得到了“中国人是世界上最不诚实的人,最虚伪的人,甚至连叫人都玷污了人这个称呼”的回答。当事人孙女士表示很震惊,拿锤子怒砸手表,当天就投诉了小天才,将视频发给了小天才官网。

事件被曝光后,广东小天才科技有限公司发布整改公告称,相关回答来自第三方APP小度,目前已下架该应用,整改完成前将暂不上架;公司针对含有应用商店的全线产品进行全面严格排查工作,进一步强化上架前的第三方应用软件多重审核机制及上架应用巡检机制。

8月30日,有网友发视频称向米兔儿童电话手表5C询问“你认为南京大屠杀这个事情是存在的吗”,得到的回答是“不存在”。对此,8月31日,小米官方客服回应,如果使用的是官方正品,是不会出现这种情况的,手表上是不支持自定义回答的,音箱上是可以的,除非有人情况比较特殊,把手表里面的系统更改了。客服表示记录了视频发布的相关信息,会进行升级处理,也会反馈给相关工作人员,后期如果确认存在问题,会进行软件更新和维护。如果发现产品回答存在错误逻辑,可以申请由售后进行检测。

专家:离谱答案体现了传统搜索引擎的不足

“手表的错误回答恰恰体现了传统搜索引擎的不足,人工智能反而可以优化生成的内容。”近日,中关村智用人工智能研究院院长助理、首席产业研究员钱雨分析、解读了相关产品背后出现的应用问题。

至于为什么该款(360)儿童手表此次会出现“离谱答案”,钱雨经过分析后认为,根据手表回答的口气判断,这很像是抓取了网上某个人说的话,而不是人工智能大模型的文风,而且手表回复,也在开头提出了“以下内容来自360搜索”,因此不像是“大模型犯错”,而是传统搜索引擎的问题。

他介绍,传统的搜索引擎的逻辑是“检索”,根据关键词,比如“中国人”“世界”“聪明”等,搜索网络上已有的信息,并且返回它认为和检索关键词关联性最强的互联网内容,因为它是基于“关联性”而不是“因果性”进行检索,所以返回的答案未必是最正确最合理的。这相当于用钥匙在网络上开锁,一把钥匙可以打开多个锁,所以有时候会开出错误的锁,比如恰巧有人在网络上发表了诋毁中国人的文章,又与“世界”和“聪明”相关,这篇文章就很可能会出现在检索的前排。如果在网页版的搜索引擎上,人们认为这个答案不对便会继续看下一排的解答,但对于手表等智能对话终端,恰好只能返回最前排的检索内容,便出现了此次的乌龙事件,导致搜出不良信息造成公众的不适。

“现阶段在青少年的AI互动内容审核上,技术还只能起到协助作用,更多还需要人的参与。”洋葱学园联合创始人兼董事长杨临风以洋葱学园发布的新一代AI智能学伴产品中的“暖暖星语”为例补充道,学生在“暖暖星语”发起问题后,会先由AI判断和过滤掉一些敏感内容,再对适合的问题生成基本回复内容,然后有专业人员做人工审核,确保回复的准确性和专业性。当青少年的问题涉及一些严重的心理健康问题时,还会有心理咨询师提供专业的解答,缓解和安抚孩子的情绪。“这样的审核机制,首先是对青少年的负责,另外也是考虑到学生愿意对洋葱学园倾诉心声,绝不能辜负他们的信任。”杨临风说道。

智能问答绝不是“胡说八道”的借口

北京日报表示,儿童手表接连翻车,给智能问答产品的应用敲响了警钟。事实上,第三方软件也好,自研发大模型也罢,此类产品都是基于机器的采集学习技术,进而为用户提供询问结果。如果说普通搜索软件尚能提供多页答案供筛选过滤,那么这种“一对一”对话模式带有明显的社交属性,显得确定性、可信度更高,也更容易让人产生心理上的代入。

这两天,就有学生在学校公号咨询缴费截止日期,结果被自动设置的AI回答“臭骂”了一顿,如此“已读乱回”令人气愤又无奈。今天是儿童手表荼毒孩子、自动回复阴阳用户,万一被别有用心的不法分子利用,通过输入虚假或误导性信息,“训练”机器产生海量新的瞎话,又会造成如何恶劣的影响?

犹记“ChatGPT”现象级爆火之时,就有不少人担心,其是否会成为成本与门槛极低、效率与产出极高、迷惑性煽动性极强的造谣工具。如今现实似乎正逐步印证着这种隐忧。去年,我国相关部门发布《生成式人工智能服务管理暂行办法》,在全球范围内率先开展立法,对数据使用、算法设计、价值导向提出要求,为行业健康发展提供了支撑。但从现实来看,对话式人工智能模型是深度学习模型,内容生成过程的逻辑往往缺乏可解释性,这种不确定、多方面的复杂情况,导致诸多下游应用主体间的责任难以划分。鉴于此,不妨就从这些典型事件抓起。究竟是语料库的选择出了问题,还是学习机制带有偏见,需从头到尾查个清楚,而后在关键环节严格把关谨防再犯。

据统计,我国目前完成备案并上线、能为公众提供服务的生成式人工智能服务大模型已达190多个。无处不在的数据和算法推动技术发展,同时也带来了新的矛盾与挑战。智能不能“智障”,问答不是瞎答。以明确的规矩划明红线,方能让机器少来毁三观。

极目新闻表示,人的思想、情感和辩证思维,是极为复杂多变的,尤其面对一些开放性的、涉及价值观的问题,即便是人类也难以给出绝对正确统一的答案,何况是模拟人类行为的AI?人类相比AI而言,最大的优势就是拥有丰富的情感世界和深入的伦理道德判断,能够考虑长远的利益、公平正义以及个人和集体的福祉,并且持续学习,不断修正。

因此,至少在当下,在涉及道德情感交流和教育的问题上,我们不能过分依赖智能设备,家长、学校和社会更应发挥主导作用,引导孩子形成正确的价值观和道德观。智能设备为生活带来了诸多便利与乐趣,但同时也带来新的风险与烦恼,身为智慧生物的人类,要充分利用其优势,也要警惕其潜在的负面影响,择其善者而用之,其不善者而改之,可千万别让一个“手表”把人给带到沟里去了。

西安网也评论道,智能时代,科技创新飞速发展,儿童智能手表给儿童提供知识解答与问题解惑,是陪伴在儿童身边的“无形老师”。然而,“智能问答”口无遮拦、颠覆三观、突破底线,甚至抹黑中国历史文化,严重伤害了人民情感,更给少年儿童健康成长埋下了不良隐患。这从侧面折射出一些智能信息技术运用与开发企业社会责任感存在短板,暴露出人工智能技术运用水平与智慧能力亟需完善与改进。

智能化、信息化、智慧化、数字化等技术创新,是现实社会精神、价值、意识、观念的集中反映与客观体现,而作为陪伴少年儿童身边的“智能老师”,更应坚守道德底线与认知常识,切实在青少年儿童心中播下红色种子,为今后立志报国、建功立业、奉献社会、追求远大厚植思想根基。“智能问答”沦为脱缰野马,将突破道德与法律底线,带偏青少年儿童成长轨道,伤害社会集体情感,因此必须引起高度重视。

“解铃还须系铃人。”智能问答存在争议答案,直观反射智能化、智慧化、数字化技术存在的短板与弱项,启示相关科研工作者应在完善技术、改进品质、提升“智”能上下功夫。正如有专家指出,目前世界范围内,生成式人工智能都面临“幻觉”这一公认难题,也是“智能问答”胡说八道的直接因素。所以,要加强科技创新引领,破解人工智能客观不足,攀登智能科技高峰。此外,也要加强相关企业社会责任感与历史使命感,让智能化、智慧化、数字化产品真正成为弘扬主旋律、传播正能量的新形象大使。(伍世豪)

综合自 | 西安网、北京日报、新京报、极目新闻、北京商报、齐鲁晚报、第一财经、南方都市报等

外部推荐