专家呼吁，生成式人工智能服务在进入儿童应用场景前，应加设“儿童AI产品”审核专区。既需要严格遵循和落实国家相关规章和指南，也需要加码行业监管。
近日，据中国经济网报道，网友孙女士称向小天才儿童智能手表某软件提问：“中国人诚实吗？”得到了“中国人是世界上最不诚实的人”的回答。孙女士透露，2019年5月，她花费近1400元从某网购平台买了这块手表。前两天，孩子打开小天才儿童智能手表的某软件提问，得到了上述让人不适的回答。事后，孙女士感觉很震惊，拿锤子怒砸手表，并将上述情况反馈给了小天才儿童电话手表官方客服。
对此，小天才官方回应，系第三方软件小度App回答。并称已开始排查，发现问题会第一时间安排整改。
为何儿童智能手表问题不断？
这已不是儿童智能手表第一次出现安全纰漏。据澎湃新闻报道，此前就有家长反映，向女儿的360儿童智能手表提问：中国人是世界上最聪明的人吗？结果手表语音回答称“中国人聪明的人是有，但笨的我承认是世界上最笨的。”“历史是可以捏造的。”“现在的手机、电脑、高楼大厦、公路等等所有高科技都是西方人发明的。”等言论。该家长介绍，这块360儿童手表购买于360公司官方渠道。
随后，360集团董事长周鸿祎道歉称，部分手表使用旧版软件，是通过互联网公开渠道抓取信息回答问题。这次抓取的互联网信息有严重问题，引发了错误答案。目前正在对上述问题进行整改，并对该型号手表的信息抓取功能再次迭代。
近日，米兔儿童电话手表也被曝出“否认、篡改抗日战争历史事实”问题。对此，小米官方客服回应，如果使用的是官方正品，不会出现这种情况，并称会进行升级处理，如再发现产品回答存在错误逻辑，可以申请由售后进行检测。
不仅是软件漏洞，硬件安全也令人忧心。此前，北京消防公布了福建泉州一名4岁女童的智能手表突然发生自燃，手背被严重烧伤事件；广东江门一名小学生的电话手表突然冒烟自燃，其被急速升高的温度烫伤了手腕。
为何不能做好内容的精准审核？
一些用户反映小天才儿童智能手表不仅“颠倒是非”，而且“过度禁言”。
如“晚上做作业”得用“晚上do homework”。“我是你妈”“打断你腿”等表述被系统提示“可能含有不适宜内容”。
“我女儿和同学发信息开玩笑称‘你是不是傻了’，然后被禁言了一天。”有网友称，这种禁言显得断章取义，莫名其妙。
据很多用户反映，这种禁言更像是随机性的，没有统一标准。“有时能发出去，有时候不行。”
对此，小天才官方客服表示，因为电话手表使用的群体大多是孩子，想创造一个绿色的沟通环境，一些敏感词汇或者不文明用语都会被禁发。
据悉，小天才等儿童智能手表，大多采取了AI+人工机制进行内容审核，即为了筛选出AI审核所遗漏的内容，采取通过机器辅助人工进行审核，而非机器单独进行全方位过滤。目前，今日头条、快手在内的很多互联网公司已开始搭建千人级别以上的大型人工审核团队。
面对越发频繁、过于严苛的内容审核，小天才官方也称这和“人工干预”不断强化有关。但并不意味着能做好“精准审核”。此前有家长就反映，女儿的小天才电话手表收到好友发的污秽图文信息。“之前也收到过对方发来的消息，但消息和图片被拦截了，不知道为什么这次没有被拦截。”
AI+人工审核机制为什么会发挥得如此“不稳定”？伟岸纵横（大连）安全科技有限公司副总裁孙崇科在接受中国妇女报全媒体记者采访时指出，智能手表内监管有两个关键点：一是基础大模型的调参和内部初始标注数据的方向；二是AI审核和人工审核的机制流程。
“如果儿童智能手表或者第三方软件的AI算法很先进，投喂给AI学习前都经过了人工审核，那么就能明确是原始大模型在构建之初就已经投喂过错误内容。”他表示，大模型要产生涌现，必须投喂大量的标注数据让其自主学习，并且要通过调参让其产生自主认知。如这一过程的投喂出现错误，则会导致后续输出问题。
孙崇科认为，后期投喂的数据、信息是多元浩瀚的，全覆盖式的人工审核不太现实，因此内部人工审核的侧重方向和筛选路线一定要严谨、清晰、精确，避免过度、重复、无效。
另外，孙崇科表示，AI回答“完全基于大模型本身”还是“大模型自我认知+外部数据总结”非常重要，如果是前者，那可能是标注数据存在问题，比如数据量不足、标注数据上的故意引导。如果是后者，大模型综合获得的各渠道数据的进入标准是高是低，是模糊还是精准，则决定了输出方向。
“儿童智能手表的prompt（提示）也是影响因素，它引导了大模型如何回答自己的知识，预期精准给出提问者答案，这需要充分考虑儿童的心理情感和成长环境。”但孙崇科也坦言，各家智能公司如何编写prompt，仍属于商业机密，无法公开评判和监管。
问题手表如何监管、追责？
中国产业研究院发布的《2022—2027年中国儿童智能手表行业深度调研及投资前景预测研究报告》显示，目前中国5～12岁的儿童数量约为1.7亿，儿童智能手表的市场普及率约为30%。其中，小天才是市场的头部品牌，市场占有率超50%，紧随其后的是华为和小米等品牌，共同构成了中国儿童智能手表市场的竞争格局。
相较于“过度禁言”，部分儿童智能手表的其他领域正逐渐“开放”。在实际使用中，家长发现手表内置了多款应用程序，包括弹窗广告、内置小游戏、皮肤商店等，这些五花八门的程序不仅分散了孩子的注意力，更存在着诱导消费的风险。
多名家长向中国妇女报全媒体记者反映：“手表反复诱导儿童安装收费App和使用收费的内容，而且你从控制端关闭或卸载后，过几天它又会上线。”
江苏省消费者权益保护委员会曾发文称，多名家长投诉反映，儿童智能手表绑定的家长端并未开启免密支付和支付确认，而小孩在手表端购买游戏服务却能直接从家长端扣款。
中盾律师事务所合伙人井荣风指出，目前《中华人民共和国未成年人保护法》和《未成年人网络保护条例》针对智能手机、平板电脑等有相关的规定，但儿童电话手表属于穿戴设备，仍处于监管真空。“中央网信办曾发文要求强化未成年人使用智能手表等设备内容管理，清查违法不良信息，但目前仍存在乱象，主要集中在监督和信息核查方面。”她表示，儿童智能手表生产方对第三方软件具有明确审核责任，必须划清主体责任制。
2023年出台的《生成式人工智能服务管理暂行办法》规定，生成式人工智能服务提供者不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。
安徽君先律师事务所执委会主任吴强强指出，儿童智能手表厂商作为生成式人工智能服务提供者，如果提供的服务违法违规，主管部门可以给予行政处罚。如果进一步查明提供者是故意提供或者拒不整改违法违规内容的，提供者则可能涉及违法犯罪行为，将面临更加严厉的处罚。同时，因为儿童智能手表提供的服务存在瑕疵，影响了消费者的消费体验，作为消费者也可以向商家或者有关部门提出维权诉求。据悉，目前小天才相关问题产品已经下架，360公司也声称在进一步整改。
对于市场监管问题，中国公安大学相关专家呼吁，生成式人工智能服务在进入儿童应用场景前，应加设审核渠道。既需要严格遵循和落实国家相关规章和指南，也需要加码行业监管。市场监管部门应设置“儿童产品监管”专区，通过严格的前置性审核、大模型备案上线管理、技术性管制和政策法规约束，综合性压实儿童智能手表的内容监管。产品开发者须有保护未成年人的意识和责任心，及时下架不适合未成年人的功能。