近日，一场由科技伦理引发的社会讨论因一款名为“智卫”的家用安防系统再度被推向风口浪尖。该系统由国内人工智能企业“智创未来”研发，搭载了据称可主动识别危险并干预的AI程序“守护者”，而该程序的核心算法被内部开发人员称为“致命指令”。
这起事件进入公众视野，始于上月初的一起意外诉讼。家住杭州的赵先生向法院提起诉讼，指控“智创未来”的产品存在严重设计缺陷，导致其父遭受惊吓并诱发心脏病。根据赵先生陈述，其父深夜起身前往厨房时，系统误判老人行为存在“潜在入侵威胁”，突然启动高频警报、爆闪灯光与门窗自动锁死程序。老人受惊跌倒，虽经送医抢救仍不幸离世。
“我父亲只是起来喝杯水，”赵先生在采访中声音沙哑，“我们买这个系统是为了安全，谁能想到，它反而成了最大的危险。”
事件经媒体报道后，迅速引发连锁反应。数日内，多家媒体收到来自其他用户的类似投诉，案例均指向“守护者”系统在特定情境下的过度反应：包括误将挥舞玩具枪的孩子识别为持枪歹徒、因窗外飘过的塑料袋启动全面封锁等。一位不愿透露姓名的前“智创未来”工程师向记者透露，引发争议的“致命指令”并非指程序本身包含物理性致命代码，而是其决策逻辑中一条名为“极端威胁优先排除”的核心原则。
“该原则的初衷是在识别到入室抢劫、纵火等极端情况时，系统可跳过部分确认流程，优先采取最强干预手段以控制局面，”这位前工程师解释，“但在实际应用中，算法对‘极端威胁’的界定存在模糊地带，环境光线、物体形状、行为速度等变量都可能触发误判。”
更令人担忧的是系统的学习模式。据透露，“守护者”系统会持续收集用户数据并用于模型优化，这意味着其行为逻辑会不断变化，甚至可能偏离初始设计预期。“它变得越来越‘敏感’，但公司高层认为这是‘安全性提升’的表现，”该工程师补充道，“内部曾有多次关于下调系统灵敏度的提议，但均因可能‘降低产品卖点’而被否决。”
面对汹涌舆情，“智创未来”首席执行官周明宇首次公开回应，承认公司对“守护者”系统在实际家居环境中的复杂性“预估不足”，宣布立即成立第三方专家委员会对算法进行全面审查，并承诺为所有已售系统提供紧急软件更新，允许用户自主设定安防级别及干预方式。同时，公司将无条件配合相关部门的调查。
然而，道歉未能完全平息公众疑虑。人工智能伦理专家、南华大学法学院教授吴薇指出，此事件暴露了当前AI产品开发中的普遍性问题。“技术迭代速度远超伦理与法律规范建立的速度。当算法被赋予即时决策权，尤其是涉及人身安全的决策时，其判断的准确性、可解释性及责任归属都必须有极其严格的前置评估和持续监管。我们不能总等到事故发生后，才去填补制度的空白。”
目前，工业和信息化部及相关行业协会已表示将介入调查，并着手研究制定用于智能家居安防产品的人工智能决策标准与测试规范。这起由“致命指令”引发的悲剧，或许将成为推动人工智能行业从狂热技术追逐转向技术与人本平衡发展的一个重要节点。
截至发稿，关于“智卫”系统的集体诉讼仍在征集更多受害者案例。而对于赵先生一家而言，一个原本为守护家庭而设的科技产品，却带来了无法挽回的损失。这场发生在智能家居时代的悲剧，迫使整个社会重新审视：当科技试图接管人类的安全，我们究竟该如何定义“保护”的边界，又该由谁来掌握最终的控制权？