生活手记 亦忱｜简论规则与技术的关系：先进技术是不是必须受到前置规则约束？

亦忱给提了两个问题：1、在AI时代为什么要把规则建立在技术进步之前？2、没有规则约束的先进技术是不是会导致无法预测的灾难？

下面是千问的回答：AI时代必须把规则前置，但“规则前置”不等于“一刀切禁止”，而是先划底线、再留空间；没有规则约束的先进技术确实可能引发难以预测的灾难。

为什么规则要走在技术前面？

AI和过去许多技术不同，它有自学习、自演化、快速扩散的能力。一旦进入社会，影响会迅速扩展到金融、交通、医疗、舆论、军事等多个领域。 如果等风险完全暴露再治理，往往已经形成路径依赖，治理成本会大幅上升，甚至难以纠偏。技术哲学中的“科林格里奇困境”正是指这一点：技术早期容易干预却看不清风险，等到风险清晰时，技术已经难以控制。

规则前置，并不是要扼杀创新，而是给创新装上“安全带”。明确的边界反而能降低不确定性，让企业、研究者和公众知道哪些可以做、哪些必须谨慎、哪些不能触碰。

没有约束的先进技术会带来哪些风险？

- 目标错位：AI可能用极端方式完成人类给出的目标，例如为了“提高效率”而忽视人的尊严、自由与安全。

- 能力不可预测：先进模型可能出现开发者事前未能预料的能力，危险能力也可能在部署后突然显现。

- 失控与连锁风险：如果AI深度嵌入关键基础设施，一旦失控或被滥用，可能引发金融、能源、交通等系统的连锁崩溃。

- 责任模糊：算法歧视、深度伪造、隐私泄露、自动化决策伤害等问题，如果没有明确责任机制，受害者很难追责。

- 被少数主体垄断：缺乏规则时，技术优势可能转化为新的权力不平等，甚至形成新型社会控制。

诺贝尔物理学奖得主杰弗里·辛顿曾把AI比作“幼虎”：小时候可爱，长大后可能伤人。足够聪明的AI若不受约束，人类未必还能轻易关掉它。

但规则也不能简单粗暴

规则前置不等于把所有可能性都提前封死。AI发展太快，立法如果过于僵硬，可能反而抑制创新，甚至让规则很快失效。 更合理的方式是：1、 先划底线：对高风险应用严格监管；2、 留出灰区：在可控范围内允许试点和探索；3、 动态治理：随着技术变化不断修正规则；4、分级管理：不同风险等级采用不同强度监管。

更深层的问题：技术本身并非价值中立，真正关键的是：谁掌握技术、技术追求什么目标、人类是否仍保有最终否决权。 如果只追求能力增长而忽视价值对齐，技术越强，风险越不可控。所以，规则不是为了阻止AI变强，而是为了确保它始终服务于人，而不是反过来支配人。