第三，自动化的知识生产可能导致人类在科学研究中对人工智能决策的依赖程度过高，从而逐渐丧失对科研过程的控制力。当科研活动越来越依赖于人工智能的输出时■★★◆，人类可能会忽视对其研究方向、方法和结果的深入思考。这种依赖不仅可能造成科学研究的单一化和局限性，也会影响科研的多样性和创新性。在推动人工智能与科学研究深度融合的同时，需要保持“人在回路”，通过对科研过程的主动干预与监控，确保人类在知识生产中始终处于主导地位■★■◆。

　　不仅可以辅助科学家开展科学研究◆★◆■★，还能自主探索科学问题、设计实验并得出结论★◆■。这种自动化的知识生产正在重塑科研范式，致使科技治理对象前置，即从针对技术应用的治理提前到对自动化知识生产过程的治理。

　　第二，人工智能生成的知识可靠性问题日益凸显■★。由于人工智能的决策过程通常呈现为黑箱，导致人类难以完全理解其推理逻辑，使得验证其发现的过程变得极其复杂■■★◆。当人工智能提出某种新的科学理论或技术方案时◆◆★★■◆，科研人员往往难以追溯其推理依据。这不仅会增加对研究结果的质疑★■■★■■，也可能导致错误的应用决策★★◆■■。因此，更新算法推理框架★◆■，建立透明的验证机制和标准，确保人工智能生成知识的可追溯性，成为亟待解决的问题。

　　目前，敏捷治理和沙盒监管作为科技治理的主流方式，旨在为新兴技术提供灵活且安全的实验空间。然而，相关治理方法仍然基于“人类控制技术◆■◆■★★”的前提。面对人工智能自主生产知识和实践的能力，我们迫切需要一种全新的治理模式，以应对自动化知识生产的风险■◆★■。

　　在科研中的角色正在发生从辅助劳动到替代决策的转变★◆■◆★■。过去■◆，人工智能主要功能为辅助科学劳动，如作为数据处理工具★■■◆★，帮助科学家分析复杂数据或优化实验流程★■★◆★。随着人工智能算法的进步★★★◆◆，尤其是深度学习和强化学习的结合，人工智能开始主动参与科学问题的发现和研究。它不仅在处理大量数据时表现出色★■★◆■★，甚至在生成新的假设、设计实验方案以及得出结论时也展现出前所未有的自主性。

　　科学事业是全世界共同的事业，科学知识是全人类共同的财富。AI4S的潜力在于使科学研究变得更加普及化。传统上★★★■■，科学探索是专业科学家的◆★◆★■■“特权”。AI4S的崛起，使得任何对科学发现充满热情的人都可以通过与大模型的交互◆■，验证他们的创意与假设。这一变革将激励更多人，进而前所未有地汇聚全球智慧，造福全人类。

　　近年来◆◆★，各个发达国家都在纷纷布局AI4S并期待从中获得优势。美国能源部、国家科学基金会◆★◆★■、国立卫生研究院等共计拨款9亿美元◆■■■◆■，聚焦核聚变◆◆、生物医药等领域开展AI4S研发，并推出特定项目推进AI4S数字基础设施建设◆◆；英国政府拨款1亿英镑执行“人工智能生命科学加速器任务◆★★”，加速AI在医学方面的应用；法国政府设立人工智能跨学科研究中心推动AI4S发展，着重布局生物学、医学◆■、认知科学、物理学等方向研究；日本文部科学省拨款122亿日元★★◆，支持生命、材料科学领域的基础模型开发■★■◆★★。

　　第一■■，人工智能的伦理问题变得更加复杂。如果人工智能在研究过程中发明某些违背伦理的知识或技术，应该如何处理？例如，人工智能武器化发展，人工智能基因编辑产生未知变化■■★◆★，等等◆◆■■。如果这些技术被滥用于威胁和平与安全的目的，如何进行有效的预防和监管◆★■？这不仅涉及技术本身的道德性，还需要考虑法律法规的完善与执行，确保科技发展不会损害社会公共利益★◆。

　　全球合作是推动AI4S健康发展的必要条件◆■■■◆。实现平等参与，需要建立开放的国际平台，让不同国家和地区的研究人员能够共享资源与数据。通过建立合作网络★★◆◆，鼓励知识共享与技术交流，各国科学家可以在AI4S的应用同探索并解决全球性挑战。

　　一旦知识的生产与实践的主体由人类转变为人工智能，这种具有自主性、自动化的知识生产与实践可能会带来诸多风险。除了人工智能生产知识的知识产权问题◆◆★■，还有三个重要方面的伦理问题：

　　除了在虚拟的研发环境中推动科学研究，具身智能（embodied intelligence）技术的引入还让人工智能可以打通虚拟环境与物理世界的界限■◆◆★★◆，进行科学知识的应用实践■◆◆。例如■★◆◆，未来的机器人科学家可能会在实验室中自主操作设备，进行化学反应实验并收集数据。具身智能不仅依赖于数据处理，还能够通过与环境的实时交互，获取新的信息并进行适应性学习■◆■。具身智能的自主实践能力为科学研究带来了巨大的潜力■★◆■■◆。通过具身智能，人工智能不仅可以通过理论推导或数据分析来生成新的知识，还可以通过实践验证这些知识。这种结合认知和动作能力的智能体能够在科学研究领域自发进行实验和验证。

　　AI4S是治理领域的新问题。与其他场景中代替人、辅助人不同，人工智能逐渐成为自主知识生产和实践的主体★◆■★。随着这一趋势的加速，我们需要对现有的治理框架进行重新思考■★，从而在拥抱人工智能带来的科学进步同时■★★◆◆，确保这一进步不会带来不可控的风险◆★■★。

　　此外◆■■★◆，国家间的政策协调与法律框架建设同样重要★■■■◆，以确保技术在伦理与法律层面上的合规性与可持续性。