COPU会议纪要丨2025.01.14

2025-01-14 14:34:19 88

图片关键词

1月14日陆主席主持COPU例会。

今天是COPU《人工智能文集》（第二十二集）出版的发布会。

图片关键词

在《为什么要发展开源的人工智能》的文章中，作者除了系统地阐述开源在推动人工智能发展中所起的独特作用外，特别指出在人工智能发展到关键阶段，即在人工智能可能超越人类智能之前时刻（将为人类的生存带来安全风险），人工智能模型必须充分展现其透明度，在人工智能科学家为未来制定安全保障红线的同时，也为提供人类的知情权并供人民、政府和专家进行监管创造条件。

符合辛顿提出人工智能进化路线的Sakana AI进化模型（日本学者提出）支持开源在人工智能发展中起到的主导作用，开源的Sakana AI进化模型也支持开源人工智能模型打造应用时，无需负担训练和微调的计算成本，Sakana AI虽然也能用于商业化的闭源模型打造应用，但如此不仅需要付出较高的成本，而且推理成本也不低，闭源模型通常参数量较大，不仅使推理变坏，而且很多垂直的创业也用不到人工智能模型的全部性能。对比国产DeepSeek v3（开源）的优势：通过数据与算法优化，在工程化方面有突破，在资源有限情况下，很大提升训练效果，这与Sakana AI异曲同工。

本文作者还提出了开发新一代智能操作系统的4项原则：

（1）将IT时代的操作系统转变为人工智能时代的操作系统（可参见OSI的新定义），以及贯彻MOF（应COPU请求由LFAI发表），以扩大透明度，反对“洗涤开源”。

（2）从内核架构出发，开发全面智能化的AIOS。

（3）改变传统操作系统，通过编程语言、检索和管理文件与计算机沟通的方式，采用提示词直接提问的方式。

（4）相当多的智能操作系统应从单一参数量巨大的模型转变，设计不同类型、不同应用领域和不同专长的系统。这项技术对中小开源企业创业者而言是福音，使其能低成本调教和重组开源模型。

辛顿大师在Vector学院“Remarkable 2024”论坛上演讲中谈到人工智能的发展可能会对人类造成生存威胁的问题（他非常担心未来人类是否能够继续在地球这个星球上生存）。

他谈到由人类创造的人工智能其发展可能会比人类更聪明，从而接管人类，乃至于威胁人类生存。

他接着谈到如何防止这些事情发生：他举Open AI为例，他担忧其人工智能的研究工作受经济利益的影响甚于对安全的研究。他强调人工智能研究必须进行国际合作，而只有当人类处于生存威胁的唯一严重境地才能达成国际合作。

在应对人工智能对人类造成生存威胁时，有两个解决办法：

一是找出如何让人工智能变得更仁慈（我们要质疑的是：他没有提出可行的具体方案）；二是阻止坏人利用人工智能做坏事（他担心坏人钻空子，他认为这是更为紧急的应对办法，为防止泄漏人工智能原创技术被坏人利用，他提出最大的监管措施应该是不对大模型进行开源，我们不同意他的这个说法，因为开源也能防止泄漏原创技术；而且辛顿在此处排斥“开源AI”的说法，与他不久前的演讲是矛盾的（那时他也支持开源AI，更希望开源进一步扩大透明度，为此LFAI基金会作出响应制定了MOF规则）故而就此问题我们将与辛顿大师商榷。

辛顿还谈到语言大模型发展中的若干问题：

1）两种计算方法和互相转换问题

①数字计算

优势：可在不同计算机、不同硬件上运行相同的程序

缺点：低效，能耗巨大

适用：语言大模型

②模拟计算（即类脑计算）

优势：改善巨大能耗，缩小产品体积，硬件制造业不需要非常精密加工，低成本

适用：在训练、运行时，以及产品化时

③算法转换

采用生物学现代基因工程技术将神经元转化为模拟计算要素

如需将模拟输出转化为数字，需要采取反向传播算法

2）如何传递知识问题

①从一个模拟硬件到另一个模拟硬件之间如何传递只是问题引出蒸馏的概念所谓蒸馏，指新生大模型引进原先大模型已取得的成果，以较少的资源，用工程化的方法，实行数据和算力的优化（或实现最大的训练效果）。

蒸馏有正负双向效应，所谓正向效应就是“搭便车”，可进行工程化突破，所谓负向效应，即对原先大模型上的成果不能自由、随意拿来，有时可能还涉及知识产权问题。

国产开源模型DeepSK v3取得重大工程突破也采取了蒸馏效应。

② 高效知识传递方式：使用两个相同模型副本，每个副本获得不同经验，共享大模型数字权重，共享梯度更新。

3）人类与人工智能进化问题

地球上很多物种长期为获得资源而竞争，竞争是推动该物种进化之源。因为人类比其他物种更擅长于获得更多资源，并减少对其他物种的依赖，这就表现人类在进化，因为人类的进化而使人类能够生存下来。

人工智能也存在资源竞争和进化问题。现在我们来谈谈英伟达在GPU算力竞争中胜出的问题，当你看到它的市值连续超越苹果、微软而称霸世界赚大钱的时候，可以预计不要多久其他公司会追上来，爆发更加巨大的竞争，如果禁止英伟达的GPU进入中国，中国会更快地赶上来。

4）人类与人工智能“主观体验”问题

人类具有“主观体验”这就是“心智”、“幻想”，是一种对现实世界假设的心理状态，或者说，他们是外部世界假设的事物。所以人类的“主观体验”是假的、虚拟的、不是真的有可能消失。

多模态聊天机器人或人工智能也可以拥有“主观体验”，与人类的“主观提体验”的区别是它是数字化的，是永生的。

所以人类或人工智能每遇一次“主观体验”，对人类的进化而言毫无影响，但对人工智能而言，将使其变得更聪明、更进步、发展更快。

杨立昆大师提出“人类水平的AI”的概念，意指在处理人工智能一旦危及人类安全时预设的重大措施，即由人类的原生智能+由人类创建的智能体网络（Agents）的综合智能，用来应对人工智能，防止其超越人类智能，以保障人类的安全。

在英伟达黄仁勋接受《连线》专访一文中，黄仁勋谈到现在非常流行的第三代智能体AI Agent的情况。他说AI Agent实际上可以是一个机器人，或一个AI系统，结合感知、推理和计划能力，这也是AI的基石，可把我们交给它的任务拆解成多步骤完成，也可以生成图像、音乐、文档等，并可协助你提高工作效率。

黄仁勋是与第三代智能体AI Agent协同工作先行的实践者，他为了全面、深刻了解AI Agent的发展情况，COPU认为有必要介绍赛阀莱斯（Silvio Savarese）先生（Salesforce首席科学家，李飞飞的丈夫）的新作《“AI Agent黎明”之后我们期待什么？》作为背景资料提供给大家参考。

去年年底，Gartner也将Agentic AI列入2025年十大技术趋势之一，并预测到2028年至少有15%的日常工作决策将由Agentic AI自主完成（而在2024年这个数字为0），人工智能专家们普遍认为，2025年将是智能体（Agent）爆发之年。

赛阀莱斯指出：随着大模型在多模态理解逻辑推理方面的进一步发展，Agent将在2025年迎来大规模落地应用，替代人类自主解决越来越多的日常工作。他还认为在AI Agent网络增强的新型格局中，人来将迎来“人工智能第三次浪潮，或AI发展的第三个阶段（COPU注：AI第一阶段：判断式；第二阶段：生成式；第三阶段：预测式+生成式），这比黄仁勋认为“第三代智能体AI Agent”的格局更大。他还认为，AI Agent在这个阶段将与人类协同做日常工作，并独立自主完成部分工作(包括自主决策)。为此要解决好人类与AI Agent之间的信任和问责问题。