三评DeepSeek（续）

三评DeepSeek（续）

陆首群，2026.1.13

DeepSeekv4的架构是Engram（印迹），Engram的残差采用mHC架构，或可认为在残差连接上的DeepSeekv4的架构为mHC+Engram。

DeepSeekv4是建立在生物神经网络（即类脑的异步脉冲神经网络）之上的，该神经网络具有稀疏化的特征，其运行方式是计算存储一体化（或计算记忆一体化）。梁文锋团队在研发DeepSeekv4时，提出一种全新的Engram（印迹）模块，在传统的“条件计算（MoE）”之外，开辟第二条稀疏化的“条件记忆（Engram）”，这时可将原始的128K语言约束23%。

梁文锋团队将记忆和计算剥离（把计算交给神经系统，把从计算剥离出来的记忆交给“字典”），这时Engram将使AI推理能力迎来反直觉的爆发性增长。

这时Engram的残差将采用mHC架构。

DeepSeekv4在非残差连接上的架构是Engram，在残差连接上的架构是mHC或mHC+Engram。

当Engram在残差连接上传输信息时，通过多层信息平台时（一般6~10层），在某层（N层）平台上找有关信息（复活N-Gram）。