模型越大，真的越接近大脑吗？我一直对一个矛盾很着迷：深度神经网络越做越大，预测视觉神经元的能力往往越强；可是，模型一旦大到拥有几千万甚至上亿个参数，我们就很难解释它究竟做了什么。它可以准确地告诉我“这张图会让某个神经元放电多少”，却很难告诉我“从图像到放电，中间到底经过了哪几步”。在研究灵长类视觉皮层时，这个矛盾尤其尖锐。V1、V4 和 IT 等区域并不是简单的像素分类器：有的神经元对边缘、纹理和方向敏感，有的偏好形状、颜色、物体局部，另一些则表现出很复杂的组合选择性。线性-非线性模型在视网膜和部分 V1 神经元上很有用，但面对更高阶的 V4、IT 反应就显得太简单。于是，深度卷积网络成为了更强的预测工具。我的问题是：如果一个 6000 万参数的网络能预测 V4 神经元，是否意味着大脑也需要同等规模的计算？还是说，大网络只是为了在训练阶段覆盖各种可能性，真正与某个神经元相关的计算其实非常小？我更愿意相信后一种可能。于是，一条很有力量的路线浮现出来：先用足够大的模型把神经反应预测好，再不断蒸馏和剪枝，把无关、冗余或偶然的滤波器拿掉，直到模型几乎不能再缩小。最后留下来的，不只是一个更省算力的网络，也可能是一张更接近生物回路的计算草图。一、先把“预测能力”做扎实：从自然图像到 V4 放电这里的目标不是训练一个识别猫狗的分类器，而是给定任意自然图像，预测猕猴视觉区 V4 中某个神经元在短时间窗内的放电响应。换句话说，输入是一张图，输出是一个神经 模型越大，真的越接近大脑吗？我一直对一个矛盾很着迷：深度神经网络越做越大，预测视觉神经元的能力往往越强；可是，模型一旦大到拥有几千万甚至上亿个参数，我们就很难解释它究竟做了什么。它可以准确地告诉我“这张图会让某个神经元放电多少”，却很难告诉我“从图像到放电，中间到底经过了哪几步”。在研究灵长类视觉皮层时，这个矛盾尤其尖锐。V1、V4 和 IT 等区域并不是简单的像素分类器：有的神经元对边缘、纹理和方向敏感，有的偏好形状、颜色、物体局部，另一些则表现出很复杂的组合选择性。线性-非线性模型在视网膜和部分 V1 神经元上很有用，但面对更高阶的 V4、IT 反应就显得太简单。于是，深度卷积网络成为了更强的预测工具。我的问题是：如果一个 6000 万参数的网络能预测 V4 神经元，是否意味着大脑也需要同等规模的计算？还是说，大网络只是为了在训练阶段覆盖各种可能性，真正与某个神经元相关的计算其实非常小？我更愿意相信后一种可能。于是，一条很有力量的路线浮现出来：先用足够大的模型把神经反应预测好，再不断蒸馏和剪枝，把无关、冗余或偶然的滤波器拿掉，直到模型几乎不能再缩小。最后留下来的，不只是一个更省算力的网络，也可能是一张更接近生物回路的计算草图。一、先把“预测能力”做扎实：从自然图像到 V4 放电这里的目标不是训练一个识别猫狗的分类器，而是给定任意自然图像，预测猕猴视觉区 V4 中某个神经元在短时间窗内的放电响应。换句话说，输入是一张图，输出是一个神经