虛擬老鼠不是人工大腦:它的控制器為什麼能對上真鼠的神經活動?

虛擬老鼠不是人工大腦:它的控制器為什麼能對上真鼠的神經活動?


一隻老鼠在圓形場地裡走動、嗅聞、理毛、站起來。六台相機從不同角度拍下它的身體,電極同時記錄腦中的放電。接著研究者把真鼠的動作軌跡轉成控制目標,交給一隻不存在於現實世界的老鼠:它有骨骼、有關節、有物理引擎,還有一個會輸出關節 torque 的人工神經網路。原論文與開放作者稿

最有意思的地方不是它「長得像」真老鼠,而是這個控制器的內部活動,在作者測試的比較模型中,竟然比真老鼠的關節角度、速度和其他運動特徵,更能對上真老鼠在背外側紋狀體(dorsolateral striatum, DLS)與運動皮質(motor cortex, MC)的神經活動結構。

這是 Aldarondo 等人在 2024 年發表於 Nature 的研究。它的正確解讀不是「AI 做出了一個人工大腦」,而是:一個帶有身體與物理限制的 inverse-dynamics 控制器,提供了一個比單純運動回歸更有解釋力的候選計算模型。作者的結果與 DLS、MC 參與 inverse-dynamics computation 一致,但沒有證明真腦就是這個網路。

先把「預測神經活動」翻成統計語言

標題很容易讓人誤會。虛擬老鼠並沒有逐一預測某個生物神經元下一個 spike,也沒有生成一個逐一模擬神經元放電的生物腦模型。先記住整條路徑:影像 → 3D 身體 → 物理模擬 → torque 控制 → 表徵比較。

研究者做的是兩種比較。

第一種是 single-unit encoding:把每個神經元在 20 毫秒時間箱裡的 spike count,交給 Poisson generalized linear model(GLM)預測。分析使用的預測變數分成幾類:由影片或骨骼計算出的姿態與速度、物理模擬器裡的力與感測器訊號,以及虛擬控制器不同層的 activation。預測表現用 cross-validated log-likelihood ratio 衡量,並和只預測平均 firing rate 的 baseline 比較。方法與圖說

第二種是 population-level representational similarity analysis(RSA)。RSA 比較的是不同動作在兩個表徵空間中的相似關係:研究者把不同動作類別在神經族群中的距離結構,和各種模型表徵的距離結構相比。這裡的問題變成:grooming、walking、rearing 等行為,在真鼠神經族群裡彼此有多遠?在虛擬控制器的 hidden layers 裡,這些行為的幾何關係是否也相似?Nature 圖說

換句話說,研究的核心不是一個漂亮的 prediction score,而是比較「哪一種變數空間最像腦在組織行為」。

MIMIC:把真鼠動作轉成可控制的虛擬身體

這個實驗的關鍵,不是把影片直接丟進一個黑箱 neural network。作者先把老鼠的行為拆成一條可以檢查的工程管線。MIMIC 方法

1. 從多相機影像估計 3D 姿態

DANNCE 從多視角影像估計老鼠身上的 23 個 anatomical keypoints。這些點不是抽象的 embedding,而是頭、軀幹、四肢等身體位置。接著,STAC(Simultaneous Tracking and Calibration)把一個骨骼模型對齊這些 keypoints,估計出每一幀的 joint angles 與身體姿態。

2. 把骨骼放進 MuJoCo

虛擬老鼠的骨架有 74 個 degrees of freedom,其中 38 個是可控制的 actuator。這個數字描述的是身體模型,不是神經網路的神經元數量。MuJoCo 會根據身體的質量、關節和接觸條件,計算每次 torque 之後身體會如何移動;模型也有模擬的身體狀態與接觸感測器。模型與方法

這一步很重要。若只用影片座標訓練一個姿態預測器,模型只需要把下一幀猜得像;加入物理身體後,模型必須解一個更接近控制問題的問題:要讓這副身體走到目標姿態,現在各個關節應該施加什麼 torque?

3. Controller 看到的是「未來一小段路」

inverse-dynamics controller 的輸入包含虛擬老鼠當下的 body state,以及真老鼠未來 20–200 毫秒的 reference trajectory。主模型以 50 Hz 執行,常用的 reference window 約為 100 毫秒;輸出則是 38 個 actuator 的 torque。控制器用 sliding window 反覆執行,把短片段接成更長的自然動作。控制器方法

這裡也埋著一個必須正面說出的限制:虛擬老鼠被餵了真老鼠的未來參考軌跡。它不需要自己從視覺、獎勵或長期目標中推斷「我想去哪裡」,也不是對新任務做自主的 neural prediction。它解的是條件式、短時間尺度的動作模仿控制,而不是完整的動物行為生成。

資料規模也值得記住:研究使用 7 隻 female Long–Evans rats;DLS 與 MC 的神經分析各有 3 隻動物,分別累積 353.5 與 253.5 小時的記錄。MC 有一個 implant 沒有產生可分析的神經元。這些小而重要的 animal-level n,不能被後面成千上萬的 units 掩蓋。記錄與樣本說明

為什麼控制器表徵會比關節角度更接近神經活動?

如果只看最後的動作結果,真老鼠和虛擬老鼠都可以有相似的 joint angle trajectory。但相同動作可以由不同的控制策略產生。在模擬模型中,較重的身體、不同的頭身質量比例,或不同的 feedback controller,都可能走出相近的軌跡,卻需要不同的內部 torque 與感測器整合。

這正是 inverse dynamics 的直覺:

forward model 問「給定現在的狀態和 action,身體下一刻會去哪裡?」;inverse-dynamics model 問「為了去到想要的狀態,現在需要什麼 action?」

研究的假說是:若這些腦區的活動包含控制一副有慣性、有接觸身體所需的資訊,模型內部的 hidden activation 就可能比原始運動特徵更貼近神經資料。這是候選解釋,不是已被證明的腦區功能。

研究中的結果符合這個預測:在作者測試的 feature sets 與比較模型中,inverse-dynamics network features 對 single-unit GLM 的 spike-count 預測較好;在 population RSA 中,inverse model 的行為距離結構也更接近 DLS 與 MC。作者另外訓練了 forward 和 sequential forecasting 等替代模型;這是指定比較下的結果,不是排除所有其他模型。Extended Data 圖說

但「這些特徵表現最好」和「大腦使用同一個演算法」之間,還隔著很大一步。作者沒有測試所有可能的 nonlinear history-dependent kinematic model,也沒有證明其他 reinforcement-trained controller 不會得到同樣的結果。這是一個有物理意義的候選模型勝出,不是生物機制被辨識完成。

另一個亮點:變異不是單純的雜訊

除了表徵幾何,作者還測試模型中的變異是否具有行為結構。虛擬 controller 不是每次都用完全相同的 latent code;encoder 產生帶有 stochasticity 的 latent distribution,研究者可以觀察不同行為下,latent variability 如何改變 action variability。

模型在不同動作中學到不同的 variability structure。破壞這個結構,或在總 noise level 相近時把它反轉,會降低 imitation 表現並增加 failure。這和 optimal feedback control 裡的 minimal intervention principle 一致:這是模型行為與一個控制理論原則相符,不是證明真鼠使用同一原理。變異分析圖說

研究者接著把模型 latent variability 的行為幾何,和真鼠 spike-count 在一秒滑動視窗裡的 variance 結構相比。這兩者不是同一個量,也不是同一個時間尺度;研究比較的是它們跨行為的結構是否相似。

這個結果很有啟發性,但不能寫成「生物神經元的雜訊就是 latent Gaussian」。真鼠的 neural variability 並不是直接觀察到虛擬模型的 latent noise;那是用 1 秒 moving window 對 binned spike counts 計算的近似統計量。模型展示的是:這種 stochastic control 設計可以產生有結構的動作變異,且能預測這個 neural-variance 近似量的行為間結構;它沒有證明生物腦採用同一個 noise source。方法與結果

2025 更正:神經元數字改了什麼?

這篇論文不能只讀 2024 年的原始 PDF。2025 年作者與期刊發布 correction,說明擷取與排序流程的最後一步出現 bug:部分細胞出現短週期的 spike dropout,讓後續 quality filter 排除了原本可以追蹤的 units。更正特別指出,sorting 本身是好的;錯在最後的分析處理步驟。2025 correction

目前應以更正後的數字為準:DLS 從原先的 1,249 個 putative single units 改為 2,654 個,MC 從 843 改為 1,177 個;Figure 3c 列出的可被預測神經元,DLS 原先為 732、現在為 1,788,MC 原先為 769、現在為 1,095。作者表示重新分析後 effect sizes 相近,並認為研究發現與結論沒有改變;更新範圍包括 Figures 3、4 與 Extended Data Figs. 1、4–10。

這不是可以略過的小字。它沒有自動推翻論文,但它改變了 unit-selection 的結果,也代表任何嚴格的 replication 都應該以修正版資料與分析為起點,而不是引用初版的神經元數字。更重要的是,這是作者重新分析後的報告,不是獨立團隊對 2024 年 neural GLM/RSA 結果的 replication。

這組結果支持什麼?

截至目前,最穩健的一句話是:

在這組自由活動的 Long–Evans rat 資料、這個 biomechanical body model、這套 GLM/RSA 分析和指定的 baselines 中,一個短視窗 inverse-dynamics controller 的內部表徵,比測得的運動特徵更能對上 DLS 與 MC 的神經活動結構。

它沒有證明以下幾件事:

  • 虛擬老鼠有一個人工大腦。模型沒有生物神經元、突觸、細胞類型、解剖連結或 brain-wide circuit。
  • DLS 和 MC 已被因果地證明在執行 inverse dynamics。研究沒有在真鼠裡做神經干預、lesion 或 causal perturbation。
  • 結果已泛化到其他品系、性別、物種、腦區、實驗室或行為任務。研究使用 7 隻 female Long–Evans rats,但可分析的神經錄製是每個區域 3 隻動物;大量 units 仍來自同一批少數動物,不等於大量 biological replicates。目前也沒有獨立研究重做這篇論文的 neural GLM/RSA 結果。
  • 研究比較了所有可能的 model。forward/sequential controls 有資訊量,但不是整個 model class 的窮盡搜尋。

後續工程工作:不是神經結果的 replication

2025 年的 MIMIC-MJX preprint 把這條工程路線推得更遠:用 GPU 加速的 MuJoCo pipeline,將 motion imitation controller 拓展到 rat、fly、mouse arm、stick insect 和 worm,並把訓練好的 decoder 當成下游任務的 low-level controller。這說明 neuromechanical controller 可以成為可重用的工程模組;它沒有重新分析 2024 年的 DLS/MC 神經資料,因此不會反過來證明那篇論文的生物神經解釋。MIMIC-MJX preprint

我的結論:身體是模型的一部分,不是展示道具

這篇研究最值得工程師注意的,不是「AI 終於模擬了老鼠」,而是它把具身性變成可檢驗的模型假說。

一個只看影片的模型,學到的是動作長什麼樣子;一個被迫控制有質量、有接觸、有關節限制的身體模型,學到的是動作必須如何被實現。這個結果支持把 control solution 作為神經表徵的候選解釋,而不是把腦活動當成 observation 的壓縮;network features 同時也可能攜帶較長時間的上下文與較高維度資訊。

下一個真正有說服力的測試,不是再做一隻更逼真的虛擬老鼠,而是讓模型離開原本的資料分布:換個動物、換個身體、換個任務,甚至預測新的神經干預結果。到那時,inverse dynamics 才會從一個漂亮的解釋,逐步變成可以被打臉、也可以被使用的科學模型。

References

  1. Aldarondo, D. et al. “A virtual rodent predicts the structure of neural activity across behaviours.” Nature 632, 594–602 (2024). Nature · Open author manuscript
  2. Aldarondo, D. et al. “Author Correction: A virtual rodent predicts the structure of neural activity across behaviours.” Nature (2025). Correction · PMC record
  3. Aldarondo, D. et al. Virtual rodent code repository
  4. Harvard Dataverse dataset
  5. Merel, J. et al. “Deep neuroethology of a virtual rodent.” arXiv / ICLR 2020
  6. Zhang, C. Y. et al. “MIMIC-MJX: Neuromechanical Emulation of Animal Behavior.” arXiv (2025)