Исследователи Sakana AI представили PC-ALM — послойную альтернативу обратному распространению, обучающую сети со 1000 слоями
Исследователи Sakana AI Jeffrey Seely и Julian Gould представили Augmented Lagrangian Predictive Coding (PC-ALM) — альтернативу обратному распространению с локальным обучением. Добавляя множитель Лагранжа к ограничению каждого слоя, PC-ALM сохраняет послойные обновления predictive coding, восстанавливая при этом точные градиенты обратного распространения в…