A Study of Interacting Bayesian Recurrent

Neural Networks with Incremental Learning                  

 

 

Master's Thesis By Christopher Johansson

 

 

Abstract

 

This thesis investigates the properties of systems composed of recurrent neural networks. Systems of networks with different learning time-dynamics are of special interest. The idea is to create a system that possesses a long-term memory (LTM) and a working memory (WM). The WM is implemented as a memory that works in a similar way to the LTM, but with learning and forgetting at much shorter time scales. The recurrent networks are used with an incremental, Bayesian learning rule. This learning rule is based on Hebbian learning. In this thesis there is a thorough investigation of how to design the connection between two neural networks with different time-dynamics. Another field of interest is the possibility to compress the memories in the working memory, without any major loss in functionality. In the end of the thesis, these results are used to create a system that is aimed at modeling the cerebral cortex.

 

 

 

 

 

Sammanfattning 

 

En studie av interagerande Bayesianska artificiella neuronnät med inkrementell inlärning

 

I denna rapport kommer egenskaperna hos system uppbyggda av återkopplade neuronnät att undersökas. System uppbyggda av nätverk som lär in på skilda tidsskalor är av speciellt intresse. Målet är att skapa ett system med ett långtidsminne och ett arbetsminne. Arbetsminnet kommer att realiseras på samma sätt som ett långtidsminne, men det kommer att arbeta med mycket kortare tidsskalor. De återkopplade neurala nätverken kommer att tränas med en inkrementell, Bayesiansk, inlärningsregel. Inlärningsregeln är baserad på Hebbsk inlärning. I rapporten finns en noggrann undersökning av hur man kan koppla ihop två neurala nätverk. Möjligheten att komprimera representationen i arbetsminnet, utan att det medför sämre prestanda, kommer också att studeras. I slutet av rapporten kommer resultaten från de inledande experimenten att användas till att skapa ett system som efterliknar hjärnbarken.