Uno degli aspetti maggiormente controversi delle moderne reti neurali multi-layer è l’ammontare di risorse computazionali necessarie per il loro addestramento, che è ingente, nonostante il fatto che le architetture più complesse (16 milioni di neuroni) non raggiungano la complessità che caratterizza il cervello di un comune anfibio, ben lontane quindi dagli 80 miliardi di neuroni di un cervello umano.

Ovviamente non è solo un problema di dimensioni, ma anche di efficienza computazionale: infatti le moderne reti neurali artificiali operano su supercomputer, mentre è ancora proibitivo utilizzare i normali desktop, per quanto potenti, considerato che sono necessari mediamente 12 giorni per «addestrare» una rete neurale composta da appena 100 mila neuroni.

Ma l’efficienza computazionale potrebbe presto aumentare. Infatti, un team internazionale composto da ricercatori delle Università di Eindhoven, Austin Texas e Derby ha sviluppato un approccio che abbatte drasticamente i tempi di apprendimento, rendendone quindi possibile l’implementazione sui normali computer.

La metodologia sviluppata dal team, ribattezzata Sparse Evolutionary Training, si ispira al reale funzionamento dei neuroni biologici, la cui efficienza è garantita da tre caratteristiche: le reti neuronali hanno poche connessioni (in questo senso si parla di reti «sparse»), pochi nodi e collegamenti brevi. Il principio di funzionamento della rete si ispira al fenomeno noto come synaptic shrinking: la rete nel suo stato iniziale è caratterizzata da poche connessioni, stabilite casualmente. Ad ogni step, le connessioni più deboli sono eliminate e ne vengono aggiunte altre, sempre seguendo un criterio casuale. La rete in tale maniera evolve da uno stato sparso ad un’architettura caratterizzata da pochi nodi e collegamenti relativamente brevi, aumentando enormemente la propria efficienza computazionale.

I principali risultati della ricerca sono stati pubblicati su Nature Communications.

 

Fonte: Nature Communications