C’est dans le cadre du projet de recherche “Codage neural” que Vincent Gripon, doctorant au département Électronique et Claude Berrou professeur au département Électronique et également membre du laboratoire Labsticc, viennent de publier un premier article dans la prestigieuse revue “IEEE Transactions on Neural Networks”. Les auteurs montrent que l’introduction des principes de la correction d’erreurs, si utile dans les systèmes de télécommunications modernes, peut aussi être très bénéfique dans la conception de réseaux de neurones notamment pour les applications de mémoires associatives.

Résumé : Dans cet article, des réseaux de neurones avec trois niveaux de parcimonie sont introduits. Le premier d’entre eux est la taille des messages, bien plus petite que le nombre de neurones des réseaux. Le second provient d’une règle de codage singulière qui agit comme une contrainte locale sur l’activité neuronale. Le troisième est le caractère creux du réseau lui-même tel qu’il se présente à la fin de l’apprentissage. Bien que ce modèle proposé soit très simple, s’appuyant sur des neurones et des connexions binaires, il peut apprendre et retrouver un grand nombre de messages même en présence de nombreux effacements. Cet article a été rédigé dans le cadre du projet de recherche “Codage neural” de Télécom Bretagne et du Labex Comin Labs qui vise à identifier et à exploiter les analogies entre les structures et les propriétés des décodeurs distribués et celles du néocortex.

Mots-clés : Réseaux de neurones récurrents, codage correcteur d’erreurs, apprentissage, parcimonie, mémoire associative.

Référence complète : Vincent Gripon, Claude Berrou. Sparse Neural Networks with Large Learning Diversity. IEEE Transaction on Neural Networks, vol. 22, no. 7, pp. 1087-1096, July 2011.

Voir la référence dans la base des publications de l’École, dans les archives ouvertes Hal ou sur le site de l’éditeur IEEE.

Voir aussi : Vincent Gripon : Networks for neural cliques ;
- Publication de l’ouvrage “Codes and Turbo Codes” sous la direction de Claude Berrou ;
- Annie Gravey et Claude Berrou, membres émérites de la SEE.