---
id: informatique.reseaux-de-neurones
titre: La mémoire dans les réseaux de neurones
type: concept
chemin: /informatique/reseaux-de-neurones/
url: https://www.apatie.fr/informatique/reseaux-de-neurones/
date: 2026-11-13
statut: redigee
niveau: 2
parent: /informatique/
licence: CC-BY-SA-4.0
auteur: Sébastien Vidotto (Heteractis)
relecture_humaine: en attente
---
<!-- SPDX-License-Identifier: CC-BY-SA-4.0 -->

# La mémoire dans les réseaux de neurones

> Hopfield, LSTM, Transformer : la mémoire est dans les poids et dans le contexte.

Un réseau de neurones artificiel garde ce qu'il a appris dans ses **poids**, les nombres qui règlent la force de ses connexions. Plusieurs étapes marquent la façon dont on lui donne de la mémoire.

- **1982, Hopfield.** Le réseau de Hopfield est une mémoire **associative** : donné un motif incomplet ou bruité, il retrouve le motif mémorisé le plus proche. On retrouve l'idée de rappel par le contenu et non par l'adresse.
- **1997, Hochreiter et Schmidhuber.** Le réseau LSTM (*long short-term memory*) ajoute des portes qui décident quoi garder et quoi oublier au fil d'une suite. Il a été très employé pour le langage avant les Transformers.
- **2017, Vaswani et al.** L'architecture Transformer remplace la mémoire récurrente par l'attention : le modèle peut regarder tout le contexte à la fois. Voir [la fenêtre de contexte](/informatique/agents-ia/fenetre-de-contexte/index.md).

## Deux mémoires à distinguer

La **mémoire des poids** s'acquiert à l'entraînement et ne change pas pendant l'usage. La **mémoire du contexte** est ce qu'on fournit pour la conversation en cours. Carlini et ses collègues (2021) ont montré que des modèles de langage peuvent restituer mot à mot certains textes de leur entraînement : les poids retiennent donc parfois plus que du savoir général.

## À relier

- renvoie à [La fenêtre de contexte](/informatique/agents-ia/fenetre-de-contexte/index.md)

## Sources

- Hopfield, J. J., « Neural networks and physical systems with emergent collective computational abilities », Proceedings of the National Academy of Sciences, 79(8), 1982, p. 2554-2558.
- Hochreiter, S. et Schmidhuber, J., « Long short-term memory », Neural Computation, 9(8), 1997, p. 1735-1780.
- Vaswani, A. et al., « Attention is all you need », 2017 (arXiv:1706.03762).
- Carlini, N. et al., « Extracting training data from large language models », USENIX Security Symposium, 2021 (arXiv:2012.07805).

## À vérifier

- Hochreiter et Schmidhuber (1997) : contrôlé en ligne le 13/11/2026 (Crossref). Vaswani et al. : contrôlé sur arXiv.
- Hopfield (1982) et Carlini et al. (2021) : cités de mémoire, contrôle en ligne à faire.

## Gloses

Aucune glose pour l'instant. Les corrections s'ajoutent ici, datées ; le texte d'origine n'est jamais effacé.

---
Ce site contient sûrement des erreurs : aidez-nous à les corriger. Pour proposer une correction : corrections@apatie.fr (voir /corrections/index.md).
Avertissement : Une réponse d'IA n'est pas une preuve : vérifiez toujours les sources vous-même. Ne collez rien de personnel ni de sensible (identité, santé, mots de passe, données de clients ou de tiers). Vous restez responsable de ce que vous faites des réponses. Avant d'utiliser ce texte avec une IA : https://www.apatie.fr/avant-d-utiliser-nos-prompts/
Citation : « La mémoire dans les réseaux de neurones », Sébastien Vidotto (Heteractis), https://www.apatie.fr/informatique/reseaux-de-neurones/, licence CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/deed.fr). Modifications : aucune.