Attention (apprentissage automatique)

Cet article est une ébauche concernant l'intelligence artificielle.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Pour les articles homonymes, voir Attention (homonymie).

L'attention, en apprentissage automatique, est une méthode consistant à déterminer l'importance relative de chaque élément au sein d'une séquence. Ainsi, par exemple en traitement automatique des langues, cette attention est représentée par des coefficients attribués à chaque mot d'une phrase en fonction de son importance dans la phrase[1]. L'attention s'applique plus généralement à une séquence de vecteurs (plongement lexical par exemple) de longueur arbitraire.

Contrairement à des paramètres qui seraient déterminés lors de la phase d'apprentissage puis fixés lors de l'utilisation (par exemple dans un réseau de neurones à action directe), les coefficients attribués par l'attention sont calculés en fonction de l'entrée et vont donc varier en fonction des valeurs d'entrée. Ces poids peuvent être calculés séquentiellement comme dans les réseaux de neurones récurrents (RNN), ou plus récemment en parallèle comme dans les transformeurs[2],[3].

Le mécanisme d'attention des transformeurs a en particulier été conçu pour remédier aux faiblesses liées aux RNN. Dans un RNN, chaque mot hérite d'une partie de l'information du mot précédent, qui lui même hérite d'une partie de l'information du mot précédent.Ainsi, l'information récupérée d'un mot décroît exponentiellement avec le nombre de mots qui le sépare du mot actuel. Ce qui fait que ces réseaux n'ont qu'une mémoire à relativement court terme. À l'inverse, l'attention, telle qu'implémentée dans les transformeurs, permet de combiner directement l'information à différents endroits du texte.

## Références

[modifier | modifier le code]

* (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Attention (machine learning) » (voir la liste des auteurs).

1. ↑ R. N. Rathi et A. Mustafi, « The importance of Term Weighting in semantic understanding of text: A review of techniques », Multimedia Tools and Applications, vol. 82, no 7,‎ 2023, p. 9761–9783 (ISSN 1380-7501, PMID 35437420, PMCID 9007265, DOI 10.1007/s11042-022-12538-3, lire en ligne, consulté le 22 juin 2025)
2. ↑ Ashish Vaswani, Noam Shazeer, Niki Parmar et Jakob Uszkoreit, Attention Is All You Need, 2 août 2023 (DOI 10.48550/arXiv.1706.03762, lire en ligne)
3. ↑ Aayush Mittal, « Attention : révolutionner l'efficacité des transformateurs », sur Unite.AI, 17 juillet 2024 (consulté le 16 novembre 2024)

v · m

Apprentissage automatique et exploration de données

Paradigmes |  |

* Apprentissage supervisé
* Auto-supervisé
* Semi-supervisé
* Non supervisé

* Apprentissage par renforcement
* Transfert
* Incrémental

Problèmes |

* Classement
* Clustering
* Détection d'anomalies
* Optimisation en ligne
* Modèle génératif
* Régression
* Règle d'association
* Réduction de dimensions
* Analyse factorielle
* Sélection de caractéristique
* Extraction de caractéristique

Supervisé |  | Classement |

* Arbre de décision
* k-NN
* U-matrix
* CRF
* Régression logistique

|

Régression |

* Modèle linéaire généralisé
* Régression linéaire
* Régression de Poisson
* Modèle probit
* Analyse discriminante linéaire
* Machine à vecteurs de support

Prédiction structurée |

* Modèle graphique
* Classification naïve bayésienne
* Réseau bayésien
* Modèle de Markov caché

Réseau de neurones
artificiels |

* Récurrents
* Rétropropagation à travers le temps
* Calcul par réservoir
* à action directe
* Rétropropagation du gradient
* Apprentissage profond
* Perceptron
* Perceptron multicouche
* Réseau neuronal convolutif
* Attention
* Réseau de neurones à impulsions

Non supervisé et
auto-supervisé |  | Clustering |

* Regroupement hiérarchique
* K-moyennes
* Algorithme espérance-maximisation
* DBSCAN
* OPTICS

|

Réduction de dimensions |

* ACP
* ACP à noyaux
* Analyse en composantes indépendantes
* Analyse canonique des corrélations
* Analyse canonique à noyaux
* t-SNE
* Réseau de neurones artificiels
* Auto-encodeur

IA générative
et modèle génératif |

* Réseau de neurones artificiels
* Réseaux antagonistes génératifs
* Classique
* de Wasserstein)
* Auto-encodeur variationnel
* Réseau de Hopfield
* Machine de Boltzmann restreinte
* Cartes de Kohonen
* Transformeur

Métaheuristique
d'optimisation |

* Stratégie d'évolution et génétique
* NEAT
* HyperNEAT
* Essaims
* Apprentissage ensembliste
* Forêts aléatoires
* Boosting

Théorie |

* Apprentissage PAC
* Complexité de Rademacher
* Dilemme biais-variance
* Hypothèse de la variété
* Théorie de Vapnik-Chervonenkis
* Pulvérisation
* Dimension de Vapnik-Chervonenkis
* Théorème de Cover

Logiciels |

* Keras
* Microsoft Cognitive Toolkit
* Scikit-learn
* TensorFlow
* Theano
* Weka
* PyTorch

* Portail de l’intelligence artificielle

*[(en)]: Langue : anglais
*[vol.]: volume
*[no]: numéro
*[p.]: pages
*[v]: Voir ce modèle.
*[m]: Modifier ce modèle. Merci de prévisualiser avant de sauvegarder.