L'oscillation quantifie la tendance d'une fonction ou d'une suite à varier entre des valeurs extrémales. Il existe plusieurs notions d'oscillation : oscillation d'une suite de réels, oscillation d'une fonction à valeurs dans un espace métrique (comme ℝ), en un point ou sur une partie de son domaine de définition.
L'oscillation ω(a) d'une suite réelle a = (an)n est la différence entre ses limites supérieure et inférieure :
Elle est définie sauf si cette différence est de la forme (+∞) – (+∞) ou (–∞) – (–∞), c'est-à-dire si la suite tend vers +∞ ou vers –∞. Elle vaut +∞ lorsque la suite n'est pas bornée. Elle est nulle lorsque la suite converge.
Si f est une fonction à valeurs réelles définie sur un ensemble X, l'oscillation ωf(U) de f sur une partie non vide U de X est la différence entre les bornes supérieure et inférieure de f sur U :
Plus généralement, si f est à valeurs dans un ensemble E muni d'une distance d, ωf(U) est le diamètre de l'image de U par f :
Elle est toujours définie, et vaut +∞ lorsque la fonction n'est pas bornée sur U.
Lorsque le domaine X de f est muni d'une topologie, on définit l'oscillation ωf(a) de f en un point quelconque a de X comme la borne inférieure de ses oscillations ωf(U) quand U parcourt le filtre V(a) des voisinages de a, ou même seulement une base W(a) de V(a) :
Si de plus f est à valeurs réelles, cette oscillation est la différence entre limites supérieure et inférieure de f en a :
On peut toujours choisir pour W(a) l'ensemble des ouverts qui contiennent a. Si l'espace topologique X est métrisable, on peut aussi choisir comme base la famille des boules (ouvertes par exemple) B(a, ε) de centre a et de rayon ε > 0 et vérifier que
ce qui, si l'espace métrisable X est un ensemble de réels (muni de la distance usuelle), se réécrit :
L'oscillation de f en un point a de son domaine est nulle si et seulement si f est continue en a[1].
De plus, toutes les égalités ci-dessus s'étendent au cas où f n'est définie que sur une partie Y de X à laquelle a est seulement adhérent, en remplaçant le filtre V(a) des voisinages de a par celui, VY(a), de leurs intersections avec Y. L'oscillation de f en a est nulle si et seulement si le filtre image, f(VY(a)), est de Cauchy. Lorsque l'espace métrique d'arrivée E est complet, cela équivaut, à nouveau, à l'existence d'une limite en a pour f.
Lorsque X est métrisable et E complet, si f est continue sur le sous-espace Y, elle s'étend continûment au Gδ des points adhérents à Y en lesquels l'oscillation de f est nulle[2].
La notion d'oscillation en un point adhérent généralise aussi celle d'oscillation d'une suite dans ℝ à toute suite dans E, vue comme fonction sur l'espace discret Y = ℕ, en considérant a = +∞, adhérent à ℕ dans son compactifié d'Alexandrov X = ℕ∪{+∞}.
L'application a ↦ ωf(a) permet de quantifier les discontinuités de f et de les classer.
Elle est en outre semi-continue supérieurement, donc l'ensemble Δ(f) des points de discontinuité de f est un Fσ, comme réunion des fermés Δn(f) = {a ∈ X | ωf(a) ≥ 1/n}. Par passage au complémentaire, l'ensemble des points de continuité de f est un Gδ, intersection dénombrable des ouverts {a ∈ X | ωf(a) , 1/n}.
Cela fournit aussi une preuve très rapide de l'une des deux directions du critère de Lebesgue pour l'intégrabilité de Riemann[3], à savoir : si Δ(f) n'est pas Lebesgue-négligeable, alors f n'est pas Riemann-intégrable, puisque I+(f) – I–(f) ≥ λ(Δn(f))/n.