Boosting

Cet article est une ébauche concernant les probabilités et la statistique.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Boosting

Type|

Métaheuristique, apprentissage ensembliste

|

Aspect de|

Apprentissage supervisé

modifier \- modifier le code \- modifier Wikidata

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances.

Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier \- est ajoutée au classifieur final - strong classifier.

On appelle apprenant faible un algorithme qui fournit des classifieurs faibles, capables de reconnaître deux classes au moins aussi bien que le hasard ne le ferait (c’est-à-dire qu'il ne se trompe pas plus d'une fois sur deux en moyenne, si la distribution des classes est équilibrée). Le classifieur fourni est pondéré par la qualité de sa classification : mieux il classe, plus il sera important. Les exemples mal classés sont boostés pour qu'ils aient davantage d'importance vis-à-vis de l'apprenant faible au prochain tour, afin qu'il pallie le manque.

Un des algorithmes les plus utilisés en boosting s'appelle AdaBoost, abréviation de adaptative boosting.

Le boosting s'appuie sur la théorie de l'apprentissage PAC.

## Principales méthodes liées au boosting

[modifier | modifier le code]

* Bootstraping
* Bagging
* Boosting
* AdaBoost
* DiscreteAB
* RealAB
* GentleAB
* WeightBoost
* BrownBoost (en)
* LogitBoost (en)
* LPBoost (en)
* AsymBoost
* KLBoost
* FloatBoost
* GloBoost
* RankBoost
* xgboost

La méthode AdaBoost peut être vue comme un cas particulier de la méthode des poids multiplicatifs.

## Autres méthodes apparentées

[modifier | modifier le code]

* ADDEMUP
* arcing : adaptive recombination of classifiers
* bagging : bootstrap aggregation
* bag-stacking : bagging plus stacking
* cascading
* combination of classifiers
* committees of networks
* consensus theory
* cragging : cross aggregation (like k-fold cross validation)
* dagging : disjoint-sample aggregation
* dag-stacking : dagging plus stacking
* classifieurs basé sur le principe diviser pour régner (divide and conquer)
* hagging : half-sample aggregation
* mélange d'experts (en)
* multiple classifier systems
* classifieurs multi-stage et multi-level
* OLC : optimal linear combination
* pandemonium of reflective agents
* sieving algorithms
* stacking : utiliser les sorties de plusieurs modèles (avec en option les entrées initiales) comme entrées d'un nouveau modèle (de deuxième niveau)
* voting

## Liens

[modifier | modifier le code]

* Fabien Torre, notes de cours en apprentissage automatique, université de Lille
* Exemple d'application: Méthode de Viola et Jones

## Liens externes

[modifier | modifier le code]

*   * Ressource relative à la santé :
* Medical Subject Headings
* Notice dans un dictionnaire ou une encyclopédie généraliste :
* Britannica

* Notices d'autorité :
* LCCN
* Israël

v · m

Apprentissage automatique et exploration de données

Paradigmes |  |

* Apprentissage supervisé
* Auto-supervisé
* Semi-supervisé
* Non supervisé

* Apprentissage par renforcement
* Transfert
* Incrémental

Problèmes |

* Classement
* Clustering
* Détection d'anomalies
* Optimisation en ligne
* Modèle génératif
* Régression
* Règle d'association
* Réduction de dimensions
* Analyse factorielle
* Sélection de caractéristique
* Extraction de caractéristique

Supervisé |  | Classement |

* Arbre de décision
* k-NN
* U-matrix
* CRF
* Régression logistique

|

Régression |

* Modèle linéaire généralisé
* Régression linéaire
* Régression de Poisson
* Modèle probit
* Analyse discriminante linéaire
* Machine à vecteurs de support

Prédiction structurée |

* Modèle graphique
* Classification naïve bayésienne
* Réseau bayésien
* Modèle de Markov caché

Réseau de neurones
artificiels |

* Récurrents
* Rétropropagation à travers le temps
* Calcul par réservoir
* à action directe
* Rétropropagation du gradient
* Apprentissage profond
* Perceptron
* Perceptron multicouche
* Réseau neuronal convolutif
* Attention
* Réseau de neurones à impulsions

Non supervisé et
auto-supervisé |  | Clustering |

* Regroupement hiérarchique
* K-moyennes
* Algorithme espérance-maximisation
* DBSCAN
* OPTICS

|

Réduction de dimensions |

* ACP
* ACP à noyaux
* Analyse en composantes indépendantes
* Analyse canonique des corrélations
* Analyse canonique à noyaux
* t-SNE
* Réseau de neurones artificiels
* Auto-encodeur

IA générative
et modèle génératif |

* Réseau de neurones artificiels
* Réseaux antagonistes génératifs
* Classique
* de Wasserstein)
* Auto-encodeur variationnel
* Réseau de Hopfield
* Machine de Boltzmann restreinte
* Cartes de Kohonen
* Transformeur

Métaheuristique
d'optimisation |

* Stratégie d'évolution et génétique
* NEAT
* HyperNEAT
* Essaims
* Apprentissage ensembliste
* Forêts aléatoires
* Boosting

Théorie |

* Apprentissage PAC
* Complexité de Rademacher
* Dilemme biais-variance
* Hypothèse de la variété
* Théorie de Vapnik-Chervonenkis
* Pulvérisation
* Dimension de Vapnik-Chervonenkis
* Théorème de Cover

Logiciels |

* Keras
* Microsoft Cognitive Toolkit
* Scikit-learn
* TensorFlow
* Theano
* Weka
* PyTorch

v · m

Optimisation: théorie et algorithmes

Non linéaire |

* Méthode du nombre d'or
* Recherche linéaire
* Méthode de Nelder-Mead
* Critères de Wolfe
* Méthode de Broyden-Fletcher-Goldfarb-Shanno
* Algorithme à régions de confiance
* Pénalisation
* Algorithme du gradient
* Algorithme du gradient stochastique
* Méthode de Newton
* Algorithme de Gauss-Newton
* Algorithme de Levenberg-Marquardt
* Algorithme du lagrangien augmenté

Convexe |  |

* Optimisation complètement positive
* Optimisation copositive
* Optimisation SDP
* Méthode des plans sécants
* Algorithme de Frank-Wolfe
* Méthode de l'ellipsoïde

Linéaire |

* Optimisation conique
* Algorithme du simplexe
* Méthodes de points intérieurs
* Décomposition de Benders
* Génération de colonnes

Quadratique |

* Optimisation quadratique successive

Combinatoire |

* Algorithme d'approximation
* Programmation dynamique
* Algorithme glouton
* Optimisation linéaire en nombres entiers

Métaheuristique |

* Stratégie d'évolution
* Algorithme génétique
* Essaims
* Forêts aléatoires
* Boosting

* Portail de l'informatique théorique
* Portail des probabilités et de la statistique

*[v]: Voir ce modèle.
*[m]: Modifier ce modèle. Merci de prévisualiser avant de sauvegarder.