Agrégation PAC-bayésienne d'estimateurs par projection

Lucie Montuelle (1, 2) , Erwan Le Pennec (3)

1 SELECT - Model selection in statistical learning
2 LM-Orsay - Laboratoire de Mathématiques d'Orsay
3 CMAP - Centre de Mathématiques Appliquées - Ecole Polytechnique

Aggregating estimators using exponential weights depending on their risk performs well in expectation, but sadly not in probability. A way to overcome this issue is considering exponential weights of a penalized risk. In this case, an oracle inequality can be obtained in probability, but is not sharp. Taking into account the estimated function's norm in the penalty offers a sharp inequality.

L'agrégation d'estimateur a l'aide de poids exponentiels dépendant de leur risque offre de bonnes performances en moyenne. Malheureusement, il est impossible d'obtenir un aussi bon contrôle du risque de l'estimateur agrégé en probabilité. Pour contourner ce problème, nous considérons des poids exponentiels du risque pénalisé. Cette technique permet d'obtenir une inégalité oracle inexacte en probabilité. En surpénalisant, avec une prise en compte de la norme de la fonction estimée, une inégalité exacte est accessible.

Mots clés: Agrégation à poids exponentiels; régression; inégalité oracle

Domaines: Statistiques [stat]; Machine Learning [stat.ML]

Lucie Montuelle, Erwan Le Pennec. Agrégation PAC-bayésienne d'estimateurs par projection. 46e Journées de Statistique, SFdS, Jun 2014, Rennes, France. ⟨hal-01097173⟩