Gradient and gradient-free methods for stochastic convex optimization with inexact oracle

Abstract

n the paper we generalize universal gradient method (Yu. Nesterov) to strongly convex case and to Intermediate gradient method (Devolder-Glineur-Nesterov). We also consider possible generalizations to stochastic and online context. We show how these results can be generalized to gradient-free method and method of random direction search. But the main ingridient of this paper is assumption about the oracle. We considered the oracle to be inexact. В работе обзорно приводятся новые результаты по градиентным и прямым методам стохастической выпуклой оптимизации с неточным оракулом. Стоит отметить, что приведенные в статье оценки содержат основные известные авторам результаты в этой области с одной стороны и демонстрируют эти результаты максимально компактно с другой. Кроме того, приведенные в статье оценки непрерывны. То есть основная их отличительная черта это овыпукление ранее известных оценок.