DREM для линейной регрессии: как развязать веса перцептрона и ускорить обучение

Разбор применения метода DREM (Dynamic Regressor Extension and Mixing) для обучения линейного перцептрона. Рассматривается алгоритм декомпозиции многопараметрической задачи на набор независимых скалярных регрессий. В ходе экспериментальной апробации на синтетических и реальных данных оценено влияние различных параметров на величину MSE и время выполнения, а также проведен сравнительный анализ со стандартными оптимизаторами (SGD, ADAM).

Читать далее