Стохастический градиентный спуск известен своей случайностью, которую он привносит при итерации по лучшему набору параметров, чтобы соответствовать его обучающему набору. Но означает ли это только то, что алгоритм дает только скорость, чтобы найти хороший набор параметров? На самом деле математика обнаруживает еще одно преимущество SGD: она сильно сглаживает любую непрерывно дифференцируемую комплексную функцию стоимости, имеющую несколько локальных минимумов. Хотя доказательства..