В настоящее время я работаю над проектом ML NLP и хочу измерить время выполнения определенных частей, а также потенциально предсказать, сколько времени займет выполнение. Например, я хочу измерить процесс обучения ML (включая подпроцессы, такие как часть предварительной обработки данных). Я искал в Интернете и наткнулся на разные модули Python, которые могут измерять время выполнения функций (например, time или timeit). Однако я до сих пор не нашел конкретного решения для прогнозирования времени, которое потребуется для выполнения функции. Я думал о том, чтобы запустить код несколько раз, сохранить значения (data_size, time), а затем использовать их для экстраполяции для будущих данных. Я также подумал о том, чтобы затем обновить эту оценку с учетом времени, которое потребовалось для выполнения нескольких частей функции (например, увидеть, какая часть процесса была вычислена, сколько времени это заняло, а затем использовать это для корректировки оставшегося времени).
Тем не менее, я не уверен ни в чем из этого, и я хотел посмотреть, есть ли лучшие варианты, о которых я не знал, поэтому, если у кого-то есть лучшая идея, я был бы благодарен, если бы вы могли поделиться ею.
machine-learning
отношения не имеет - просьба не спамить неактуальными тегами (удалено). - person desertnaut   schedule 22.04.2020