Когда вы хотите перенести обучение, но не знаете, какие слои вам следует сохранить, когда вы слепо обучаете новую нейронную сеть и что вы можете сделать, это использовать перекрестную проверку на тестовом наборе и не знать, какие слои работают неправильно.
Я предлагаю решение, использующее t-SNE (1) для визуализации слоев и анализ ваших данных для проверки их надежности. Исходный алгоритм t-SNE имеет сложность O (nxn), когда вы вычисляете попарные расстояния и преобразуете их в вероятности. Я мог бы сократить время вычислений, немного изменив вычисления, и я обнаружил, что вместо использования цикла for я использую матрицу для вычислений, потому что вычисления на матрице могут эффективно использовать мощность графических процессоров. Итак, фотография, которую я публикую, - это то, что я недавно обнаружил о том, как заставить t-SNE работать быстрее! Когда вы хотите перенести обучение, но не знаете, какие слои вам следует сохранить, когда вы слепо обучаете новую нейронную сеть и что вы можете do использует перекрестную проверку на тестовом наборе и не знает, какие слои работают неправильно.
Я предлагаю решение, использующее t-SNE для визуализации слоев и понимание ваших данных, чтобы проверить их надежность. Исходный алгоритм t-SNE имеет сложность O (nxn), когда вы вычисляете попарные расстояния и преобразуете их в вероятности. Я мог бы сократить время вычислений, немного изменив вычисления, и я обнаружил, что вместо использования цикла for я использую матрицу для вычислений, потому что вычисления на матрице могут эффективно использовать мощность графических процессоров. Итак, фотография, которую я публикую, - это то, что я недавно обнаружил о том, как заставить t-SNE работать быстрее!
В статье, которую я предложил, есть проблема: космическая сложность. Но вы можете решить эту проблему, рассмотрев весь тензор как RDD, сохранив его в базе данных Cassandra и вычислив его с помощью Spark. Это может быть более надежным
(1) t-SNE: https://lvdmaaten.github.io/publications/papers/JMLR_2008.pdf
