Машинное обучение с данными о капитале для торговли акциями теперь может генерировать альфа-версию. Та же концепция машинного обучения может помочь спрогнозировать угол поворота транспортного средства, дорожный знак, транспортное средство и обнаружение полосы движения, используя обзор, скорость автомобиля, ускорение, угол поворота, координаты GPS, углы гироскопа.
Конвейер биржевой торговли:
Сбор данных → Предварительная обработка → ML, бэктест → Создание стратегий → Моделирование с потоковой передачей данных → Торговля
Конвейер автономных транспортных средств:
Сбор данных для автономных транспортных средств обходится дороже и пока ограничен. Некоторые концепции, такие как компьютерное зрение, объединение датчиков, локализация, планирование пути, управление, являются типичными и используют концепции машинного обучения.

Машинное обучение для торговли акциями. Торговые системы теперь могут быстро анализировать новостные ленты из различных источников, таких как Bloomberg, Reuters и твиты, обрабатывать доходы и ожидания, рейтинги, анализировать веб-сайты и мгновенно формировать на их основе настроения. Эти системы (многие облачные системы) могут помечать данные, генерируемые отдельными лицами, бизнес-процессами или датчиками. Данные индивидуального уровня, генерируемые публикациями в социальных сетях, обзорами продуктов, тенденциями поиска и т. Д., В то время как на уровне бизнес-процессов данные о выхлопных газах компании, коммерческие транзакции, данные кредитных карт и т. Д. И данные датчиков по данным спутникового изображения, пешеходному и автомобильному трафику, расположение кораблей и т. д. Pipeline of Stock Trading может составлять торговую стратегию и генерировать альфа-версию.

Проблемы:
Машина не может хорошо работать во время изменения состояния рынка, смены режима или поворотного момента рынка. Этот поворот может привести к прыжку вверх или вниз. Скачок может быть вызван данными о запасах нефти, данными о вакансиях, данными центральных банков и политиков. Модели машинного обучения, такие как Markov, PID и т. Д., Имеют хорошую точность, но VaR слишком высок для этих моделей.

Важные понятия:

строка: наблюдение (измерение, точка данных…)
столбцы: Характеристики.
Выбор функции: на основе глубокого обучения ( неконтролируемый) по сравнению с извлечением / выбором контролируемых функций (изучение признаков или обучение представлений). Несколько методов PCA, SVD и линейного дискриминантного анализа LDA.
Подмножества: набор данных для обучения, тестирования и проверки, созданный из основного набора данных
целевой выход / ответ
Оптимизация : функция потерь или стоимости, такая как градиентный спуск, SGD, RMSE
ML использует различные алгоритмы для автоматического моделирования и поиска закономерностей в данных с помощью контролируемого, неконтролируемого и полу-контролируемого обучения.
Помеченные данные: контролируемое изучение исторических данных для получения модели.
Немаркированные данные: неконтролируемое изучение исторических данных для поиска неизвестных закономерностей.
Кластеризация (без учителя) для обнаружения состав и структура данного набора данных или увидеть появление различных групп. Каждый кластер характеризуется содержащимся набором точек данных и центроидом кластера.
Классификация по двум или нескольким классам (контролируемая) предназначена для оценки вероятностей того, что наблюдение принадлежит каждому из заданных классов.
Регрессия (под контролем) для прогнозирования точного значения из непрерывных рядов / временных рядов (OLS, логистическая регрессия, ARIMA, GARCH и т. д.)
Обнаружение аномалий (Неконтролируемый и контролируемый) из ошибочных точек данных (дефектов)
Ансамбль методы - это объединение различных моделей (случайные леса)
параметрические / непараметрические
Переобучение (модель плохо обобщает). Регуляризация (L2 и L1), ограничения максимальной нормы и выпадение и т. Д., Чтобы избежать этого.
Функция активации: для добавления нелинейности в вывод. (сигмоид, tanh, ReLU)
Смещение: веса в NN
Узлы: вход, скрытие и выход
Многослойный Персептрон: ввод +1 или более скрытый слой + вывод
Обратное распространение: Обучение NN на ошибках под наблюдением.

Алгоритмы машинного обучения. Машинное обучение может представлять собой обучение с учителем, обучение без учителя, а также глубокое обучение и обучение с подкреплением. Наблюдение за помеченными данными, без надзора за неявными связями в немаркированных данных и обучение с подкреплением

Под контролем
Регрессия: OLS, ARIMA, GARCH, Lasso, Ridge, k-Nearest Neighbours (k-NN), Spline, XGBoost
Классификация: SVM, логистика, случайный лес, скрытый марковский, наивный байесовский
Деревья решений
Персептронные и ансамблевые методы
Неконтролируемые
Кластеризация: K-средних, Берч, специальный кластер Уорда, Иерархическая кластеризация
Факторный анализ: PCA, ICA, NPF
Разложение по сингулярным значениям (SVD) < br /> Независимый анализ компонентов (ICA)
Обнаружение аномалий
Поддержка векторной машины (SVM одного класса)
PCA (анализ основных компонентов)
Глубокое обучение: временные ряды и неструктурированные
MLP, CNN, LSTM, RBM, ANN, RNN
Другое
Обучение с подкреплением, Deep-Q, Полу-контролируемое, активное обучение

Шаги ML

Выбор и предварительная обработка данных → Разделение данных: 80% обучение и 20% тестирование → Выбор функций и разработка функций → Параметрические модели: коэффициенты членов называются параметрами (наклон, коэффициент пересечения, член ошибки…) → Выбор модели → Модель → Производительность / Точность → Модели компромиссов

Ссылка

Https://github.com/oxford-cs-deepnlp-2017/lectures
https://ml.berkeley.edu/blog/tutorials/
http: // cs. stanford.edu/people/karpathy/convnetjs/docs.html
http://deeplearning.net/tutorial/lstm.html#lstm
https://www.youtube.com/ плейлист? list = PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6
https://deeplearning4j.org/lstm.html
https://www.youtube.com/watch?v=cKxRvEZd3Mw
https : //developer.nvidia.com/deep-learning-getting-started#choosegpu
http://course.fast.ai/
http://www.nvidia.com/ объект / машинное обучение.html
http://www.deeplearningbook.org/
http://www.mlyearning.org/
http: // mmds .org /
http://cs231n.github.io/
http://deeplearning.net/deep-learning-research-groups-and-labs/
Http://colony.cs.toronto.edu:40292/courses
http://www.cs.toronto.edu/~hinton/