Какое-то глубокое понимание

Начнем с того, что такое машинное обучение?

Машинное обучение - это разновидность искусственного интеллекта, которая дает системам возможность автоматически учиться и совершенствоваться на основе опыта без явного программирования.

  • Машинное обучение - это метод, используемый специалистами по обработке данных для анализа данных с целью автоматизации части системы аналитического моделирования.
  • Система учится на огромных массивах данных, выявляет закономерности, а затем делает прогнозы с минимальным вмешательством человека.

Популярными способами использования машинного обучения являются рекомендации Play Store и App Store, карты Google, фильтрация электронной почты, переводчик Google, поиск в Google и т. Д. И т. Д. Давайте подробно рассмотрим 5 сценариев использования машинного обучения:

  1. Рекомендации в App Store и Play Store
  2. Транспорт и поездки
  3. Фильтрация электронной почты Gmail
  4. Поиск Гугл
  5. Чат-боты для запросов в службу поддержки и многое другое.

1. Рекомендации в App Store и Play Store: Google play в сотрудничестве с DeepMind использует три основные модели:

  • Генератор кандидатов
  • Reranker
  • Модель для оптимизации для нескольких целей

Они попробовали 3 разных решения, которые включали использование LSTM (долгосрочная краткосрочная память), что дало заметный прирост точности, но привело к задержке обслуживания, поскольку LSTM вычислительно грабитель. Второе решение заключалось в замене LSTM на модель Transformer, которая используется для предсказания от последовательности к последовательности и дала значительный результат в NLP. Это увеличило не только эффективные, но и затраты на обучение. Третье и последнее решение заключалось в том, чтобы реализовать эффективную модель аддитивного внимания, которая работает для любой комбинации функций последовательности, неся при этом низкие вычислительные затраты.

Генератор кандидатов - это модель глубокого поиска, которая может анализировать более миллиона приложений и находить наиболее подходящие. Он узнает, что пользователь ранее установил. Он также изучает предвзятость, которая отдает предпочтение приложениям, которые загрузили в 10 раз больше, чем другому приложению. Чтобы исправить это предубеждение, они внедрили в свою модель взвешивание. Он основан на соотношении от показа к установке каждого отдельного приложения по сравнению со средним показателем от показа к установке в магазине Google Play. Таким образом, приложение с коэффициентом установки ниже среднего будет иметь значение по сравнению с весом менее единицы.

Для каждого приложения существует Reranker, который представляет собой модель предпочтений пользователя, которая прогнозирует предпочтения пользователя по нескольким параметрам. Обычно многие системы рекомендаций используют двоичную классификацию для задачи ранжирования, которая оценивает только один элемент за раз и не может уловить контекст того, как приложения могут быть или не могут быть похожими. Решением этой проблемы стала модель Reranker, в которой выяснилось, насколько важна пара приложений, отображаемых пользователю одновременно. Тот, который пользователь выберет для загрузки, будет затем назначен каждой из пары положительным или отрицательным ярлыком, и модель попытается уменьшить количество инверсий в рейтинге, таким образом улучшая общий относительный рейтинг приложений.

Затем эти прогнозы являются входными данными для многоцелевой модели оптимизации, решение которой дает пользователю наиболее подходящих кандидатов. Алгоритм, который они используют, пытается найти компромисс между рядом показателей и поиском подходящих точек на кривой компромисса.

Ссылка: Блог DeepMind

2. Как uber использует машинное обучение: Uber начал с производства 3 моделей до 10 000 моделей, а сейчас, может быть, даже больше. Они позволяют своим специалистам по обработке данных обучать модели в GCP, Tensorflow, Keras и надежно обслуживать все эти модели. Uber необходимо собрать кучу данных, чтобы найти лучшие маршруты, сделать прогнозы относительно меняющегося рыночного спроса, отреагировать на возможное мошенничество и т. Д. Uber использует компоненты с открытым исходным кодом Michelangelo, такие как HDFS, Spark, Samza, Cassandra, MLLib, XGBoost и TensorFlow.

Если вы слышали о UberEATS, то вам будет более приятно узнать, что в UberEATS есть несколько моделей, работающих на Michelangelo, например, прогнозирование времени доставки еды, поисковый рейтинг, автозаполнение в поиске и рейтинг ресторанов.

Вы можете получить более подробное представление о Микеланджело в их официальном блоге, прикрепленном по ссылке ниже.

Ссылка: Видео Uber Engineering на YouTube, Блог Микеланджело

3. Фильтрация электронной почты в Gmail. Если вы уже давно используете Gmail, то, должно быть, заметили, насколько хорошо он фильтрует спам и важные электронные письма. Такой технический гигант, как Google, использует TensorFlow для фильтрации дополнительного спама для пользователей Gmail. С помощью TensorFlow им удавалось блокировать около 100 миллионов дополнительного спама каждый день. С помощью TensorFlow им удается блокировать миллионы спама, которые сложно легко идентифицировать, например, спам на основе изображений, электронные письма со встроенным контентом и сообщения из вновь созданных доменов с низким объемом спам-сообщений в легитимном трафике. Команде Gmail удалось получить 0,05% спама в почтовом ящике, что означает около 99% точности.

Ссылка: Блог Google Cloud, Блог Gmail.

Если вы дошли до конца и статья вам понравилась, проверьте ссылки, чтобы получить более подробные сведения о машинном обучении.

Спасибо за чтение :)