Публикации по теме 'dask'


Распределенная линейная регрессия с помощью cuML
Как масштабировать машинное обучение на GPU с помощью Dask (с кодом + данными) В Руководстве для начинающих по линейной регрессии с cuML мы рассмотрели, что такое линейная регрессия и cuML, и как реализовать модель линейной регрессии cuML для прогнозирования PRICE дома. Давайте масштабируем эти принципы, позволив cuML использовать несколько графических процессоров через Dask, и построим распределенную модель LinearRegression, которая прогнозирует fare_amount поездки на такси в..
Dask и RAPIDS: следующие важные достижения в области науки о данных и машинного обучения в Capital One
Автор: Райан МакЭнти, старший директор по разработке программного обеспечения, и Майк Маккарти, директор по разработке программного обеспечения Создание сцены За последние 3 с лишним года у меня была возможность возглавить инженерные разработки Capital One по модернизации наших корпоративных платформ Data Science, Quantitative Analyst и Data Analyst. Наша основная цель заключалась в том, чтобы перенести корпоративных пользователей данных с локальной платформы, в основном на..
Оптимизированные способы чтения больших CSV в Python
Привет! 🙋 В настоящее время данные играют очень важную роль в анализе и построении модели машинного обучения и искусственного интеллекта. Данные можно найти в различных форматах CSV, плоских файлов, JSON и т. Д., Что, когда они огромны, затрудняет чтение в память. Этот блог посвящен обработке табличных данных в формате CSV, которые представляют собой файлы, разделенные запятыми. Проблема: импорт (чтение) большого CSV-файла приводит к ошибке "Недостаточно памяти". Недостаточно..
Построение линейных моделей с помощью Dask ML
СТАТЬЯ Построение линейных моделей с помощью Dask ML Из статьи Джесси С. Дэниела Наука о данных в масштабе с помощью Python и Dask ___________________________________________________________________ Получите Науку о данных в масштабе с Python и Dask со скидкой 37 % от обычной цены, введя код fccdaniel в поле для кода скидки при оформлении заказа на manning.com . ________________________________________________________________________________ В этой статье рассматривается..
Пусть машина настроится сама — DIY AutoML с использованием Dask и BayesianOpt
Разработка Proof of Concept всегда была важной частью карьеры Data Science. Когда мы разрабатываем модели машинного обучения для прогнозирования в потоке решений, мы обычно тестируем множество разных моделей для одной и той же цели прогнозирования. В процессе большая часть времени будет потрачена на тестирование каждой модели и настройку каждой модели, чтобы получить максимальную отдачу от алгоритм. Наконец, мы сравниваем каждый из полученных лучших результатов, чтобы выбрать..
Распределенная предварительная обработка текста с помощью Python и Dask
Распределенное машинное обучение с Python и Dask Распределенная предварительная обработка текста с помощью Python и Dask Подход к масштабированию задач обработки данных Если вы собрали автономный кластер и имеете достаточно знаний о том, как работает Dask в фоновом режиме , пришло время для некоторой практической науки о данных . Кстати, весь мой исходный код и данные вы можете найти в моем аккаунте GitHub . Что мы пытаемся предсказать? Я хочу разделить обзоры..
Масштабируемое машинное обучение с помощью Dask в Google Cloud
Отличное дополнение к вашему арсеналу инструментов для анализа данных, Dask обеспечивает расширенный параллелизм для масштабных вычислений. Обновлено 13 ноября 2021 г. и отражает последние шаги по настройке кластера Dask в Google Cloud Dask был рассмотрен многими и сравнивался с различными другими инструментами, включая Spark, Ray и Vaex. Разработанный в сотрудничестве с другими проектами сообщества, такими как Numpy, Pandas и Scikit-Learn, это определенно отличный инструмент для..