Публикации по теме 'vaex'
Машинное обучение невозможно: обучите модель 1 миллиарда образцов за 5 минут с помощью vaex и scikit-learn на вашем ...
Машинное обучение невозможно: обучите 1 миллиард образцов за 5 минут на своем ноутбуке с помощью Vaex и Scikit-Learn
Сделайте свой ноутбук похожим на суперкомпьютер.
«Данные - это новая нефть». Независимо от того, согласны ли вы с этим утверждением, гонка за сбор и использование данных продолжается уже некоторое время. Фактически, сегодня технических гигантов объединяет их способность полностью использовать огромное количество данных, которые они собирают. У них есть знания,..
Вопросы по теме 'vaex'
Не удается открыть файл HDF5 размером больше памяти ValueError
У меня много файлов такси Нью-Йорка в формате CSV от nyc.gov , один .csv = год-месяц. Я беру примерно 15 csv и делаю из них HDF5:
import h5py
import pandas as pd
import os
import glob
import numpy as np
import vaex
from tqdm import...
68 просмотров
schedule
31.10.2021
Vaex: Как добавлять / добавлять строки в Vaem DataFrame
Как вы добавляете данные в фрейм данных Vaex?
Я вижу, что add_column() , но нет add/append_row()
Я хочу использовать Vaex вместо Pandas.
601 просмотров
schedule
05.03.2022
Vaex Отображение данных
У меня есть CSV-файл размером 10,11 ГБ, и я преобразовал его в hdf5 с помощью dask. Это смесь значений str, int и float. Когда я пытаюсь прочитать его с помощью vaex, я просто получаю числа, как показано на скриншоте. Кто-нибудь может мне помочь?...
43 просмотров
schedule
17.03.2022
Как выполнить итерацию с результатом предыдущих строк того же столбца?
Начиная с кадра данных со столбцами A B D P:
import numba
import numpy as np
import pandas as pd
import vaex
d = {'A':[0,1,2,3,4,5,6],'B':[30,35,32,35,31,39,37],'D':[12,10,13,19,12,21,13],'P':[3,3,3,3,3,3,3]}
df = pd.DataFrame(data=d)
df['C'] =...
222 просмотров
schedule
30.03.2022
Альтаир с Vaex
Я пытаюсь использовать Vaex вместе с Altair , но у меня возникли проблемы с передачей фреймов данных Vaex в Altair.
При попытке создать простую линейную диаграмму
alt.Chart(df)\
.mark_line()\
.encode(alt.X('x'), alt.Y('y1'))
Я получаю...
89 просмотров
schedule
24.06.2022
как можно получить доступ к конкретной ячейке в кадре данных vaex?
vaex - это библиотека, похожая на pandas, которая предоставляет класс фрейма данных. Я ищу способ доступа к определенной ячейке по строке и столбцу.
Например:
import vaex
df = vaex.from_dict({'a': [1,2,3], 'b': [4,5,6]})
df.a[0] # this works in...
716 просмотров
schedule
15.03.2023
Инициализировать столбец фрейма данных Vaex значением
Я хочу инициализировать столбец моего фрейма данных vaex значением int 0
Имею следующее:
right_csv = "animal_data.csv"
vaex_df = vaex.open(right_csv,dtype='object',convert=True)
vaex_df["initial_color"] = 0
Но это вызовет ошибку для...
619 просмотров
schedule
15.09.2023
python vaex groupby с настраиваемой функцией
Есть ли способ применить настраиваемую функцию к группе с помощью функции groupby vaex DataFrameArray?
Я умею: df_vaex.groupby(['col_x1','col_x2','col_x3','col_x4'], agg=vaex.agg.mean(df_vaex['col_y']))
Но есть ли способ делать панды:...
374 просмотров
schedule
20.02.2023
Применить пользовательскую функцию к groupby в vaex
Я хочу применить некоторую индивидуальную логику к каждой отдельной группе, полученной groupby . В пандах это легко сделать. Как применить некоторую пользовательскую функцию к группам, созданным groupby в vaex?
Например, предположим, что я хочу...
642 просмотров
schedule
10.02.2023
