Вопросы по теме 'dataloader'
Как Dataloader кэширует и выполняет пакетные запросы к базе данных?
Если посмотреть на библиотеку DataLoader , как она кэширует и группирует запросы?
Инструкции определяют использование следующим образом:
var DataLoader = require('dataloader')
var userLoader = new DataLoader(keys =>...
2179 просмотров
schedule
05.10.2021
Пакетная загрузка поля в абсенте с помощью загрузчика данных
У меня есть объект в моей схеме Absinthe graphql, который выглядит так:
object :match do
field(:id, non_null(:id))
field(:opponent, non_null(:string))
@desc "The number of votes that have been cast so far."...
281 просмотров
schedule
29.09.2021
Загрузчик данных Apollo GraphQL DynamoDb
Я новичок в GraphQL и читаю о проблеме N + 1 и шаблоне загрузчика данных для повышения производительности. Я собираюсь начать новый проект GraphQL с DynamoDB для базы данных. Я провел небольшое первоначальное исследование и нашел пару небольших...
141 просмотров
schedule
20.02.2022
Как изменить DataLoader в PyTorch для чтения одного изображения для предсказания?
В настоящее время у меня есть предварительно обученная модель, которая использует DataLoader для чтения пакета изображений для обучения модели.
self.data_loader = torch.utils.data.DataLoader(dataset, batch_size=batch_size, shuffle=False,...
3092 просмотров
schedule
14.03.2022
как настроить загрузчик данных и сделать новый загрузчик данных?
скажем, у меня есть загрузчик данных cifar10 , если я хочу удалить какое-то значение из загрузчика данных и создать новый загрузчик данных , как мне это сделать?
def load_data_cifar10(batch_size=128,test=False):
if not test:...
836 просмотров
schedule
03.04.2022
Powershell преобразование CSV с разделителями табуляции в CSV с разделителями-запятыми без кавычек
Мы получаем CSV-файл с разделителями табуляции из внешней системы COGNOS в общей папке. Это не может быть загружено в Salesforce через интерфейс командной строки Dataloader.
com.salesforce.dataloader.exception.DataAccessRowException: ошибка...
213 просмотров
schedule
02.05.2022
Ошибка при преобразовании пользовательского набора данных в Pytorch
Я следил за этим руководством: https://pytorch.org/tutorials/beginner/data_loading_tutorial.html для создания моего собственного загрузчика данных для набора данных MuNuSeg, но я застрял в точке. Загрузчик данных работает нормально, но когда я...
548 просмотров
schedule
06.05.2022
Как я могу использовать PyTorch DataLoader для обучения с подкреплением?
Я пытаюсь настроить обобщенную структуру обучения с подкреплением в PyTorch, чтобы воспользоваться преимуществами всех утилит высокого уровня, которые используют PyTorch DataSet и DataLoader, например Ignite или FastAI, но я столкнулся с блокировщиком...
721 просмотров
schedule
11.06.2023
pytorch collate_fn отклоняет образец и дает другой
Я создал набор данных, в котором я выполняю различные проверки загружаемых изображений. Затем я передаю этот DataSet в DataLoader.
В моем классе DataSet я возвращаю образец как None, если изображение не проходит мои проверки, и у меня есть...
2566 просмотров
schedule
26.11.2022
Ошибка памяти при одновременной итерации двух загрузчиков данных в pytorch
Я пытаюсь обучить свою модель, используя 2 загрузчика данных из 2 разных наборов данных.
Я нашел, как настроить это, используя cycle() and zip() , потому что мои наборы данных не такой же длины отсюда: Как выполнить итерацию по двум загрузчикам...
1575 просмотров
schedule
15.07.2023
Как обрабатывать одновременный доступ к DbContext во вложенных запросах загрузчиков данных / GraphQL?
Я использую пару загрузчиков данных, которые используют службы внедренных запросов (которые, в свою очередь, зависят от DbContext). Выглядит это примерно так:
Field<ListGraphType<UserType>>(
"Users",
resolve: context =>
{...
747 просмотров
schedule
18.04.2023
TypeError: не удается обработать этот тип данных
Попытка нанести карту значимости на изображение и создать новый набор данных
trainloader = utilsxai.load_data_cifar10(batch_size=1,test=False)
testloader = utilsxai.load_data_cifar10(batch_size=128, test=True)
этот load_cifar10 -...
652 просмотров
schedule
28.02.2023
Как я могу получить идентификаторы определенных элементов в наборе данных на основе загрузчика данных Pytorch с помощью запроса?
У меня есть большой набор данных (около 500 ГБ и 180 тыс. Точек данных плюс метки) в загрузчике данных Pytorch. До сих пор я использовал torch.utils.data.random_split для случайного разделения набора данных на обучение и проверку. Однако это привело...
389 просмотров
schedule
14.06.2023
Загрузчик данных Blazegraph
Я пытаюсь импортировать какую-то тройку в базу данных Blazegraph, тогда как загружаются все тройки без типа данных.
Но тройки, имеющие, например. ^^xsd: формат даты не загружается?!
Кто-нибудь знает, как справиться с этой проблемой?
Примеры...
88 просмотров
schedule
30.06.2023
Skorch RuntimeError: тип ввода (torch.cuda.ByteTensor) и тип веса (torch.cuda.FloatTensor) должны быть одинаковыми.
Я пытаюсь разработать модель сегментации изображения. В приведенном ниже коде я продолжаю нажимать RuntimeError: тип ввода (torch.cuda.ByteTensor) и тип веса (torch.cuda.FloatTensor) должны быть одинаковыми. Я не уверен, почему, поскольку я пытался...
446 просмотров
schedule
14.02.2023
Пользовательский набор данных и загрузчик данных
Я новичок в pytorch. У меня большой набор данных, состоящий из двух файлов txt, один для данных, а другой для целевых данных. В тренировочном файле каждая строка представляет собой список длиной 340, в целевом каждая строка представляет собой список...
88 просмотров
schedule
19.03.2023
Какой должна быть форма ввода для 3D CNN на последовательности изображений?
https://pytorch.org/docs/stable/generated/torch.nn.Conv3d.html#conv3d Описывает, что входными данными для свертки 3D CNN являются (N, C in , D, H, W). Представьте, что у меня есть последовательность изображений, которую я хочу передать в 3D CNN....
68 просмотров
schedule
05.02.2023
PyTorch DataLoader использует одно и то же случайное начальное число для пакетов, выполняемых параллельно
Имеется ошибка в PyTorch / Numpy, где при загрузке пакетов параллельно с DataLoader (то есть с установкой num_workers > 1 ) для каждого рабочего используется одно и то же случайное начальное число NumPy, в результате чего любые применяемые...
287 просмотров
schedule
15.10.2023
