Вопросы по теме 'luigi'
Двоичный файл Luigi LocalTarget
У меня проблемы с записью двоичного файла LocalTarget в конвейере Luigi в моем проекте. Я изолировал проблему здесь:
class LuigiTest(luigi.Task):
def output(self):
return luigi.LocalTarget('test.npz')
def run(self):...
2017 просмотров
schedule
22.10.2021
Луиджи против Весенней партии
Мне нужно загрузить текстовые файлы в таблицы оракула. В настоящее время процесс выполняется с использованием сценариев bash, загрузчика sql и инструментов командной строки для проверки.
Я пытаюсь найти более надежные альтернативы. Я придумал два...
1701 просмотров
schedule
11.09.2021
Сообщения об ошибках зависимости при запуске конвейера luigi
Я пытаюсь создать конвейер, который начинается с класса, который разделяет один файл на несколько CSV в зависимости от состояния, в котором находится пользователь, затем просматривает созданные файлы, представляющие разные состояния, и пытается...
167 просмотров
schedule
20.11.2021
luigi: параметры командной строки не становятся частью сигнатуры задачи?
В luigi я знаю, как использовать его механизм параметров для передачи параметров командной строки в задачу. Однако, если я это сделаю, параметр станет частью сигнатуры задачи.
Но в некоторых случаях - например, если я хочу дополнительно передать...
316 просмотров
schedule
01.03.2022
Параллельное выполнение задач luigi
У меня есть приложение с несколькими задачами luigi (я не писал это приложение). Теперь я хочу представить еще одну задачу в середине процесса, которая будет отслеживать некоторые экземпляры AWS. После запуска эта задача должна выполняться до конца...
349 просмотров
schedule
28.02.2022
Луиджи показывает процент выполненных задач в командной строке
В системах управления рабочими процессами, когда у вас огромное количество задач, вам часто нужно видеть количество (или процент) выполненных задач.
Другие системы wfms, такие как Snakemake, делают это по умолчанию. Хотя в документации Луиджи мне...
30 просмотров
schedule
09.03.2022
Могу ли я направить ошибки конвейера Luigi в Sentry?
Моя команда использует Sentry для отслеживания ошибок, поэтому я бы предпочел не использовать встроенные возможности электронной почты Луиджи, чтобы хранить все наши отчеты в одном месте.
Вот как я его сейчас настроил, и, похоже, он полностью...
479 просмотров
schedule
04.04.2022
Запуск задачи Луиджи из cmd - нет модуля с именем tasks
У меня проблемы с запуском задачи Луиджи через командную строку Windows. Вот факты:
Запуск Anaconda, установленного в C: \ ProgramData \ Anaconda2 (Python 2.7)
Anaconda добавила свои пути в переменную PATH, но переменной PYTHONPATH нет....
8215 просмотров
schedule
18.04.2022
Задачи Луиджи уходят в бесконечные циклы
У меня есть простая задача luigi, которая при запуске выдаст другой параметр, как показано ниже.
import luigi
class ComputeJob(luigi.Task):
id_parameter = luigi.parameter.IntParameter()
#run defination
def run(self):
print...
361 просмотров
schedule
08.05.2022
Сбой фреймворка Луиджи
когда я запускаю задачи luigi, иногда происходит сбой фреймворка, что приводит к сбою всех следующих задач. Вот информация из журнала ошибок:
2017-10-05 22:02:02,564 luigi-interface WARNING Failed pinging scheduler
2017-10-05 22:02:03,129...
1894 просмотров
schedule
24.06.2022
Могу ли я использовать луиджи с сельдереем питона
Я использую сельдерей в своем веб-приложении. Celery выполняет родительские задачи, которые затем выполняют следующую цепочку задач.
Проблемы с сельдереем
Я не могу получить график зависимостей и визуализатор, который я получаю с Луиджи,...
2493 просмотров
schedule
18.07.2022
Луиджи - Как справляться с неудачными рабочими процессами
Я только знакомлюсь с Луиджи, поэтому прошу прощения, если это очевидный вопрос, но мне трудно понять его из документации.
В ситуации, когда я запускаю рабочий процесс с тремя задачами, а вторая задача терпит неудачу, как я могу вручную повторно...
718 просмотров
schedule
16.09.2022
Планирование очень большого количества заданий на python luigi
Я написал конвейер Luigi для извлечения 1,2 млн файлов, а затем выполнил над ними некоторую работу с sed — см. //gist.github.com/wkerzendorf/395c85a2955002412be302d708329f7f .
Если я запускаю это через Луиджи на нескольких тысячах файлов, все...
917 просмотров
schedule
02.10.2022
Запуск jar Hadoop с использованием Luigi python
Мне нужно запустить задание jar Hadoop, используя Luigi из python. Я искал и нашел примеры написания картографа и редьюсера в Luigi, но ничего, чтобы напрямую запустить банку Hadoop.
Мне нужно запустить банку Hadoop, скомпилированную напрямую....
845 просмотров
schedule
16.07.2023
использовать luigi.DateParameter в функции запуска задачи Luigi Orchestrator.
У меня есть следующий код Python, использующий Luigi Orchestrator.
class AggregateArtists(luigi.Task):
date = luigi.DateParameter(default=date.today() - timedelta(days=1))
def requires(self):
return []
def run(self):...
2449 просмотров
schedule
22.03.2023
Цели MySQL в рабочем процессе Luigi
Моему TaskB требуется TaskA, и по завершении TaskA записывает в таблицу MySQL, а затем TaskB должен принять этот вывод в таблицу в качестве своего ввода.
Я не могу понять, как это сделать в Луиджи. Может ли кто-нибудь указать мне на пример или...
2529 просмотров
schedule
24.10.2022
Как использовать параметры в Python Луиджи
Как передать параметры Луиджи? если у меня есть файл Python с именем FileFinder.py с классом с именем getFIles:
class getFiles(luigi.Task):
и я хочу передать каталог этому классу, например:
C://Documents//fileName
а затем использовать...
9009 просмотров
schedule
02.09.2023
вызов setattr перед возвратом 'self'
Я подозреваю, что это своего рода klugefest с моей стороны, но я работаю с модулями Luigi и Sciluigi, которые устанавливают ряд критических параметров ДО того, как «я» будет возвращено init. И если я попытаюсь обработать эти параметры ПОСЛЕ того, как...
187 просмотров
schedule
03.03.2023
Где файл конфигурации Луиджи?
Я установил luigi с помощью команды pip и хотел бы изменить порт для веб-интерфейса. Я пытался найти файл конфигурации, но не смог. Нужно ли мне его создавать?
4526 просмотров
schedule
02.06.2023
Как интегрировать Scrapy Web Crawler с Luigi Data Pipeline?
(Давний пользователь && Первый вопрос && Нервничает задать) Верно
В настоящее время я создаю серверную часть Python, которая будет развернута на одном экземпляре AWS EC2 со следующей архитектурой:
|---- Источники данных -----| Временное...
785 просмотров
schedule
09.04.2023
