Публикации по теме 'celery'
Лучшие практики использования Django Celery в Django Social Auth
Знакомство с сельдереем:
В среде разработки иногда нам нужно выполнять некоторые работы асинхронно (независимо от текущего потока программы). Например, при разработке в реальном времени нам может потребоваться отправить электронные письма 1000 участникам. Предположим, что если время, необходимое для отправки одного письма, составляет 1 секунду, то для отправки электронных писем 1000 человек потребуется 1000 секунд, здесь поток программы остановится на 1000 секунд, что является плохим..
Лучшие практики Celery + Django и запуск
Лучшие практики Celery + Django и запуск
Привет всем, это будет краткий обзор хороших практик использования celery с django. Для этого небольшого поста я буду использовать celery v.5.27.
Прежде всего, вы можете спросить, если вы новичок в celery: Где писать мой код/задачи? Есть несколько вариантов структурирования проекта сельдерея, но я делаю это так:
/ core
/ __init__.py
/ tasks.py
/ settings.py
/ celery.py
/app_one
/ tasks.py
/app_two
/ tasks.py
Здесь core — это ваше..
Вопросы по теме 'celery'
django-celery без сервера amqp (rabbitmq)
Я использую сельдерей для распределенной обработки задач. Я хотел разместить свою работу на веб-хостинге, просто чтобы показать, как работает мой проект. Итак, как я могу заставить djcelery использовать базу данных (sqlalchemy) в качестве бэкэнда с...
2903 просмотров
schedule
08.09.2021
Для чего нужны таблицы django-celery (djcelery)?
Когда я запускаю syncdb, я замечаю, что создается множество таблиц, например:
djcelery_crontabschedule
...
djcelery_taskstate
django-kombu предоставляет транспорт, поэтому он не может быть связан с реальной очередью. Даже когда я...
4198 просмотров
schedule
30.09.2021
Как запретить сериализацию рассола в сельдерее
По умолчанию сельдерей использует рассол в качестве метода сериализации для задач. Как указано в FAQ , это представляет собой брешь в безопасности. Celery позволяет настроить сериализацию задач с помощью параметра конфигурации...
14421 просмотров
schedule
29.09.2021
Задачи с сельдереем не отменяются
Я запускаю несколько симуляций в виде задач через сельдерей (версия 2.3.2) из django. Моделирование настраивается другой задачей:
В views.py:
result = setup_simulations.delay(parameters)
request.session['sim'] = result.task_id # Store main...
3224 просмотров
schedule
17.10.2021
Неправильный пользователь для supervisor'd celeryd
У меня есть несколько периодических задач, которые я выполняю с сельдереем (демонизируемым супервизором), но после попытки создать каталог в домашнем каталоге для пользователя, который я настраивал для процесса супервизора, я получил ошибку «доступ...
3875 просмотров
schedule
20.10.2021
Как получить еще не запущенные задачи Celery с помощью Django?
Прочитав документацию по сельдерею , похоже, я смогу использовать следующий код Python для перечисления задач в очереди, которые еще не были подобраны:
from celery.task.control import inspect
i = inspect()
tasks = i.reserved()
Однако при...
1303 просмотров
schedule
09.10.2021
Вопросы по использованию Celery с несколькими серверами приложений Django с балансировкой нагрузки
Мне интересно использовать Celery для приложения, над которым я работаю. Все кажется довольно простым, но я немного не понимаю, что мне делать, если у меня есть несколько серверов приложений с балансировкой нагрузки. Вся документация предполагает,...
3137 просмотров
schedule
19.10.2021
Работа с повторяющимися первичными ключами при вставке в SQLAlchemy (декларативный стиль)
Мое приложение использует сеанс с ограниченной областью видимости и декларативный стиль SQLALchemy. Это веб-приложение, и многие вставки в БД выполняются Celery , планировщиком задач.
Обычно, когда я решаю вставить объект, мой код может делать...
37541 просмотров
schedule
01.11.2021
Celeryd Worker перестает обрабатывать задачи
У меня работает сельдерей с двумя рабочими, и, наблюдая за ними, я вижу, что они принимают по 4 задачи каждая, обрабатывают их, а затем прекращают обработку задач. (Обратите внимание, что эти задачи выполняются долго, до 2 минут на обработку)....
904 просмотров
schedule
03.10.2021
Пользовательский логгер Django + Djcelery
Я пытаюсь использовать комбинацию пользовательского регистратора Django и задачи Celery для захвата определенных сообщений журнала приложений и асинхронного сброса их в DynamoDB. Я создал задачу Django Celery, которая принимает сообщение журнала и...
809 просмотров
schedule
16.10.2021
Ошибка рабочего Django / Celery / Kombu: получено и удалено неизвестное сообщение. Неправильный пункт назначения?
Кажется, что сообщения не помещаются в очередь должным образом.
Я использую Django с Celery и Kombu, чтобы использовать собственную базу данных Django в качестве серверной части брокера. Все, что мне нужно, это очень простая настройка Pub / Sub....
6135 просмотров
schedule
11.09.2021
Огромная задержка при использовании Celery + Redis
Тестирую Django + Celery, привет мировым примерам. С RabbitMQ сельдерей работает нормально, но когда я переключился на брокера Redis / результат, я получил следующее:
%timeit add.delay(1,2).get()
1 loops, best of 3: 503 ms per loop...
895 просмотров
schedule
21.10.2021
Настройте Celery для связи с Redis через сокет Unix
Я бы хотел, чтобы Celery строился на Redis, а не на RabbitMQ по умолчанию.
В документации по сельдерею объясняется:
Конфигурация проста, просто настройте расположение вашей базы данных Redis:
BROKER_URL = 'redis://localhost:6379/0'
Если...
2185 просмотров
schedule
02.10.2021
Подзадача сельдерея получить окончательный результат
Когда я пытаюсь использовать пример из Celery документации, который является add методом с subtask , я не могу получить окончательный результат.
@task
def add(x, y, callback=None):
result = x + y
if callback:...
1660 просмотров
schedule
13.11.2021
Большая утечка памяти задачи сельдерея
У меня есть огромная задача с сельдереем, которая работает примерно так:
@task
def my_task(id):
if settings.DEBUG:
print "Don't run this with debug on."
return False
related_ids = get_related_ids(id)
chunk_size = 500
for...
3822 просмотров
schedule
15.11.2021
Журнал задач Django Celery
Я установил Celery в проекте Django, над которым я работаю. Я хотел бы разделить ведение журнала для задач сельдерея и оставшейся части журналов сельдерея (celerycam, celerybeat и т. Д.).
На основе документации Celery (...
15162 просмотров
schedule
06.09.2021
Сельдерей с несколькими ограничениями по норме
Может ли сельдерей обрабатывать несколько одновременных ограничений скорости? У меня есть задача, которая может выполняться не более 10 раз в секунду и не более 100 000 раз в день, но я читал документацию, поскольку она поддерживает только одно...
209 просмотров
schedule
13.10.2021
Сельдерей: не удается подключить удаленного работника с новым именем пользователя
Я впервые подключаю удаленного работника к своему серверу Celery (Django). На своем сервере я создал новое имя пользователя и пароль для пользователя и установил разрешения:
# rabbitmqctl add_user adcelery pwd
# rabbitmqctl set_permissions...
2325 просмотров
schedule
16.10.2021
Получение идентификаторов задач сельдерея в расширенном рабочем процессе
Мне нужно реализовать следующий сценарий:
Execute task A
Execute multiple task B in parallel with different arguments
Дождитесь завершения всех задач
Выполнять несколько задач B параллельно с разными аргументами
Дождитесь завершения всех...
925 просмотров
schedule
25.11.2021
сельдерей задачи, рабочие и организация очередей
У меня есть несколько независимых задач, которые я сейчас перекладываю на разных / независимых сотрудников.
Чтобы вас было легче понять, я приведу вас на примере. Допустим, у меня есть три независимых задачи, а именно sleep , eat , smile ....
847 просмотров
schedule
24.11.2021
