Вопросы по теме 'fluentd'
Непостоянные значения задержки раздела при использовании потребителя высокого уровня для чтения журналов Kafka
Все наши 30 тем созданы с 10 разделами в нашей кафке. Мы отслеживаем отставание по разделам для всех идентификаторов тем / групп.
Мы используем плагин Fluentd для чтения и маршрутизации журналов из kafka. Плагин реализован с использованием...
684 просмотров
schedule
08.11.2021
Как настроить FluentD (EFK) с Filebeat?
Я настроил кластер ELK-stack (Elasticsearch, Logstash и Kibana) для централизованной системы ведения журналов с помощью Filebeat. Теперь меня попросили перенастроить EFK (Elasticsearch, FluentD и Kibana) с помощью Filebeat. Я отключил Logstash и...
4246 просмотров
schedule
10.10.2021
IllegalArgumentException - конвейер Apache BEAM - сдвиг отметки времени?
У меня есть существующий конвейер BEAM, который обрабатывает данные, полученные (из темы Google Pubsub) по 2 маршрутам. «Горячий» путь выполняет некоторые базовые преобразования и сохраняет их в Datastore, тогда как «холодный» путь выполняет...
794 просмотров
schedule
25.11.2021
FluentD, как найти только определенные журналы
2019/08/13 13:13:17 [DEBUG] Hello, world!
2019/08/13 13:13:17 [INFO] Ignore me
2019/08/13 13:13:17 [INFO] SPECIFIC_LOG :{"name": "mark"}
У меня есть журналы, подобные приведенным выше, и мне нужно использовать только те журналы, которые содержат...
882 просмотров
schedule
18.10.2021
Отключить время и теги в плагине вывода fluentd stdout
Удалите время и тег из стандартного вывода плагина вывода fluentd с помощью json
Плагин вывода Fluentd производит такой вывод:
2017-11-28 11:43: 13.814351757 +0900 тег: {"field1": "value1", "field2": "value2"}
Таким образом, метка времени и...
600 просмотров
schedule
18.11.2021
Как читать json без экранирования во fluentd?
У меня есть настройка с Fluent Bit, отправляющая данные в формате Elasticsearch в Haproxy в SSL. Haproxy завершает работу SSL и пересылает данные в Fluentd. Теперь проблема в том, что Fluentd получает данные без экранирования и, следовательно, не...
90 просмотров
schedule
18.11.2021
fluentbit не может связаться с fluentd
Я пробую простой тест fluentbit / fluentd с ipv6, но он не работает.
Конфигурация со стороны fluentbit:
[SERVICE]
Flush 5
Daemon off
[INPUT]
Name cpu
Tag fluent_bit
[OUTPUT]
Name...
878 просмотров
schedule
26.10.2021
Fluentd - как сканировать файлы журналов в разных папках?
Вопрос 1: - как сканировать файл журнала из разных папок? Вопрос 2: - также, как мы можем использовать дикий символ в имени файла журнала?
например папка \ folder1 \ catalina.92ca.2019-01-07.log папка \ folder1 \ catalina.92ca.2019-01-06.log...
34 просмотров
schedule
13.01.2022
Fluentbit с многострочным анализом mycat
Я хочу сделать систему управления журналами через EFK. Уже несколько дней я пытаюсь заставить мой многострочный парсер журнала mycat работать с fluent-bit.
Моя конфигурация fluentbit:
parsers.conf:
[PARSER]
Name...
5742 просмотров
schedule
22.02.2022
td-agent fluentd не может отправлять сообщения в Kafka
У меня был td-agent, который без проблем отправлял сообщения в очередь Kafka. Но теперь я получаю следующую ошибку. Я безуспешно перезапустил агент. Я очистил буфер вручную, но безуспешно.
Любые советы по поводу происходящего приветствуются....
1124 просмотров
schedule
22.02.2022
Журналы модулей, отсутствующих в / var / logs / в Kubernetes
У меня есть кластер с многочисленными службами, работающими в виде модулей, из которых я хочу получать журналы с помощью fluentd. Все службы показывают журналы при выполнении kubectl logs service . Однако некоторые журналы не отображаются в этих...
40 просмотров
schedule
08.03.2022
Формат Fluentd apache [предупреждение]: шаблон не совпадает:
В моем /etc/fluent/fluent.conf
<source>
@type tail
format apache2
path /var/log/apache2/other_vhosts_access.log
tag apache2.access
</source>
Ошибка / предупреждение: 2016-02-11 00:59:10 +0100 [предупреждение]: шаблон...
3969 просмотров
schedule
04.04.2022
Добавить централизованное ведение журнала в кластер Kubernetes, использующий systemd
Я пытаюсь добавить централизованное ведение журнала в свой кластер Kubernetes с помощью EFK. Я обнаружил, что мои журналы из модулей, которые записываются в систему, хранятся в журнале на моем главном узле. Но я хочу хранить эти журналы в...
344 просмотров
schedule
09.04.2022
Управление доступом к производственной среде для GoogleCloud с помощью Stackdriver
Как люди внедрили контроль доступа к производственной среде (т. Е. Ведение журналов и создание отчетов о доступе служб и людей к вычислительным экземплярам через SSH). Наша цель состоит в том, чтобы последовательно пересылать все записи для входа...
111 просмотров
schedule
12.05.2022
Fluentd: несколько форматов в одном матче
Я новичок во Fluentd. У меня есть одна проблема с тегом <match> и его форматом. Например
Наша система возвращает два разных формата: формат1 и формат2 в одном и том же теге: тег .
Используя fluent.conf, мы можем поймать...
4968 просмотров
schedule
25.05.2022
.NET Core API Serilog-ELK VS logstash / fluentd
следующее мое понимание
.net core api с serilog singk в ELK может напрямую отправлять журналы в ELK
Logstash и Fluentd необходимы только в том случае, если мы хотим отправить файл журнала (путем массирования данных) в ELK.
мой вопрос...
217 просмотров
schedule
26.05.2022
Можно ли классифицировать журналы модулей kubernetes, собранные fluentd?
В настоящее время fluentd используется для сбора журналов, создаваемых модулями kubernetes, которые находятся в каталоге / var / log / container /. Проблема в том, что разные типы модулей могут иметь разные форматы журналов. И я хочу...
337 просмотров
schedule
27.05.2022
kubernetes имя_контейнера получило значение null в fluentdconfiguration
Я пытаюсь получить журнал из своего контейнера приложения и прикрепить агент журнала fluentd в качестве контейнера sidecar в моем проекте. И я хочу узнать, какой журнал поступает из какого приложения на моей панели инструментов Kibana. Вот почему я...
176 просмотров
schedule
30.05.2022
Запустите образ Fluentd Docker без полномочий root
Это свободный образ Docker: https://github.com/fluent/fluentd-docker-image
А ниже Dockerfile:
FROM fluent/fluentd:onbuild
USER root
# below RUN includes two plugins as examples
# elasticsearch and record-reformer are not required
# you may...
1209 просмотров
schedule
07.06.2022
Fluentd не может записывать журналы в каталог / fluentd / log.
Я развернул fluentd контейнер sidecar с моим приложением в модуле для сбора журналов из моего приложения.
Вот мой манифест с коляской sidecar.yaml :
spec:
template:
spec:
containers:
- name: fluentd
image:...
491 просмотров
schedule
09.06.2022
