Вопросы по теме 'flink-sql'
Поддерживает ли Flink SQL параллельное выполнение проекций
Я запускаю SQL с несколькими проекциями, каждая из которых занимает много времени, например:
SELECT UDF1(id), UDF2(id)
FROM prod
Функции UDF1 и UDF2 могут занимать много времени, но похоже, что Flink SQL запускает UDF1 и UDF2...
96 просмотров
schedule
01.12.2021
Флинк на пряжи использовать пряжу-сессию или нет?
Есть два метода развертывания приложений flink на yarn. Первый - это использование yarn-session, и все приложения flink развертываются в этом сеансе. Второй метод - каждое приложение flink развертывается на yarn как приложение yarn.
У меня...
651 просмотров
schedule
22.10.2021
Невозможно отправить аргументы со значениями в одинарных кавычках для выполнения задания мигания
Я пытаюсь отправить свою банку с аргументами. Я использую flink Rest Api для отправки своих аргументов в формате json. Мой образец ввода в java
JSONObject json = new JSONObject();
json.put("programArgs","--bootstrap.server...
762 просмотров
schedule
06.10.2021
Как добавить uid к оператору в Flink Table API?
Как настоятельно рекомендуется в документации, я хочу добавить uid к своим операторам во Flink с целью сохранения. Моя работа использует API таблиц. Я не нашел в документации, как добавлять uid к операторам с SQL-запросом.
Мой код выглядит...
561 просмотров
schedule
20.10.2021
Определенная с помощью использования агрегатная функция во Flink - не найдено совпадений для сигнатуры функции
Я хотел бы сохранить все необработанные строки для каждого ключа в запросе Select .. From .. GROUP BY .. во Flink. Я определил AggregateFunction под названием RowToJsonAgg, который объединяет строки в строку Json.
class RowToJsonAgg extends...
146 просмотров
schedule
09.11.2021
Как обновить схему таблицы, когда во Flink есть новая схема Avro для данных Kafka?
Мы используем тему Kafka в приложении Flink, используя Flink Table API.
Когда мы впервые отправляем приложение, мы сначала читаем последнюю схему из нашего настраиваемого реестра. Затем создайте поток данных и таблицу Kafka, используя схему Avro....
226 просмотров
schedule
02.01.2022
Flink Table / SQL API: изменение атрибута rowtime после агрегирования окна сеанса
Я хочу использовать Session агрегирование окон, а затем запустить Tumble агрегирование окон поверх полученного результата в Table API/Flink SQL .
Можно ли изменить атрибут rowtime после первого session агрегирования, чтобы он был равен...
607 просмотров
schedule
21.02.2022
FLINK - как обрабатывать логику результата sql-запроса
Мое требование - обработать или построить некоторую логику вокруг результата запроса sql во flink. Для простоты скажем, что у меня есть два sql-запроса, которые они выполняют с разным размером окна и один поток событий. У меня вопрос
а) как я...
142 просмотров
schedule
18.02.2022
Раковина Flink Jdbc
Я создал приложение, в котором я читаю данные из потоков Kinesis и сохраняю их в таблице mysql.
Я попробовал загрузить приложение. На 100к работ требуется более 3 часов. Любое предположение, почему это происходит так медленно. Еще одна вещь:...
456 просмотров
schedule
24.02.2022
Таблица исключений атомарного типа может иметь только одно поле. при преобразовании DataStream в таблицу
1. BillCount и Record являются объектами класса. Столбцы объекта BillCount являются одними из столбцов Record. 2 、 Источник Flink получает данные 'Record' из темы kafka.
case class BillCount(logisId: Int, provinceId: Int, cityId: Int,...
958 просмотров
schedule
04.03.2022
Набор данных flink 1.7.2 не поддерживает приемник кафка?
Набор данных flink 1.7.2 не поддерживает приемник кафка?
После выполнения пакетной операции мне нужно опубликовать сообщение в kafka, то есть источник - мой postgres, а приемник - моя kafka.
Является ли это возможным ?
244 просмотров
schedule
05.03.2022
Как работает приемник коннектора файловой системы
Я использую следующий простой код, чтобы проиллюстрировать поведение коннектора файловой системы. У меня есть два наблюдения, которые я хочу спросить и подтвердить.
Если я не включил контрольную точку, то все сгенерированные файлы part-XXX...
131 просмотров
schedule
20.03.2022
Переверните Создать вид или Таблицу как Выбрать
Я читал Flink SQL docs и в разделе Create я не нашел ничего похожего на CREATE VIEW AS SELECT или CTAS.
Я посмотрел немного дальше и обнаружил следующее:
Flink SQL позволяет выбрать
Flink SQL позволяет создавать
Flink SQL позволяет...
365 просмотров
schedule
28.03.2022
Как flink распознает hiveConfDir при работе в кластере пряжи
У меня есть следующий код для тестирования интеграции flink и hive. Подаю заявку через flink run -m yarn-cluster .... . HiveConfDir - это локальный каталог, который находится на машине, на которую я отправляю приложение, я бы спросил, как flink...
41 просмотров
schedule
27.03.2022
Есть ли способ определить общий параллелизм заданий или количество слотов, необходимых для запуска задания Flink (перед его запуском)
Есть ли способ определить общее количество слотов задач, которые потребуются для выполнения задания либо из плана выполнения, либо каким-либо другим способом без необходимости сначала запускать задание.
Согласно этому документу:...
418 просмотров
schedule
21.04.2022
Как Flink обеспечивает порядок данных между операторами?
В потоковой системе порядок данных - большая проблема.
мы знаем, что во flink обработка данных происходит не по порядку, используется окно и водяной знак.
Но, во внутреннем флинке, между операторами, как гарантировать порядок данных?
Может ли...
84 просмотров
schedule
21.04.2022
Получение вложенных полей из сообщения Kafka с помощью Apache Flink SQL
Я пытаюсь создать исходную таблицу с помощью Apache Flink 1.11, где я могу получить доступ к вложенным свойствам в сообщении JSON. Я могу извлекать значения из корневых свойств, но не знаю, как получить доступ к вложенным объектам.
документация...
768 просмотров
schedule
07.05.2022
Список всех источников и приемников в задании Flink SQL
Я создаю своего рода оболочку вокруг Flink SQL. Я создаю задание с набором определяемых пользователем операторов SQL с StreamTableEnvironment.sqlUpdate . Некоторые INSERT , некоторые CREATE . Еще я делаю несколько sqlQuery s.
Прежде чем я...
33 просмотров
schedule
20.05.2022
Apache Flink: как использовать DISTINCT во временном окне TUMBLE?
У меня есть такой поток: <_time(timestamp), uri(string), userId(int)> . Атрибут _time - это rowtime, и я регистрирую его как таблицу:
tableEnv.registerDataStream("userVisitPage", stream, "_time.rowtime, uri,userId");
Затем я...
1424 просмотров
schedule
10.06.2022
Как проверить, является ли строка числом во flink sql
Во flink sql, как проверить, является ли строка числом, как
select * from input where str like '\\d+'
регулярное выражение кажется бесполезным, и оператор «подобный» тоже не может работать. Есть какая-нибудь идея?
92 просмотров
schedule
10.06.2022
