Функции Apache Pulsar позволяют программистам создавать сценарии автоматической обработки данных потоков событий и сообщений на облачном оборудовании TPU/GPU для поддержки функциональности AI/ML/DL с использованием специально написанного кода на Java, Python или Go. Многие разработчики также используют Apache Pulsar для реализации бессерверных вычислений после запуска AWS Lambda и других платформ на основе Apache OpenWhisk. Функции Pulsar опираются на открытый исходный код и архитектуру потоковой передачи данных с поддержкой проектов Apache Bookkeeper и Zookeeper.

Apache Pulsar позволяет разработчикам программного обеспечения внедрять решения AI/ML/DL и «Функция как услуга» (FaaS) в корпоративные веб-приложения и мобильные приложения, работающие в гипермасштабе с миллионами одновременных пользователей. Этого можно добиться без рефакторинга существующего оборудования и установок центра обработки данных с использованием концепций программно-определяемой сети (SDN) для оркестровки нескольких облаков. Эти значения кодируются в облачных веб-приложениях и мобильных приложениях, чтобы корпоративное программное обеспечение могло работать на распределенном оборудовании в производственной среде с безопасными, зашифрованными серверными соединениями и маршрутизацией.

Введение: корпоративная электронная коммерция и социальные сети

Apache Pulsar начинался как проект, аналогичный Kafka, который должен был создать новую облачную архитектуру, основанную на обработке событий потока данных в гипермасштабируемых приложениях. Платформа была подарена Yahoo! Labs в Apache Software Foundation для дальнейшего продвижения разработки открытого облака посредством сотрудничества в рамках стандартов с открытым исходным кодом в ИТ-индустрии.

  • Корпоративные компании, управляющие мегабрендами в социальных сетях и электронной коммерции, имеют миллионы пользователей, которые одновременно создают контент, получают доступ к файлам, совершают покупки, совершают платежи и получают персонализированные потоки данных для множества дисплеев устройств.
  • Некоторые из самых талантливых команд программистов в мире сотрудничают, чтобы вывести эти программные услуги на рынок с растущим объемом регионального надзора и юридическими требованиями, которые должны быть реализованы в операциях центров обработки данных по всему миру.
  • Многие соглашения о конфиденциальности данных обязывают транснациональные компании, собирающие информацию о пользователях, соблюдать строгие правила шифрования и хранения данных в облаке, чтобы работать в определенном регионе, где требуется настраиваемая маршрутизация и поддержка пространства имен.

Amazon, Google, Microsoft, Apple и другие общедоступные облачные компании инвестировали миллиарды долларов в исследования облачных компьютеров для создания новой гипермасштабируемой архитектуры с помощью платформ с открытым исходным кодом. Пакеты Apache Pulsar, Bookkeeper и Zookeeper разработаны в сотрудничестве со многими ИТ-компаниями, чтобы обеспечить передовые инновации с корпоративной безопасностью в обмене сообщениями о событиях для потоковой архитектуры, развернутой на многооблачных ресурсах.

Функции Apache Pulsar: AI / ML / DL и бессерверные платформы

Последние отраслевые тенденции для социальных сетей и электронной коммерции связаны с доставкой пользователям персонализированного контента, который генерируется алгоритмами искусственного интеллекта на основе машинного обучения. AI/ML продвинулся во все отрасли промышленности и производства, включая горнодобывающую промышленность, разведку нефти и газа и другие компании, занимающиеся добычей полезных ископаемых. Корпорации используют AI/ML для широкого спектра функций, таких как сетевая антивирусная безопасность, автоматизированное производство сборочных линий с помощью робототехники, беспилотные транспортные средства, рекомендации по контенту/продукту, языковой перевод, поддержка колл-центра, логистика и моделирование цепочки поставок. . Все эти программные приложения основаны на «больших данных» и облачных технологиях, где Apache Pulsar может предоставить основы открытого исходного кода для архитектуры потоковой передачи данных.

Каждый пакет потока событий может быть направлен через обработку AI/ML/DL на параллельном облачном оборудовании TPU с использованием предварительно обученного алгоритмического анализа для интерпретации текста. Затем эта функциональность реализуется объектно-ориентированным образом для встраивания поддержки анализа ключевых слов, систем рекомендаций по продукту/контенту и служб автоматического перевода в существующие веб-приложения/мобильные приложения. Функции Apache Pulsar работают в координации с Bookkeeper, чтобы направить аппаратную маршрутизацию пакетов на определенные веб-серверы или блоки TPU/GPU, необходимые для обработки AI/ML.

Функции Apache Pulsar позволяют командам Agile-программистов в любой организации быстро и безопасно реализовывать обработку пользовательского кода на Java, Python и переходить к информации или файлам в очереди событий/сообщений. Функции Apache Pulsar предоставляют командам разработчиков корпоративного программного обеспечения мощность и гибкость, необходимые для внедрения решений аналитики больших данных с обработкой AI/ML в гипермасштабе на распределенной архитектуре. Это включает в себя поддержку серверов TPU/GPU в общедоступном облаке за счет распределения пространства имен и безопасной маршрутизации данных сетевых пакетов между серверами для обработки в сборке облачных программных приложений.

  • Архитектура обмена сообщениями и очередей событий в Pulsar позволяет генерировать более сложные метрики из озер данных, что важно для ИТ-специалистов для сетевой безопасности, поддерживая требования отделов продаж, маркетинга, производства и производства.
  • Поддержка бессерверных вычислительных платформ, таких как AWS Lambda и OpenWhisk, позволяет программистам быстро добавлять службы параллельной обработки для поддержки настройки изображений в соответствии с требованиями к отображению отдельных устройств (мобильных, планшетных, настольных, IoT).

Позволяя командам разработчиков настраивать простые или сложные функции кода для каждого сообщения или события в потоке пользовательских данных, расширенные функции AI/ML/DL с серверов TPU/GPU могут быть внедрены в корпоративные программные продукты быстрее и эффективнее на более высоком уровне. функциональных инноваций. Гибкое управление проектами обычно требует CI/CD с контролем версий и модульной изоляцией между различными уровнями программного приложения в производстве.

Основная идея заключается в том, что корпоративные компании с требованиями «больших данных» для поддержки своих веб-/мобильных приложений в облачных центрах обработки данных могут использовать Apache Pulsar для создания пользовательской бессерверной архитектуры. Программисты могут реализовать функции Pulsar для настройки сценариев в соответствии с уникальными задачами своей организации. Компании теперь доверяют и инвестируют в долговечность архитектуры Apache Pulsar для обеспечения непрерывности обслуживания в течение следующих 10 лет расширения облака. Разработчики могут использовать эти форматы для быстрой итерации функций AI/ML/DL для поддержки корпоративного программного обеспечения без необходимости отказываться от существующего кода и аппаратных служб.

Apache Pulsar для AI / ML / DL: архитектура событий и потоков сообщений

Apache Pulsar поддерживает программное обеспечение для Интернета и мобильных устройств, которое работает с требованиями к пользовательскому трафику сайтов социальных сетей, таких как LinkedIn, Pinterest и Facebook, или платформ электронной коммерции размером с Amazon. Другие корпоративные компании стремятся подражать передовым методам этих облачных корпораций в администрировании центров обработки данных для поддержки своих собственных процедур DevOps.

  • Преимущества использования Apache Pulsar для поддержки программного обеспечения AI/ML/DL используются корпоративными корпорациями в широком спектре конкурирующих и разнородных отраслей.
  • У производственных компаний другие требования к «большим данным» в робототехнике и промышленном производстве, чем у компаний, занимающихся электронной коммерцией или публикациями в социальных сетях.
  • Корпорации могут использовать Apache Pulsar для управления своим облачным центром обработки данных, сетевой безопасностью, соблюдением правовых норм и требованиями к разработке программного обеспечения.

Apache Pulsar специально разработан для поддержки требований гипермасштабируемой обработки данных приложений на оборудовании облачного кластера для поддержки миллиардов запросов ввода-вывода в минуту для самых популярных в мире веб-приложений и мобильных приложений в облаке. Узнайте больше о поддержке функций Apache Pulsar в Pandio.

Первоначально опубликовано на https://pandio.com 13 августа 2020 г.