Приложение Khaya AI распространяется на Северную Гану, демонстрирует значительные улучшения производительности благодаря изучению отзывов пользователей и превосходит Google Translate в переводе текста йоруба

Далее описывается работа, проделанная командами NLP Ghana и Algorine по демократизации доступа к современным инструментам машинного обучения для ганского и других африканских языков. Кульминацией этого является выпуск версии 1.0.4 приложения Khaya AI, продвигающего вперед автоматическое распознавание речи (ASR) и машинный перевод по последнему слову техники для более чем 60 миллионов человек в Западной Африке.

Что вдохновило имя Khaya AI?

Khaya AI названа в честь Африканского красного дерева Khaya. Как и дерево, оно уходит своими корнями в Африку. Мы надеемся, что он также станет питательным и поддерживающим ресурсом для Африки и африканцев в цифровом будущем. Это также слово, обозначающее дом в нескольких южноафриканских языках.

Что могла сделать предыдущая версия Khaya AI?

Девять месяцев назад была выпущена версия 1.0.3 приложения Khaya AI, предоставляющая миру возможности автоматического распознавания речи (ASR) Twi и Yoruba, а также нейротрансляторы машинного обучения Ga, Ewe, Twi и Yoruba. Это включало в себя решающую способность собирать отзывы от общественности, чтобы со временем улучшать ее качество.

В течение последних 9 месяцев команды NLP Ghana и Algorine усердно работали над улучшением качества этих систем машинного обучения и решением любых возникших проблем. Мы рады представить сегодня версию 1.0.4 приложения Khaya AI, демонстрирующую значительные улучшения качества. Вы уже можете протестировать приложение в Интернете, на Android или iOS, перейдя по ссылкам в https://linktr.ee/nlpghana.

Мы описываем различные улучшения, достигнутые в этой статье, как показано в следующем списке и последующих разделах. Таким образом, системы улучшаются — очень много!

Что может новая версия Khaya AI?

Основные моменты

1. Добавление перевода на дагбани и распознавания речи знаменует собой начало распространения ИИ в Северной Гане — хауса, фрафра и були находятся в стадии разработки, среди прочих. Мы стремимся к справедливости лингвистического освещения.

2. Наш переводчик текста йоруба превосходит Google Translate. Мы стремимся предоставлять решения мирового класса по всей Африке

3. По всем направлениям были достигнуты улучшения в текстовом переводе — согласно метрике BLEU, подтвержденной оценщиками и показанной в таблице 1.

4. Повсеместно достигнуты улучшения в автоматическом распознавании речи (ASR), что измеряется частотой ошибок в словах (WER), подтверждено оценщиками и показано в таблице 2.

5. Сотрудничество с Гарвардской школой африканских языков по восточноафриканским языкам, включая суахили, кикуйю и кимеру, укрепляет нашу приверженность предоставлению решений мирового уровня по всей Африке.

Теперь давайте углубимся в выпускаемые улучшения и текущую работу.

Dagbani представлен в связи с началом экспансии в Северной Гане

Если вы просмотрите обзоры, собранные приложением Khaya в магазине Android (где существует большая часть текущей базы пользователей приложения), заметной темой станет отсутствие северных ганских языков в версии 1.0.3 приложения. За последний год мы приложили значительные усилия для исследования северных языков и с гордостью представляем перевод текста на дагбани и ASR в версии 1.0.4. Мы тесно сотрудничали с Dagbani Wikimedia Group над данными и оценкой технологий Dagbani. Это вершина пресловутого айсберга для нашего запланированного охвата языков Северной Ганы, с такими языками, как хауса, гурун (фрафра) и були, которые планируется выпустить в ближайшее время. Модели для таких языков, как дагааре, мампруси, гонджа и касем, также находятся на ранних стадиях исследования.

Улучшения переводчика текста

Мы проанализировали отзывы, отправленные пользовательской базой — десятками тысяч пользователей мобильных устройств (Android и iOS) и веб-приложений. Для анализа этих данных требовались люди-оценщики, поскольку они были зашумлены, иногда включая целые сообщения поддержки от пользователей к нам 🙃

Проверенные предложения и исправления были возвращены к обучающим данным, и модели были дополнительно отрегулированы на них. Данные обучения также были дополнены вручную с использованием других источников, используя эту обратную связь в качестве руководства для выявления недостатков в охвате. Кроме того, обучающие данные были дополнены обратными переводами с использованием одноязычных данных, что является хорошо известным методом в сообществе машинного перевода для улучшения беглости моделей. В результате были достигнуты значительные улучшения в метрике BLEU для большинства языков — см. Таблицу 1 (улучшения Ga продолжаются, поэтому он был исключен из этой таблицы).

Что примечательно в Таблице 1, так это то, что наши текстовые переводчики превосходят Google переводчик в обоих направлениях! Поскольку йоруба является единственным перекрывающимся охватом — ни Google Translate, ни какое-либо другое существующее решение, насколько нам известно, не охватывают ни один из ганских языков, с которыми мы можем работать, — это сравнение дает нам уверенность в том, что мы создаем решение мирового класса.

Улучшения автоматического распознавания речи (ASR)

Из-за более конфиденциального характера голосовых данных, а также более высокой стоимости их сбора и хранения мы не запрашивали отзывы ASR при развертывании. Тем не менее, мы проводили внутренние проверки качества, обнаруживали недостатки и продолжали дополнять данные обучения, отслеживая производительность с помощью метрики Word Error Rate (WER) и подтверждая улучшения с помощью оценщиков-людей. В Таблице 2 приведены измеренные улучшения производительности, которые варьировались от 3,5% до 6%, и попробуйте приложение сегодня на предпочитаемой вами платформе, чтобы проверить улучшения на себе!

Что дальше?

1. Выпуск API

Мы создаем API, который позволит африканским разработчикам создавать прикладные решения для своих сообществ на основе созданных нами систем искусственного интеллекта и машинного обучения. В настоящее время выпуск API планируется открыть для бесплатных пробных версий в течение пары недель после написания этой статьи (запланировано на начало мая).

Хотите создать решение для умного дома? Приложение для изучения языков? Вы можете себе представить любую технологию, основанную на переводе и расшифровке речи на местном языке? Получите доступ к нашим моделям через API и разверните свои решения за считанные дни 😊

2. Больше языков

Усовершенствования системы перевода текста Ga находятся в стадии разработки. Дополнения — 1. Суахили, хауса, фрафра (гуруне), були, дагааре, мампруси, шона текстовые переводчики, 2. суахили и хауса ASR — находятся на дорожной карте в этом году.

Добавление кенийских языков кикуйю и кимеру — совместная работа с профессором Джоном Мугане из Гарвардской школы африканского языка — продолжается. Наша цель — масштабирование на африканском континенте, включая такие языки, как амхарский и волоф. Пока есть потребность в наших решениях, мы будем продолжать их создавать.

На самом деле трансляторы и модели для многих из этих случаев уже созданы, реальная трудность заключалась в том, чтобы масштабировать их в производстве по доступной цене для начальной нефинансируемой компании, такой как мы. Что подводит нас к следующему разделу.

3. Масштабирование языка

Когда мы начинали, наши модели были «один к одному» — это означало, что отдельная модель была обучена для Twi на английский, английский на Twi, английский на Ga и т. д. Как вы можете себе представить, этот подход трудно масштабировать в производстве. , поскольку трансляторы общего назначения и системы распознавания речи относительно велики и требуют больших вычислительных ресурсов.

С тех пор мы перешли на подход «многие к одному» и «один ко многим», требующий одной модели для перевода с любого местного языка на английский и одной модели для перевода с английского на любой местный язык. Это упростило многие первоначальные проблемы, с которыми мы столкнулись при масштабировании приложения для большего количества языков, поэтому мы ожидаем, что с этого момента сроки расширения будут более быстрыми. Кроме того, мы работаем над моделью «многие ко многим», требующей единой модели для всего, которая также сможет обрабатывать переводы между любой парой местных языков, таких как га и эве, тви или йоруба, и наоборот.

КАК ПОДДЕРЖАТЬ НАШУ РАБОТУ

Пожалуйста, рассмотрите возможность приобретения версии приложения без рекламы, чтобы поддержать нашу работу. Мы установили вполне доступную цену 10 долларов в год или 1 доллар в месяц. Мы также будем работать над тем, чтобы добавить в премиальную подписку удивительные эксклюзивные функции, помимо отсутствия рекламы. Как звучит дополненная и виртуальная реальность с обнаружением объектов на выбранном вами языке? Как насчет перевода голоса в голос? Или переводите целые веб-страницы в Интернете, чтобы вы могли просматривать Интернет на своем родном языке? Следите за обновлениями!

Пожалуйста, поделитесь нашей работой с друзьями и сообществами в социальных сетях. Эта работа сможет быть продолжена только при вашей поддержке. Если поддержки со стороны сообщества недостаточно, работа может не поддерживаться и остановиться. Поэтому, пожалуйста, поддержите работу, если вы считаете, что она достойна существования. С другой стороны, дополнительная поддержка означает, что мы сможем расширяться до новых языков и улучшать все системы быстрее и лучше. Обязательно отправьте отзыв, если вы обнаружите, что он не работает хорошо, чтобы со временем он мог улучшиться.

Вы исследователь, который хочет участвовать в этой захватывающей исследовательской революции? Свяжитесь с нами через https://ghananlp.org/contact