100 самых влиятельных людей в области искусственного интеллекта, Falcon 180B и интерпретатор кода с открытым исходным кодом

Здесь собраны еженедельные статьи, руководства и новости о НЛП и ИИ, выбранные для вас NLPlanet!

😎 Новости из Интернета

  • 100 самых влиятельных людей в сфере искусственного интеллекта 2023. Журнал TIME опубликовал список 100 самых влиятельных людей в области искусственного интеллекта на 2023 год. В список вошли такие известные личности, как Дарио и Даниэла Амодей, Сэм Альтман, Демис Хассабис, Робин Ли, Клеман Деланг, Лила Ибрагим, Илон Маск, Джеффри Хинтон, Фей-Фей Ли, Тимнит Гебру, Ян ЛеКун и Йошуа Бенджио.
  • Расправь крылья: Falcon 180B уже здесь. TII только что выпустила Falcon 180B, мощную языковую модель со 180 миллиардами параметров, обученную на 3,5 триллионах токенов. Превосходя Llama 2 70B и GPT-3.5 на MMLU, Falcon 180B показывает отличные результаты и занимает высокое место в таблице лидеров Hugging Face. Эта модель доступна для коммерческого использования, но имеет строгие условия, исключающие использование хостинга.
  • Выпуск Хурмы-8Б. Adept.ai представляет Persimmon-8B, LLM с открытым исходным кодом, обладающий впечатляющей производительностью и компактными размерами. Обученный на меньшем количестве данных, он достигает результатов, сравнимых с LLaMA2, и предлагает быструю реализацию C++ в сочетании с гибким выводом Python.
  • Обучающий кластер как услуга: масштабируйте обучение своего LLM на нашей инфраструктуре. Hugging Face предоставляет оценки затрат на обучение больших языковых моделей (LLM) разных размеров и количества токенов. Оценки варьируются от $65 тыс. до $14,66 млн в зависимости от параметров модели и количества токенов.
  • Открытая таблица лидеров ASR. Hugging Face выпустила таблицу лидеров преобразования речи в текст, в которой ранжируются и оцениваются модели распознавания речи на их платформе. На данный момент лучшими являются NVIDIA FastConformer и OpenAI Whisper, специализирующиеся на распознавании английской речи. Многоязычная оценка будет добавлена ​​в будущих обновлениях.

📚 Руководства из Интернета

  • Создайте систему самомодерируемых комментариев с помощью LangChain и OpenAI. В этом руководстве объясняются шаги по созданию системы самомодерируемого ответа на комментарии с использованием OpenAI и LangChain. Он включает в себя две модели: первая генерирует ответ, а вторая изменяет и публикует его.
  • LLM – это еще не все, что вам нужно. У LLM есть ограничения, такие как создание ложной информации и отсутствие актуального контента. Чтобы полностью использовать их потенциал, необходима хорошо продуманная экосистема. Это предполагает оперативное проектирование с использованием таких методов, как квантование, дополненная генерация с поиском (RAG) и разговорная память.
  • Квантование GPTQ на точно настроенной модели Llama 2 7B с HuggingFace. HuggingFace представила квантование GPTQ, позволяющее сжимать большие языковые модели до 2, 3 или 4 бит. Этот метод превосходит предыдущие методы, сохраняя точность и значительно уменьшая размер модели.
  • Оценка и обнаружение галлюцинаций для абстрактных изложений. Абстрактное обобщение сталкивается с проблемами при оценке галлюцинаций, а также с трудностями в объективном измерении релевантности и последовательности. Оценка сводок с использованием таких показателей, как ROUGE и BERTScore, имеет ограничения, особенно за пределами эталонных распределений. Обнаружение несоответствий между кратким изложением и исходным документом имеет решающее значение, учитывая достижения в показателях, основанных на следственных действиях, и показателях контроля качества.
  • Являются ли беспилотные автомобили уже более безопасными, чем водители-люди? Первые данные показывают, что беспилотные автомобили, такие как беспилотные такси Waymo и Cruise, могут быть безопаснее, чем водители-люди. Несмотря на 102 аварии на расстоянии 6 миллионов миль, большинство инцидентов были столкновениями на низкой скорости по вине других водителей.

🔬 Интересные статьи и репозитории

  • KillianLucas/open-interpreter: интерпретатор кода OpenAI в вашем терминале, работающий локально. Open Interpreter — это реализация интерпретатора кода OpenAI с открытым исходным кодом, которая обеспечивает интерфейс на естественном языке, аналогичный ChatGPT. Он позволяет локально запускать различные типы кода, предлагая интерактивные терминальные чаты для управления функциями компьютера без ограничений доступа в Интернет.
  • Большие языковые модели как оптимизаторы. LLM можно использовать в качестве оптимизаторов в приложениях, где градиенты недоступны. Оптимизация с помощью PROmpting (OPRO) предполагает, что LLM генерирует новые решения на основе подсказки, которые затем оцениваются и используются для уточнения подсказки в постоянном цикле оптимизации. OPRO показал многообещающие результаты, превзойдя созданные человеком подсказки в задачах быстрой оптимизации.
  • SLiMe: сегментируй как я. SLiMe, новый подход, сочетающий в себе модели языка видения и стабильную диффузию (SD), позволяет сегментировать изображения с произвольной степенью детализации, используя всего один аннотированный образец. Он превосходит существующие методы сегментации изображений с одним и несколькими кадрами, что было продемонстрировано в комплексных экспериментах. 🖼️
  • FLM-101B: Открытый LLM и как его обучить с бюджетом в 100 тысяч долларов. Авторы представляют ориентированную на рост стратегию обучения экономически эффективной модели LLM с параметрами 101B и токенами объемом 0,31 ТБ всего за 100 тысяч долларов. Они также представляют новый метод оценки, ориентированный на анализ уровня IQ, демонстрируя производительность модели на одном уровне с лучшими моделями, такими как GPT-3 и GLM-130B, в тестовых оценках IQ.
  • Одна широкая прямая связь – это все, что вам нужно. Исследователи обнаружили, что сеть прямой связи (FFN) в трансформаторах можно оптимизировать, что приводит к уменьшению размера модели на 40% при сохранении аналогичных характеристик. Путем совместного использования FFN в кодере и удаления его из слоев декодера параметры можно уменьшить с минимальным снижением точности.
  • Эффективный RLHF: уменьшение использования памяти PPO. Авторы представляют Hydra-PPO, метод ускорения обучения с подкреплением на основе обратной связи с человеком (RLHF) за счет сокращения использования памяти. Hydra-PPO сокращает количество моделей в памяти на этапе PPO, позволяя увеличить размер обучающего пакета и снизить задержку на выборку до 65%.
  • PromptTTS 2: описание и генерация голосов с помощью текстовых подсказок. PromptTTS 2 — это система преобразования текста в речь, которая может управлять такими атрибутами, как пол, скорость, высота звука и громкость, с помощью текстовых подсказок. Он также может сопоставлять синтезированные голоса с изображениями лиц, сохраняя при этом тембр.

Спасибо за чтение! Если вы хотите узнать больше о НЛП, не забудьте подписаться на NLPlanet. Вы можете найти нас в LinkedIn, Twitter, Medium и на нашем Discord сервере!