Что произошло на этой неделе в AI by Louie
На этой неделе изменения в условиях обслуживания Zoom (с марта) были привлечены к ответственности после того, как опасения по поводу использования ими видеоданных клиентов стали вирусными. Условия Zoom, казалось, позволяли компании в значительной степени свободно использовать данные клиентов для обучения своих моделей машинного обучения, но после разногласий поздно в понедельник вечером Zoom обновил свои условия, указав, что Zoom не будет использовать аудио, видео или чат. клиентский контент для обучения наших моделей искусственного интеллекта без вашего согласия». С момента запуска ChatGPT и растущего внимания к коммерциализации ИИ политика владения данными, авторских прав и конфиденциальности многих компаний менялась. Некоторые компании, такие как X/Twitter, осознали, что они раздавали ценные данные бесплатно или слишком дешево, и закрыли доступ к своим данным, что усложнило сбор данных или возбуждение судебных исков в связи с их использованием. Другие компании поняли, что они не собирают и не используют большую часть потенциально ценных данных, к которым у них есть доступ. Всегда будет существовать прекрасный баланс между защитой конфиденциальности клиентов и максимально эффективным использованием их данных, и мы ожидаем, что эти вопросы останутся приоритетными для многих генеральных директоров и управленческих команд в ближайшие месяцы.— Луи Питерс — Навстречу Соучредитель и генеральный директор AI
Горячие новости
Meta выпустила код и веса для своих моделей AudioCraft, включая MusicGen и AudioGen. Эти модели генерируют музыку и звук, соответственно, на основе текстовых данных, введенных пользователем. Релиз также включает декодер EnCodec, улучшающий качество музыки.
НАСА и IBM Research совместно выпустили HLS Geospatial FM, геопространственную модель искусственного интеллекта с открытым исходным кодом для данных наблюдения Земли. Эта модель доказала свою эффективность в различных приложениях, таких как картирование наводнений, идентификация гарей и прогнозирование урожайности.
Jupyter AI объединяет методы генеративного искусственного интеллекта и предоставляет такие функции, как генерация кода, исправление ошибок, обобщение контента, опрос файлов и создание блокнотов на основе языковых подсказок.
4. RT-2: Новая модель воплощает видение и язык в действие
Meta Robotic Transformer 2 (RT-2) — это модель визуального языка и действия, которая сочетает в себе возможности веб-масштабирования с роботизированным управлением. Он эффективно распознает визуальные и языковые модели, обобщает возникающие навыки и успешно использует данные из Интернета для изучения новых навыков.
5. OpenAI запускает GPTBot с подробностями о том, как ограничить доступ
OpenAI запустила поисковый робот GPTBot для улучшения своих моделей искусственного интеллекта. GPTBot будет искать данные в Интернете, строго отфильтровывая любые источники с ограниченным доступом к платному доступу, источники, нарушающие политики OpenAI, или источники, которые собирают личную информацию.
Пять 5-минутных чтений/видео, чтобы вы продолжали учиться
LLM с открытым исходным кодом развились, чтобы стать конкурентоспособными с проприетарными LLM благодаря достижениям в предварительном обучении и разработке моделей. Ранние проблемы были преодолены путем сосредоточения внимания на важности предварительного обучения и создания лучших базовых моделей. Недавние тенденции включают использование больших наборов данных перед обучением и оптимизацию моделей для быстрого вывода.
2. 10 лучших LLM с открытым исходным кодом для ИСПОЛЬЗОВАНИЯ в вашем следующем приложении LLM
В этой статье рассказывается о 10 лучших LLM с открытым исходным кодом для области ИИ. Эти LLM предлагают настраиваемые решения, способности рассуждать, многоязычную поддержку, понимание естественного языка, генерацию текста, ответы на вопросы, интерфейсы чат-ботов, универсальность и надежность.
3. Понимание архитектуры LLaMA-2 и ее огромного влияния на GenAI
77-страничная статья Meta по LLaMA-2 показывает впечатляющие результаты, превосходящие тесты с открытым исходным кодом и конкурирующие с GPT3.5. В статье объясняются такие усовершенствования, как внимание к запросам Grouper, Ghost Attention, изменение масштаба температуры в контексте и временное восприятие.
4. Исследователь ИИ Джеффри Хинтон считает, что у ИИ есть или будут эмоции
Исследователь ИИ Джеффри Хинтон утверждает, что человеческий интеллект может быть достигнут и, возможно, превзойден только с помощью глубокого обучения, поскольку оно позволяет машинам описывать гипотетические действия, связанные с эмоциями. У точки зрения есть как сторонники, так и критики в экспертных кругах.
В этой статье представлены три метода — Gradient Checkpointing, LoRA и Quantization — которые помогают экономить память графического процессора и избегать ошибок памяти при точной настройке языковых моделей. Эти методы включают минимизацию слоев во время обучения, внедрение новых обучаемых параметров и снижение точности данных.
Бумаги и репозитории
Microsoft представила Azure ChatGPT, частное и безопасное решение для развертывания экземпляров ChatGPT в Azure. Он предлагает встроенные гарантии конфиденциальности, полный контроль над доступностью и возможность интеграции внутренних источников данных и плагинов. Чтобы облегчить внедрение, Microsoft также разработала руководство по Solution Accelerator.
Недавнее исследование показало, что для LLM чтение документации по инструментам более эффективно, чем полагаться исключительно на демонстрации для обучения использованию новых инструментов. Исследователи продемонстрировали это с помощью эмпирических результатов шести задач на зрение и язык, показав, что пустые подсказки с документацией по инструментам работают так же хорошо, как и подсказки с несколькими повторениями в тестах.
3. PanGu-Coder2: Улучшение моделей больших языков для кода с обратной связью по ранжированию
В этой статье предлагается новая структура RRTF (ранговые ответы для согласования отзывов о тесте и преподавателе), которая может эффективно и действенно повышать предварительно обученные большие языковые модели для генерации кода. В рамках этой структуры мы представляем PanGu-Coder2, который достигает 62,20% pass@1 в тесте OpenAI HumanEval.
В этом документе представлен новый набор тестов под названием XSTest для структурированного и систематического выявления поведения с преувеличенной безопасностью. Результаты тестирования показали, что модель Llama2 от Meta демонстрировала чрезмерно безопасное поведение, отказываясь от подсказок, которые были безобидными, но напоминали небезопасные, или касались деликатных тем.
5. Эффект гидры: возникающее самовосстановление в вычислениях языковых моделей
Недавнее исследование языковых моделей обнаружило эффект гидры, когда удаление одного слоя внимания вызывает компенсацию в другом. Кроме того, исследователи обнаружили, что поздние слои MLP подавляют токен максимальной вероятности даже в моделях, обученных без отсева.
Понравились эти статьи и сводки новостей? Получайте ежедневный обзор на почту!
Раздел сообщества Learn AI Together!
Еженедельный подкаст об искусственном интеллекте
В выпуске подкаста Что такое ИИ на этой неделе Луи Бушар рассказывает о своем пути получения докторской степени. в области искусственного интеллекта в Polytechnique Montreal и Mila. На протяжении всего этого эпизода он рассказывает о процессе поступления, повседневной жизни доктора философии. кандидат, и навыки, которые вы развиваете на этом пути. Он также углубляется в концепцию федеративного обучения и то, как искусственный интеллект может революционизировать диагностику рассеянного склероза. Рассматриваете ли вы кандидатскую степень. в области искусственного интеллекта или просто интересуется пересечением искусственного интеллекта и медицины, этот эпизод для вас. Настройтесь на Spotify или Apple Podcasts.
Мем недели!
Мем поделился archiesnake
Избранный пост сообщества из Discord
Weaver159 запустила новый проект под названием MetisFL, интегрированную среду обучения, которая позволяет разработчикам объединять свои рабочие процессы машинного обучения и обучать свои модели на основе распределенных наборов данных без необходимости собирать данные в централизованном месте. Ядро фреймворка написано на C++ и уделяет первостепенное внимание масштабируемости, скорости и отказоустойчивости. В настоящее время проект активно поощряет разработчиков, исследователей и специалистов по обработке данных экспериментировать с фреймворком и вносить свой вклад в кодовую базу. Проверьте это на GitHub и поддержите другого члена сообщества. Поделитесь своими мыслями или предложениями в теме здесь.
AI-опрос недели!
Присоединяйтесь к обсуждению в Discord.
TAI Кураторский раздел
Статья недели
Установите свой LLM на одном графическом процессоре с помощью Gradient Checkpointing, LoRA и Quantization от Jeremy Arancio
Тонкая настройка LLM может быть долгой и утомительной. Нехватка памяти во время обучения может быть как неприятной, так и дорогостоящей. В этой статье будут рассмотрены три метода, которые вы, возможно, уже используете или должны знать, не понимая, как они работают: контрольные точки градиента, адаптеры низкого ранга и квантование. Эти методы помогут вам избежать нехватки памяти во время тренировки и сэкономят вам много времени.
Наши обязательные к прочтению статьи
Обучение ансамблем: от дерева решений к случайному лесу Сандипкумар Рахерла
Современное НЛП: подробный обзор. Часть 4: Последние разработки от Abhijit Roy
Самостоятельное обучение и трансформеры? — Разъяснение бумаги DINO от Boris Meinardus
Если вы заинтересованы в публикации с помощью Towards AI, ознакомьтесь с нашими рекомендациями и зарегистрируйтесь. Мы опубликуем вашу работу в нашей сети, если она соответствует нашим редакционным политикам и стандартам.
Предложения о работе
Старший инженер-программист, Smart Contracts @Oasis Protocol Foundation (удаленно)
Старший инженер по приложениям @Mozilla (удаленно)
Старший/главный инженер службы поддержки — Европа @ClickHouse (удаленно)
Инженер по контролю качества @ShyftLabs (Торонто, Канада)
Старший инженер-программист — Персонализация поиска AI @Algolia (удаленно)
Старший инженер по инфраструктуре @Angi (удаленно)
Инженер данных Python @Altoida (Бостон, Великобритания)
Хотите поделиться здесь вакансией? Обращайтесь по адресу [email protected].
Если вы готовитесь к следующему собеседованию по машинному обучению, обязательно посетите наш ведущий веб-сайт для подготовки к собеседованию, confetti!
