Илон Маск подтвердил использование методов дистилляции при обучении нейросети Grok

Разработчики передовых систем искусственного интеллекта, включая OpenAI и Anthropic, в последнее время ведут борьбу с практикой так называемой дистилляции. Этот метод подразумевает обучение новых моделей на основе ответов, полученных от уже существующих чат-ботов и API. Долгое время считалось, что эту технологию активно используют преимущественно китайские компании для создания доступных аналогов западных разработок, однако последние судебные разбирательства подтвердили, что подобные практики распространены и среди американских технологических гигантов.

Признание в суде

В ходе судебного заседания в Калифорнии Илона Маска спросили, использовала ли компания xAI наработки OpenAI для обучения модели Grok. Предприниматель признал, что подобные методы являются общепринятой практикой в индустрии ИИ. На прямой вопрос о том, означает ли его ответ подтверждение факта использования чужих технологий, Маск ответил утвердительно.

Данные показания прозвучали в рамках иска Маска против руководства OpenAI. Истец обвиняет бывших партнеров в нарушении первоначальной некоммерческой миссии организации и переходе к коммерческой модели ведения бизнеса.

Почему дистилляция представляет угрозу

Метод дистилляции позволяет создавать нейросети с характеристиками, близкими к флагманским моделям, при значительно меньших затратах. Это обесценивает многомиллиардные инвестиции лидеров рынка в вычислительную инфраструктуру. Ключевые аспекты противостояния включают:

• Разработчики пытаются бороться с дистилляцией, отслеживая и блокируя подозрительные массовые запросы к своим сервисам.
• OpenAI, Anthropic и Google объединились в рамках Frontier Model Forum для обмена данными о способах защиты от несанкционированного обучения моделей.
• Технически дистилляция часто не является противозаконной, но нарушает условия пользовательских соглашений, установленные компаниями-разработчиками.

Оценка текущего состояния рынка

В ходе допроса Илон Маск также представил собственный рейтинг ведущих игроков в области ИИ. Несмотря на то что компания xAI была основана лишь в 2023 году, её руководитель признает лидерство других игроков. По словам Маска, на текущий момент ситуация в индустрии выглядит следующим образом:

• Первое место занимает компания Anthropic.
• Следом располагаются OpenAI и Google.
• Четвертую строчку занимают китайские модели с открытым исходным кодом.

Маск подчеркнул, что xAI на данном этапе является гораздо более компактной структурой, штат которой насчитывает лишь несколько сотен сотрудников. Представители OpenAI на момент публикации материала не предоставили комментариев относительно заявлений предпринимателя.

Твитнуть