История создания
Первая версия GPT (Generative Pre-trained Transformer) от OpenAI появилась еще летом 2018 года. Позже на базе ее исследований и разработок OpenAI выпустили двунаправленную нейросеть BERT, получившую статус state-of-the-art — высшую точку развития технологии на тот момент.
Затем в OpenAI заметили, что выборка массивов текстов из Wikipedia или из литературных произведений — не самая оптимальная для обучения модели. Нейросеть быстрее учится понимать естественную речь на основе простых постов в интернете. Поэтому в 2019 году OpenAI обучили GPT на больших объемах текстов — 8 млн. страниц из интернета.
Чтобы разнообразить входные данные и стили, разработчики использовали обычные форумы. Ссылки на них были взяты из выборки пользователей Reddit, причем обязательно с рейтингом выше среднего (как минимум 3 кармы). Последнее учитывалось, чтобы отбросить рекламные или спам-страницы и оставить только полезные. Новая версия нейросети получила название GPT-2.
Как обучали GPT-2?
Нейросеть изначально обучали предсказывать следующее слово в предложении. Подход не был новым, скорее даже вполне традиционным для создания текстов. Но из-за использования трансформерной архитектуры и обучения на большом датасете разработчики получили не просто языковую модель, а мощный генератор текстов. Все, что ему нужно, это начальный материал — небольшой фрагмент текста или даже одна фраза. На основе начала нейросеть сгенерирует продолжение данного текста. От наполненности предоставленного куска будет зависеть конечный результат.
В процессе обучения нейросети выяснилось, что она может не только генерировать текст, но и ответить на пользовательские вопросы, главное задать этот вопрос в формате, понятном для сети. Например, можно дать модели отрывок «Солнце — это…», и GPT-2 продолжит фрагмент, дав вполне логичный ответ, так как обычно после конструкции «… — это» в живой речи идет пояснение.
В OpenAI считают, что с обычными темами GPT-2 способна генерировать нормальный логичный текст в 50% случаев. Однако модель всегда можно донастроить, например, на базе отзывов с Amazon, чтобы та смогла сгенерировать такие же, похожие на человеческие.
В работе GPT-2 иногда случаются сбои. Иногда сеть выдавала повторные куски текста, иногда происходили сбои моделирования мира, в котором происходит действие: к примеру, сеть выдавала рассказ, где под водой вдруг происходит пожар.
Также иногда GPT-2 переключалась с темы на тему, при этом между ними не было никакой связи и логическое повествование терялось. Все же GPT-2 — это алгоритм, а не живой человек, способный к простым логическим выводам типа «вода и огонь несовместимы».
Почему OpenAI отказались сразу выложить полную версию GPT-2
По утверждениям разработчиков, нейросеть оказалась настолько мощной, что авторы отказались сразу выкладывать полную версию в открытый доступ. Они объясняли свое решение тем, что полная версия GPT-2 слишком хорошо создает свои тексты и иногда их не отличить от реальных. OpenAI посчитали, что это может привести к негативным последствиям.Если дообучить GPT-2, то она сможет делать следующие вещи:
- генерировать фейк-новости;
- выдавать себя за других людей онлайн и отвечать за них;
- автоматизировать производство оскорбительного контента или фейкового для публикации в дальнейшем в соцсетях;
- автоматизировать производство спама и фишинга.
На Reddit была длинная дискуссия, где пользователи обсуждали ограничение доступа к модели и предлагали переименовать OpenAI в ClosedAI (из-за этого и других случаев). Сами же разработчики посчитали свое решение верным. Сначала они выложили уменьшенную версию модели со 117 млн. параметров и пообещали, что рассмотрят поэтапное выкладывание полной версии модели в общий доступ. Они свое обещание сдержали, но полную версию пользователи получили лишь в ноябре 2019 года.
В OpenAI понимали, что компания с большим бюджетом и опытными разработчиками сможет на основе даже уменьшенной модели воссоздать полную ее версию. Отказ от выкладывания полной версии GPT-2, во-первых, ограничил само число компаний, которые могли бы использовать нейросеть в плохих целях, так как у мелких компаний было недостаточно средств. Во-вторых, у OpenAI появилось время для размышления над возникшей проблемой. Ответственность за свои изобретения пугала не только разработчиков OpenAI, но и многих ученых до них, так что их решение понятно.
В мае 2026 года был представлен алгоритм третьей версии модели. GPT-3 обучена уже на 175 млрд. параметров, и ее возможности возросли. Разработчики провели опрос, стараясь узнать, могут ли участники отличить написанный текст машиной от человеческого, и результаты показали, что уровень доверия к генератору текстов возрос.
Релиз GPT-2 и TabNine
Из-за перечисленных выше опасений по поводу использования языковых моделей разработчики GPT-2 выпустили только небольшую демо-версию GPT-2. Исходный набор данных, обучающий код и гиперпараметры отсутствуют в открытом доступе.
Но даже уменьшенная версия нейросети уже успела принести пользу: например, не так давно с её помощью был разработан инструмент для автозаполнения кода в текстовых редакторах TabNine. Он обучался примерно на двух миллионах файлов с GitHub и доступен для бесплатного использования.
В конечном счете выбор всегда за вами. Ребрендинг Рег.ру лишь закрепил то, что рынок уже показал: вы можете строить инфраструктуру самостоятельно, а можете сразу получить работающий бизнес-результат через Рег.решения, сосредоточившись на задачах роста. Вместо одного универсального подхода теперь есть два понятных маршрута — и Рег.ру поддерживает каждый из них.
Языковые модели могут принести большую пользу: от помощи людям с ограниченными возможностями до автоматизации рутинных задач. Они позволяют даже создавать текстовый образ конкретного человека: например, американский журналист разработал чат-бота с «разумом» своего отца, который умирал от рака.
Но использование таких нейросетей, несомненно, необходимо контролировать и принимать меры против злоумышленников. Разработчики GPT-2 считают, что этот вопрос нужно решать на законодательном уровне и создать инициативы по отслеживанию применения технологий искусственного интеллекта.
Что вы думаете по этому поводу? Принесут ли нейросети больше пользы, чем вреда, и нужно ли принимать меры по ограничению доступа к ним? Делитесь своими мыслями в комментариях.
Что еще умеет GPT-2
Помимо простого создания текстов, модель можно использовать для следующих целей:
- краткий пересказ текста или обобщение.В качестве входных данных нужно подать не просто фрагмент, а целый текст, состоящий из хотя бы пары абзацев (но лучше — страниц). Если в конце добавить «TL;DR», модель выдаст краткое содержание рассказа. Почему так происходит? Нейросеть обучалась на обычных интернет-ресурсах, где такими символами обозначают краткое содержание постов; TL;DR — это англоязычное сокращение от too long; didn’t read (слишком длинно, не читал).
- ответы на вопросы исходя из содержания текста.На входе подается несколько примеров в виде «Вопрос-Ответ», в конце же дается реальный вопрос, на который нейросеть выдает по тому же макету ответ. Например, сеть получает на входе абзац вида: «Вопрос: <определенный вопрос>. Ответ: <ответ на него>». И в конце нужный вопрос без ответа: «Вопрос: <вопрос>. Ответ: …». На месте пропуска сеть выдает результат. Модель распознала структуру документа и на выходе подавала похожее заданному.
- перевод текстов.Механизм работы с переводами похож на механизм работы с ответами на вопросы. Главное — подать модели правильное начало, то есть нужную структуру текста. В оригинале GPT-2 подавали фрагменты в виде «hello- = привет» и так далее, используя английский и французский. В итоге, когда в конце была фраза «cat = …», нейросеть, следуя логике, выдала «кошку».
- создание помощников по написанию AI
- улучшенные диалоговые агенты
- улучшение систем распознавания речи.
Zero-shot
GPT-2 достигает одних из самых высоких результатов в определённых задачах языкового моделирования. Нейросеть не переобучалась на конкретных данных для какой-либо области и оценивалась на них в своём исходном состоянии — это называется zero-shot обучение. GPT-2 превосходит предметно-ориентированные модели при оценке на тех же наборах данных. В таблице ниже приведены результаты.
При выполнении других языковых задач можно получить впечатляющие результаты даже без точной настройки, просто подсказав уже обученной модели правильный путь. Ниже представлены примеры ответов GPT-2 на вопросы и достигаемая точность:
GPT-2 справляется и с машинным переводом. Пример перевода фраз с французского на английский:
Поскольку все эти задачи относятся к языковому моделированию, можно ожидать, что в дальнейшем при увеличении объёма вычислений и данных нейросеть станет более точной.
Примеры текстов, сгенерированных нейросетью
Готовая домашняя работа о причинах Гражданской войны в США (с пятой попытки)
Как видно из примеров, модель сочиняет фрагменты текста высокого качества и может генерировать около страницы согласованных фраз. Тем не менее, создатели нейросети сталкивались с различными сбоями: иногда она повторяла одни и те же слова, писала о невозможных событиях (например, о пожарах под водой) и неестественно переходила с одной темы на другую. Эти слабые места языковых моделей активно изучаются исследователями в области обработки естественного языка.
В целом, для получения хорошей статьи GPT-2 требуется несколько попыток, причём их количество зависит от того, насколько модель знакома с контекстом. При написании текстов на популярные темы (книги, новости и поп-культура) хорошие результаты достигаются примерно в 50% случаев. Но на техническом или узконаправленном контенте нейросеть часто работает плохо. Больший контроль над генерируемыми образцами можно получить с помощью точной настройки — например, использовать для этого набор данных Amazon Reviews и заставить GPT-2 писать новостные обзоры.
Объёмные языковые модели гораздо легче настраивать на генерацию согласованного текста, который, в свою очередь, может быть использован как в полезных, так и во вредоносных целях. Ниже мы обсудим этот вопрос подробнее и расскажем о мнении создателей GPT-2 и ограничениях, которые они наложили на открытую версию нейросети.
Часто задаваемые вопросы о GPT-2
Вопрос: В чем главное отличие GPT-2 от первой версии?
Ответ: Главное отличие — масштаб: GPT-2 содержала в 10 раз больше параметров (1,5 млрд) и была обучена на значительно большем и разнообразном наборе текстовых данных, что резко повысило качество и связность генерируемых текстов.
Вопрос: Может ли GPT-2 понимать смысл текста?
Ответ: Нет, GPT-2 не понимает смысл в человеческом понимании. Она работает на основе статистических закономерностей, выявляя паттерны и вероятности следования слов в обучающих данных, и генерирует текст, который статистически похож на осмысленный.
Вопрос: Для каких практических задач использовали GPT-2?
Ответ: Её использовали для автоматического написания новостей, создания художественных текстов, программирования (как в TabNine), чат-ботов, перефразирования текста, простого перевода и ответов на вопросы.
Вопрос: Почему выход GPT-2 вызвал такой общественный резонанс?
Ответ: Резонанс был вызван невероятно высоким качеством генерации текста, сравнимого с человеческим, и опасениями, что технологию можно использовать для массового создания фейковых новостей, спама и дезинформации.
Вопрос: Что такое «zero-shot learning» в контексте GPT-2?
Ответ: Zero-shot learning — это способность модели выполнять задачу (например, перевод или ответ на вопрос), на которую её специально не обучали, просто получив инструкцию в текстовом виде в качестве входных данных.
Вопрос: Доступна ли полная версия GPT-2 сейчас?
Ответ: Да, после поэтапного релиза в 2019 году OpenAI в итоге выложили полную модель с 1,5 млрд параметров в открытый доступ. Её код и веса можно свободно использовать.
Вопрос: Чем GPT-2 принципиально отличается от ChatGPT?
Ответ: GPT-2 — это чистая языковая модель для генерации текста. ChatGPT (на основе GPT-3.5/4) дополнительно обучена с помощью RLHF (обучение с подкреплением на основе человеческих предпочтений) для ведения диалога, следования инструкциям и является более управляемой и безопасной.
Вопрос: На каких данных обучалась GPT-2?
Ответ: Модель обучалась на огромном наборе данных WebText, который включал около 8 миллионов веб-страниц, отобранных по критерию качества (например, по количеству лайков на Reddit).
Вопрос: Можно ли запустить GPT-2 на домашнем компьютере?
Ответ: Запустить меньшие версии модели (например, с 345 млн параметров) на современном домашнем ПК с хорошей видеокартой возможно. Однако для полной версии с 1,5 млрд параметров потребуются значительные вычислительные ресурсы.
Вопрос: Какое наследие оставила после себя GPT-2?
Ответ: GPT-2 стала важнейшим прорывом, доказавшим, что масштабирование языковых моделей ведет к резкому скачку в качестве. Она заложила фундамент для GPT-3 и всей современной генерации текста ИИ, а также инициировала важные дискуссии об этике в AI.
Краткая памятка: ключевые факты о GPT-2
- Разработана исследовательской лабораторией OpenAI.
- Анонсирована в феврале 2019 года.
- Является трансформерной языковой моделью-преемницей GPT-1.
- Содержит 1,5 миллиарда параметров в самой большой версии.
- Обучалась на датасете WebText (8 млн веб-страниц).
- Способна к zero-shot выполнению задач (без дообучения).
- Вызывала опасения из-за потенциального misuse (злонамеренного использования).
- Релиз был поэтапным: сначала вышли меньшие версии, полная — позже.
- Продемонстрировала неожиданно высокое качество генерации связного текста.
- Легла в основу коммерческого продукта TabNine (инструмент автодополнения кода).
- Стала предшественницей и доказательством концепции для более мощных моделей GPT-3 и GPT-4.
- Её код и веса теперь полностью открыты для публичного использования.
- Способна генерировать текст, продолжать рассказы, переводить и отвечать на вопросы в рамках одной архитектуры.
