Что вообще делают нейросети, когда ты пишешь промпт?
sequence transduction
Задача любой языковой модели сводится к одному простому принципу: взять входную последовательность (твой запрос) и преобразовать её в выходную (ответ). В научных кругах это называют красиво —, преобразование последовательности.
Но сначала давай разберёмся, что такое языковые модели вообще. Это нейросети, обученные на огромных объёмах текста — миллиардах или триллионах слов из интернета, книг, кода. Они научились находить паттерны в языке: как слова сочетаются друг с другом, какие фразы имеют смысл, а какие — нет.
Первые версии AI читали текст как мы читаем книгу: слово за словом, слева направо. Современные нейросети научились делать круче — они видят весь текст сразу, как будто смотришь на страницу и мгновенно схватываешь суть.
А ответ? Его модель всегда генерирует по-старинке: слово за словом. Написала одно, «подумала», написала следующее. Видел, как в ChatGPT текст появляется постепенно? Это не анимация для красоты. Модель реально так работает — предсказывает каждое следующее слово на ходу.
Почему не сразу весь ответ? Потому что так проще. Можно следить за процессом, корректировать на лету, и главное — не нужно держать в памяти весь текст целиком. Просчитал следующее слово, добавил, пошёл дальше.
Главная цель AI при всём этом: сохранить смысл твоего запроса и выдать что-то адекватное. Звучит просто, но за этим стоят десятилетия исследований.
Сейчас разберём, как всё работает. От самых первых попыток до современных систем, которые кажутся волшебством.
Токены — язык нейросетей
Сначала разберёмся, что такое токен. Это не слово. И не буква. Что-то среднее.
Когда ты пишешь промпт ChatGPT, он не видит твои слова. Он видит токены. Модель разбивает текст на кусочки и превращает их в числа. Только с числами компьютеры умеют работать.
Вот почему все пишут, что русский язык «дороже» для нейросетей. Не потому что хуже. Просто в русском один токен — это примерно одна буква. В английском один токен — это четыре символа.
Есть лимит в 100 тысяч токенов? На английском это километры текста. На русском — в четыре раза меньше.
Лайфхак
: Если у тебя жёсткий лимит токенов, переведи промпт на английский. Сэкономишь прилично.
Векторы — как числа получают смысл
Окей, текст превратился в токены. Токены — в числа. Но как числа могут передавать смысл?
Каждому токену присваивается не одно число, а целый набор чисел. Вектор. Представь координаты в многомерном пространстве. Только не в двух или трёх измерениях, а в сотнях или тысячах.
Слово «кот» — это вектор из 768 чисел.Слово «кошка» — тоже вектор из 768 чисел.
И знаешь что? Эти векторы будут близки друг к другу. Потому что слова близки по смыслу.
Таблица №1
| В голове модели это выглядит примерно так (упрощённо) | |
|---|---|
| вечером: [0 | 8, 0.3, 0.1, 0.9] |
| дома: [0 | 7, 0.4, 0.2, 0.8] |
| смотрят: [0 | 2, 0.9, 0.8, 0.3] |
| фильм: [0 | 3, 0.9, 0.7, 0.2] |
Видишь? «Вечером» и «дома» близки (оба про обстановку). «Смотрят» и «фильм» тоже близки (действие и объект).
Механизм внимания — главный прорыв
Представь, что ты читаешь детектив. В начале упоминается, что дворецкий был в саду. В середине говорится про отравленный чай. В конце находят мёртвого хозяина.
Твой мозг автоматически связывает эти три факта. Дворецкий → сад → чай → смерть. Хм, подозрительно.
Механизм внимания делает то же самое. Он смотрит на каждое слово и спрашивает: «С какими другими словами в тексте это связано?»
- Финансовое учреждение
- Берег реки
Механизм внимания смотрит на слово «реки» и понимает: окей, здесь «банк» — это берег. Связал два слова, устранил неоднозначность.
Тут «банк» связан со словами «процентные ставки». Значит, это финансовое учреждение.
Модель проверяет все связи одновременно. Не последовательно. Параллельно.
Multi-head attention — несколько взглядов сразу
Суть: запускаем несколько механизмов внимания параллельно. Каждый смотрит на текст со своей стороны.
Один «head» (голова) ищет грамматические связи.Другой — семантические (смысловые).Третий — синтаксические.
Это как смотреть на картину с разных углов. Каждый взгляд даёт новый инсайт. Вместе получается полная картина.
GPT-3 использует 96 голов внимания. Claude 3.5 — ещё больше. Каждая голова ищет свои паттерны.
Позиционное кодирование — как модель помнит порядок слов
Есть проблема с параллельной обработкой: модель теряет понимание порядка слов.
«Кот съел мышь» и «Мышь съела кота» — разные по смыслу, но если убрать порядок, для модели это одинаково.
Эти числа закодированы особым образом (через синусоиды), чтобы модель понимала не только абсолютную позицию («ты третий»), но и относительную («ты через два слова от начала»).
Теперь модель знает: «кот» стоит перед «съел», а «мышь» — после. Порядок восстановлен.
Глава третья: Архитектура трансформера — слои, которые строят понимание
Трансформер — это не одна нейросеть. Это стек из множества слоёв, каждый из которых делает свою работу.
Представь конвейер на заводе. Сырьё входит с одной стороны, проходит через десятки станций, на выходе получается готовый продукт.
Обучение трансформера — как AI учится писать
Модель получает огромный текст. Триллионы слов. Весь интернет, по сути.
Модель видит: «Кот сидел на…»Пытается угадать: «заборе».Проверяет ответ в тексте.Ошибка? Корректирует свои веса.
- Грамматике (после «на» обычно идёт существительное)
- Смыслу (кот может сидеть на заборе, но не на облаке)
- Стилю (формальный текст отличается от разговорного)
- Фактам (столица Франции — Париж)
Всё это — из статистики. Модель видит: в 90% случаев после «столица Франции» идёт слово «Париж». Значит, это правильный ответ.
Обучение GPT-3 стоило $4.6 миллиона в электричестве. GPT-4 — десятки миллионов. Это недели работы суперкомпьютеров.
Fine-tuning — делаем модель полезной
После базового обучения модель умеет предсказывать слова, но не умеет быть помощником.
- Хорошие ответы (полезные, вежливые, точные)
- Плохие ответы (грубые, ложные, опасные)
RLHF
Используется метод (Reinforcement Learning from Human Feedback) — обучение с подкреплением на основе человеческих оценок.
- Модель генерирует несколько ответов на один вопрос
- Люди оценивают: какой ответ лучше
- Модель учится генерировать ответы, похожие на те, что люди оценили высоко
Так ChatGPT стал вежливым и полезным. Базовая модель GPT просто продолжала бы текст, но не отвечала бы на вопросы.
Глава четвёртая: Промпт-инжиниринг — как говорить с AI правильно
Ты уже понимаешь, как работает модель. Теперь научимся правильно с ней взаимодействовать.
Промпт — это не просто запрос. Это инструкция для AI. И от того, как ты её напишешь, зависит качество ответа.
Базовые принципы хорошего промпта
Плохо: «Напиши статью»Хорошо: «Напиши статью на 1000 слов про промпт-инжиниринг для начинающих программистов, стиль разговорный, с практическими примерами»
Плохо: «Объясни рекурсию»Хорошо: «Я начинающий программист на Python. Объясни рекурсию простыми словами, с примером кода и аналогией из жизни»
Плохо: «Переведи на английский»Хорошо: «Переведи на английский в неформальном стиле. Пример: ‘Привет, как дела?’ → ‘Hey, what’s up?'»
Chain-of-thought — учим думать пошагово
Иногда задача сложная. Модель ошибается, если пытается ответить сразу.
Плохой промпт: «Реши задачу: Если в магазине яблоки стоят 50₽ за кг, я купил 3.5 кг и дал кассиру 500₽. Сколько сдачи я получу?»
Хороший промпт: «Реши задачу пошагово:1. Посчитай стоимость покупки2. Вычти из суммы, которую дал3. Дай финальный ответ
Задача: Если в магазине яблоки стоят 50₽ за кг, я купил 3.5 кг и дал кассиру 500₽. Сколько сдачи я получу?»
- Шаг 1: 50 × 3.5 = 175₽
- Шаг 2: 500 — 175 = 325₽
- Шаг 3: Ты получишь 325₽ сдачи
Role prompting — назначаем модели роль
«Ты опытный Python-разработчик с 10-летним стажем. Объясни, почему список comprehensions в Python эффективнее циклов for.»
Negative prompting — говорим, чего НЕ делать
«Напиши краткое описание продукта. Не используй слова ‘инновационный’, ‘революционный’, ‘уникальный’. Не пиши маркетинговую шелуху, только факты.»
Глава пятая: Как модель может ошибаться — галлюцинации и лимиты
Галлюцинации — когда модель врёт уверенно
Самая известная проблема языковых моделей: они иногда выдумывают факты.
Спросишь: «Кто изобрёл квантовый компьютер?»Модель ответит уверенно: «Квантовый компьютер изобрёл Дэвид Дойч в 1985 году.»
Звучит убедительно. Но это ложь. Дойч — реальный учёный, но дата и формулировка неточны.
Модель не «знает» факты. Она предсказывает вероятные слова. Если в обучающих данных Дэвид Дойч часто упоминался рядом с квантовыми компьютерами, модель свяжет их.
- Проверяй факты в надёжных источниках
- Проси модель цитировать источники
- Используй команды типа «Если не уверен, скажи ‘не знаю'»
Предвзятость и токсичность
Модели обучены на данных из интернета. А интернет… ну, он не идеален.
- Гендерные стереотипы
- Расовая предвзятость
- Токсичные выражения
- Политическая ангажированность
- Фильтрацию данных
- RLHF для исключения токсичности
- Специальные ограничения в промптах
Дороговизна вычислений
Если у тебя миллион пользователей, каждый делает 10 запросов в день — это $300,000 в день. $9 миллионов в месяц.
Вот почему многие сервисы ограничивают количество запросов или берут подписку.
Вычислительная мощность — узкое место. Пока модели не станут легче, стоимость останется высокой.
Глава шестая: Эволюция моделей — от GPT-3 до современных систем
GPT-4 — шаг в мультимодальность
Загружаешь фотку интерфейса, просишь написать код для него — получаешь рабочий HTML/CSS.
Это первый шаг к моделям, которые понимают мир как мы: через комбинацию слов и образов.
Claude от Anthropic — фокус на безопасности
Claude создан компанией, основанной бывшими сотрудниками OpenAI. Их фокус: безопасность и честность.
Claude реже галлюцинирует. Он признаётся, если не уверен. Отказывается от токсичных запросов более последовательно.
А ещё у Claude — огромное контекстное окно. 200 тысяч токенов. Можешь загрузить целую книгу и работать с ней.
Gemini от Google — скорость и многозадачность
Gemini 1.5 Pro может обрабатывать 1 миллион токенов. Это ~1500 страниц текста.
Мультимодальные модели — всё в одном
- Видит изображения
- Слышит аудио
- Читает текст
- Отвечает текстом, голосом или изображением
Можешь загрузить фотку, спросить голосом «Что это?» — и получить ответ тоже голосом.
Глава седьмая: Будущее уже здесь (но распределено неравномерно)
- Анализирует текущий код
- Находит нужные библиотеки
- Пишет код
- Тестирует
- Создаёт pull request
Coding Agent
Май 2026. Анонс — ещё более автономной версии. Он работает в облачной среде разработки, сам коммитит, сам пушит изменения.
Специализированные модели
Med-PaLM
(Google):Обучен на медицинских данныхКонсультирует врачейТочнее GPT в медицинских вопросах
BioGPT
:Биология, химия, фармакологияПредсказание структуры белковРазработка новых лекарств
Эти модели дообучаются на специализированных датасетах. Их токенизация тоже адаптирована: юридические термины и медицинские сокращения — это отдельные токены.
Что дальше?
Модели будут умнее
.GPT-5 уже в разработке. Будет понимать ещё лучше, ошибаться реже.
Контекст будет больше
.Миллионы токенов контекста — это вопрос пары лет. Сможешь загрузить всю библиотеку документации и работать с ней.
Агенты станут нормой
.AI не будет просто отвечать. Он будет действовать. Бронировать билеты, писать код, создавать контент. Автономно.
Персонализация усилится
.Твой личный AI-ассистент, который знает твои предпочтения, стиль работы, цели. Работает только на тебя.
AI остаётся инструментом
Но одно не изменится:. Мощным, но требующим понимания.
Часто задаваемые вопросы о понимании стиля нейросетями
Вопрос: Может ли нейросеть сама выбрать подходящий стиль ответа без указаний в промпте?
Ответ: Да, но в ограниченной степени. Модель, обученная на разнообразных текстах, способна уловить контекст запроса и подстроиться под него, однако явные инструкции делают результат более предсказуемым и точным.
Вопрос: Что важнее для определения тона: слова в промпте или их порядок?
Ответ: И то, и другое. Ключевые слова задают направление, а порядок (через механизм внимания и позиционное кодирование) помогает модели понять их взаимосвязь и важность для формирования общего стиля.
Вопрос: Почему иногда нейросеть игнорирует указания по стилю?
Ответ: Это может происходить из-за конфликта инструкций, перегруженности промпта, недостаточной ёмкости контекстного окна или внутренних смещений модели, заложенных во время обучения.
Вопрос: Как few-shot промптинг помогает передать стиль?
Ответ: Предоставляя модели несколько примеров вопросов и ответов в нужном стиле, вы явно демонстрируете шаблон, который ей следует воспроизвести, что часто эффективнее абстрактного описания.
Вопрос: Влияет ли роль (role prompting) на тон ответа?
Ответ: Критически. Назначение роли (например, «эксперт», «друг», «строгий учитель») активирует соответствующие паттерны в данных обучения модели, что автоматически меняет лексику, сложность предложений и общую манеру общения.
Вопрос: Можно ли научить модель уникальному авторскому стилю?
Ответ: Да, с помощью тонкой настройки (fine-tuning) на конкретных текстах определённого автора. Однако для качественного результата требуется значительный объём данных и вычислительных ресурсов.
Вопрос: Что такое «температура» в генерации и как она влияет на стиль?
Ответ: Параметр «температура» управляет случайностью выбора слов. Низкая температура делает ответы более предсказуемыми и консервативными, высокая — креативными и неожиданными, что может как украсить, так и испортить заданный стиль.
Вопрос: Понимают ли мультимодальные модели стиль изображений и текста вместе?
Ответ: Современные мультимодальные модели учатся находить связи между визуальным и текстовым контентом, поэтому могут адаптировать описание изображения под нужный текстовый стиль, и наоборот.
Вопрос: Как механизм внимания помогает уловить тон?
Ответ: Механизм внимания позволяет модели «взвешивать» важность разных слов в промпте и контексте. Слова, связанные с эмоциями или стилистическими указаниями, получают больший «вес», что напрямую влияет на генерацию.
Вопрос: Почему для управления стилем важен negative prompting?
Ответ: Negative prompting (указание, чего делать не стоит) помогает отсечь нежелательные стилистические паттерны, которые модель могла бы применить по умолчанию, делая результат более чистым и соответствующим ожиданиям.
Краткая памятка по управлению стилем ответа нейросети
- Чётко формулируйте желаемый стиль и тон в самом промпте (например, «кратко», «официально», «дружелюбно»).
- Используйте технику назначения роли (Role Prompting) для автоматической настройки лексики.
- Для сложных стилей применяйте Few-shot промптинг — покажите модели 2-3 наглядных примера.
- Задействуйте Chain-of-Thought для ответов, требующих логических рассуждений в определённой манере.
- Указывайте не только что делать, но и чего избегать с помощью Negative Prompting.
- Помните об ограничении контекстного окна — ключевые стилистические инструкции ставьте ближе к началу.
- Экспериментируйте с параметром «температура»: ниже для строгости, выше для творчества.
- Для сложных задач разбивайте запрос на части, сохраняя стилистические указания на каждом этапе.
- Учитывайте, что модель может иметь встроенные стилистические смещения от обучения.
- В мультимодальных запросах описывайте желаемый стиль как для текста, так и для визуала.
- Проверяйте, не противоречат ли друг другу ваши инструкции по содержанию и стилю.
- Используйте уточняющие вопросы к модели, если стиль ответа не соответствует ожиданиям.
- Для постоянного использования уникального стиля рассмотрите возможность тонкой настройки (fine-tuning).
