Что такое нейросеть в программировании

Что такое

Нейросеть является вычислительной моделью, которая была создана на основе структуры, функций мозга человека. В нее входят узлы (нейроны), которые объединены в слои, могут обрабатывать информацию. Системы являются частью области искусственного интеллекта (ИИ), имеют широкое использование.

Статья написана в рамках курса бэкэнд-разработчик на PythonПолучите 3-х дневный бесплатный демо-период

• Структура. Системы имеют входной слой, один или несколько скрытых слоев, выходной слой. Каждый нейрон в одном слое связан с нейронами в следующем, что позволяет передавать информацию, адаптировать ее в процессе обучения;
• Обучение. Программы ИИ учатся на больших объемах данных. В процессе обучения алгоритм корректирует объемы связей между нейронами, минимизируя ошибку предсказаний. Методы, такие как градиентный спуск, используются для обновления весов на основе обратной связи;
• Обработка данных. ИИ способен обрабатывать, анализировать сложные данные, включая текст, изображения и звук. Это делает его особенно полезными в задачах, связанных с естественным языком, компьютерным зрением, другими областями.

Входящие данные

На входе нейросеть получает входящие данные в вире запроса пользователя. К запросу пользователя также добавляется общая информация, которая позволяет получить более точный ответ. Если нейросеть поддерживает RAG (Retrieval-Augmented Generation), то к запросу добавляются также:

Данные из векторной базы, если в нее предварительно добавили то, что нужно для генерации более актуального ответа

Извлеченные из интернет страницы или документа- для того, чтобы сократить их размер, часто используется специализированная embedding нейросеть, она находит все подходящие куски текста и добавляет к контексту запроса

Возможно ли в нескольких предложениях описать, как работает нейросеть?

Постараюсь. Представьте структуру, состоящую из сотен тысяч векторов в тысячимерном пространстве. Для каждого слова, участка изображения или любой другой сущности в результате обучения вычислен свой вектор, в координатах которого заложена взаимосвязь со всеми остальными векторами пространства. Таким образом, для всех векторов вопроса можно рассчитать взаимосвязь со всеми остальными существующими векторами пространства. Векторы, имеющие наибольшую взаимосвязь, будут ответом.

Каким образом LLM модель понимает различные языки?

Модель “понимает” разные языки благодаря тому, что в процессе обучения она видит тексты на многих из них и учится предсказывать следующий фрагмент независимо от языка. Основные моменты:

Большой мультиязычный корпус:Для обучения собирают тексты (википедия, книги, веб-страницы из Common Crawl и прочие) на десятках и сотнях языков. Например, в открытой модели BLOOM было около 46 языков, причём доля каждого зависит от объёма доступных данных

Общая токенизация subword:Используются алгоритмы вроде BPE или SentencePiece, которые разбивают слова на фрагменты (subword) и включают в словарь символы и последовательности из разных алфавитов. Так модель оперирует единым набором токенов для всех языков

Универсальная архитектура трансформера:В трансформере одни и те же веса участвуют при обработке любых языков. Поэтому при обучении на разных языках модель находит общие паттерны (синтаксис, семантика) и использует перекрёстное перенесение знаний (cross-lingual transfer)

Не все языки и не во всех объёмах:Обучают лишь на тех языках, где есть достаточный объём текстов. Редкие или низкоресурсные языки попадают в отдельные дообучения или получают меньшую долю данных, поэтому качество генерации на них ниже

Специальные дообучения и адаптеры:Чтобы улучшить знание малоизвестных языков, применяют дообучение (continual pretraining) на локальных данных или вставляют адаптеры (adapters, LoRA), которые тонко корректируют знания модели под конкретный язык.

Токенизация текста:

LLM не работает со словами напрямую — она работает с токенами (частями слов или символами), преобразованными в числа.

Как это достигается:Используется алгоритм вроде Byte Pair Encoding (BPE), Unigram, WordPiece или -токенизатор находит наиболее частые пары символов.WordPiece строит токены на основе вероятности иерархических разбиений.Часто токены — это не отдельные слова, а части слов.

В словарь включены специальные маркеры начала слова (пробел, “##” и т. п.), поэтому ни один субтокен не пересекает границу двух слов.Токенизация всегда идёт «жадно» — берётся максимально длинный совпадающий с началом оставшейся строки токен.

Разные по смыслу слова могут иметь общие токены, например «привет» и «пример» могут иметь общий токен «при»:

Хотя «при» повторяется в обоих словах, модель сразу смотрит не только на этот кусочек, но и на соседние токены и на всю фразу (об этом дальше в статье).

Сначала «при» превращается в вектор — просто набор чисел, описывающих эту часть слова.

Затем трансформер (многослойная сеть) смешивает этот вектор с векторами соседних токенов («вет» или «мер») и добавляет информацию о позиции в предложении.

В итоге в первом слое «при» в «привет» уже отличается от «при» в «пример», потому что туда «подмешался» разный контекст.

То есть общий кусочек «при» сам по себе нейтральный, а смысл формируется дальше по слоям на основе окружения.

Почему токены, а не слова:Меньше словарь = экономия памяти.Лучше обрабатываются редкие и составные слова.Позволяет модели “учиться” понимать структуру слов.

Размер словаря, или “vocab_size”, определяет, сколько уникальных токенов может обрабатывать модель.Больше словарь = меньше разбиений слов на части, но больше объём embedding-слоя.

Слово «программирование» может быть целиком одним токеном в модели с крупным словарём,а может разбиться на части («пр», «ограм», «мирование») в модели с меньшим словарём.

Токенизация изображений:

В отличие от текстовой токенизации (где токены — это слова, сабворды, символы), в изображениях токены — это фрагменты изображения или представления признаков. Ниже рассмотрены основные подходы.

Для изображений вместо токенов получают сразу матрицу (или тензор) пикселей.

В классических свёрточных сетях (CNN) маленькие участки картинки (например, 3×3 или 5×5 пикселей) скользят по изображению, и для каждого участка свёртка с набором фильтров выдаёт вектор признаков. Эти векторы собираются в карты признаков и передаются дальше.

В современных трансформерах для изображений (Vision Transformer) картинку разбивают на «пэчи» (квадраты, скажем, 16×16 пикселей), каждый пэтч выравнивают в вектор и тоже проецируют через матрицу эмбеддингов в вектор-представление, как токен в NLP.

Patch Embedding (разбиение на патчи) — классический подход ViT:Изображение делится на сетку квадратных патчей, например, 16×16 пикселей.Каждый патч разворачивается в вектор (flatten), потом линейно проецируется в эмбеддинг фиксированной размерности (например, 768).В результате получается последовательность токенов: один токен на патч.

Пример:224×224 RGB изображение с патчами 16×16 → 14×14 = 196 токенов + [CLS] токен.Каждый токен: вектор размером 768.

CNN Feature Maps как токены:Используются свёрточные сети (ResNet, ConvNext) для извлечения признаков.Пространственные признаки (feature map) на выходе можно интерпретировать как токены, где каждый элемент сетки — вектор.Применяется в CLIP и других гибридных моделях.

VQ-VAE / VQ-GAN токенизация (дискретная):Кодировщик (энкодер) преобразует изображение в карту признаков и затем квантует её в дискретные токены (индексы из словаря).Каждый токен — это индекс в словаре визуальных патчей.Используется в DALL·E, Imagen, LLaVA и других мультимодальных генеративных моделях.Плюсы: модель работает с «словами» визуального языка.Минусы: потеря точности, неустойчивая генерация.

Segment/Region-based токены (DETR, Region Attention):Изображение разбивается на смысловые регионы (сегментация, объекты).Каждый регион преобразуется в токен с помощью агрегации признаков.Используется в задачах детекции объектов и визуального ответа на вопросы (VQA).

Patch + Positional Encoding:Как и в NLP, каждому патчу добавляется позиционная информация (абсолютная, относительная или learnable), чтобы сохранить пространственную структуру изображения.

Максимальная длина контекста:

Контекст — это оперативная память модели, размер контекста это максимальное количество токенов (слов, символов или их частей), которое языковая модель может обработать за один запрос.Это «объём памяти», который модель может видеть одновременно, чтобы сформировать ответ. Всё, что выходит за пределы этого окна, модель забывает или не видит напрямую.

Размер контекста напрямую влияет на способность модели помнить предыдущие сообщения в диалоге.

Модель не имеет встроенной долговременной памяти — она не «помнит» вас как человек. Она просто обрабатывает весь предыдущий диалог как входной текст (токены), передаваемый при каждом запросе. Это и называется контекст.

Шаг 2: Token embedding (из токена в вектор)

В LLM модели для кажого ID токена хранится Token Embedding, или массив цифр. Эти числа описывают, что означает этот токен, как если бы ты переводил слово в математическую форму.

Изначально эти веса инициализируются случайно или по специальному правилу (например, Xavier или He), а потом во время обучения для каждого веса вычисляют градиент потери (насколько ошибка растёт или падает при его изменении).

Алгоритм обратного распространения (“backpropagation”) рассчитывает, как изменение каждого веса повлияет на итоговую ошибку, а затем градиентным спуском (или его вариациями) корректирует эти веса.

Так постепенно усиливаются связи между теми компонентами векторов, которые вместе дают полезную информацию, и ослабевают все ненужные — получается набор взаимосвязанных векторов, оптимальных для решения задачи.

Размерность вектора (Embedding Size, d_model) на каждом слое трансформера:

Количество измерений у token embedding фиксировано для всей модели и зависит от её архитектуры.

Количество элементов вектора смысла влияет на:Больше размерность = больше “места” для хранения семантики, синтаксиса, контекста.Это позволяет различать более тонкие смыслы между токенами.Размер памяти всех весов и активаций растёт квадратично с embedding size.

Точность вектора:

Также числа с плавающей точкой, из которых состоит вектор, могут иметь различную точность:Меньшая точность уменьшает размер модели и ускоряет обработку.

Обычно модели обучаются на полной точности FP32 (float32), то есть вектор состоит из чисел размерностью 32 бита.

Квантование (Quantization):

для уменьшения точности для облегчения модели используется квантование —процесс преобразования чисел с плавающей точкой (например, FP32) в более компактные целочисленные представления (например, INT8), с сохранением приближённого значения.При этом вводится небольшая потеря точности, но она часто не влияет критично на качество вывода.

Шаг 3: Positional Encoding / Embeddings

Без дополнительной информации фразы:«Кот ест рыбу»«Рыбу ест кот»могли бы восприниматься одинаково, ведь набор слов одинаков.

Чтобы дать модели ощущение порядка, каждому токену (слову или части слова) добавляется позиционный вектор — набор чисел, который сообщает модели на каких позициях находятся слова.

Positional Encoding / Embedding это:Вектор такой же размерности, как у токена (d)Представляет позицию в последовательностиМожет быть задан формулой (sin/cos) или обучаемОбъединяется с вектором токена на входе в модель

Тензор (Tensor)

в нейросети это многомерный массив чисел, с которым работают слои модели.Входные данные:Текст → токены → эмбеддинги → тензор batch_size × seq_len × embedding_dim.Веса модели:Весовые матрицы в слоях — тоже тензоры.Промежуточные представления (активации):Выход каждого слоя (например, LayerNorm, Attention) — тензор.Градиенты:При обучении модель считает градиенты (тензоры) для обновления весов.

Трансформер (Transformer):

Архитектура нейросети, которая стала основой для современных языковых моделей, таких как ChatGPT, BERT, LLaMA, Gemma и многие другие.Он был впервые описан в научной статье 2017 года под названием “Attention is All You Need”.Проще говоря, трансформер — это “умная машина”, которая умеет читать и понимать текст, обрабатывая все слова одновременно, а не по одному, как это делали предыдущие модели (например, RNN, LSTM).

Слои трансформера (Transformer Layers):

это повторяющиеся блоки, через которые проходит каждый токен внутри модели.

Каждый слой трансформера (Transformer Block) — это отдельный набор параметров, которые:независимо обучаются,независимо применяются к входным данным,дают всё более “глубокое” понимание смысла и контекста.

Что значит «32 слоя»:каждый токен проходит через 32 такие операции, последовательно одну за другой, после каждого слоя токен становится всё более информированным, т.е. его представление (вектор) всё глубже отражает контекст

Шаг 4: Attention, Self-Attention (Вектор Внимания, Q,K,V-проекции) и Разбиение на Головы Внимания (Multi-Head Attention)

Теперь, когда токены имеют не только “значение”, но и “позицию”, они проходят через механизм self-attention, благодаря которому каждое слово смотрит на другие слова, чтобы решить, на кого из них мне обратить внимание, чтобы лучше понять свой смысл.

Это похоже на то, как человек читает предложение: он может вернуться глазами к предыдущим словам, чтобы правильно понять контекст.

Self-Attention отвечает за понимание контекста — какие токены важны друг для друга, и позволяет каждому токену взвешенно смотреть на все остальные в последовательности и определять, на что обратить внимание при построении смысла.

Softmax:

это функция, которая берёт на вход вектор чисел и превращает его в распределение вероятностей, где все значения неотрицательны и в сумме дают 1.

Q (вопрос): что я ищу?K (ключ): что я могу предложить?V (значение): какую информацию я несу?

Каждое слово сравнивает свой Q с K всех остальных слов, чтобы узнать, на кого стоит смотреть. После этого оно собирает нужную информацию из V тех слов, которые оказались важными.

Для вычисления представлений используется матрица весов слоя- это обучаемый параметр нейросети, то есть она инициализируется случайно при создании модели и обучается вместе с остальными весами. Изначально случайная, потом становится «умной» за счёт обучения.

Как они обучаются:На этапе обратного распространения (backpropagation) модель сравнивает свои предсказания с правильным ответом (например, следующий токен) и обновляет Wq, Wk, Wv по градиенту ошибки с помощью оптимизатора (например, Adam).

Параметры Wq, Wk и Wv могут быть общими или различными для каждой из голов, в зависимости от модели.

Wq (Query Projection):Создаёт “вопрос” — что токен хочет найти в других токенах.Определяет направление внимания.

Wk (Key Projection): Создаёт «ключ» — что каждый токен предлагает другим. Используется для сравнения с Q (насколько Qᵢ «похож» на Kⱼ).

Wv (Value Projection): Создаёт «информацию», которую токен может передать, если на него обратили внимание.

Голова внимания (attention-head):Также у моделей существуют Голова внимания (attention-head). Каждая голова внимания (attention-head) обрабатывает входной вектор по-своему, через свои Q, K, V проекции, и смотрит на разные аспекты предложения.

У каждой attention-head есть своя точка зрения:одна голова может отслеживать грамматику (например, подлежащее и сказуемое),другая — смысловые связи (например, кто на что действует),третья — позиции, контекст и т. д.Вместо одной “точки зрения” — сразу несколько.

Каждая голова видит весь текст, но — анализирует его по-своему, через проекцию и внимание.

Пример:В предложении“Мальчик, который держал мяч, убежал.”Разные головы могут видетьГолова 1: “мальчик” ↔ “убежал” → кто выполняет действиеГолова 2: “который” ↔ “держал” → вложенная грамматическая связьГолова 3: “мяч” ↔ “держал” → объект действияКаждая голова выдаёт своё представление для каждого токена, с учётом своих “наблюдений”.

Архитектура Multi-Head Attention (MHA):Классическая реализация self-attention, как в оригинальной статье “Attention is All You Need”.Что происходит:Есть несколько головКаждая голова имеет свои Wq, Wk, WvКаждая голова по-своему анализирует весь контекстРезультаты всех голов объединяются и проходят через общую WoПлюсы:Гибкость: каждая голова “смотрит” на вход по-своемуОтлично работает при больших вычислительных ресурсахМинусы:Очень дорого по памяти и скорости при большом количестве головОсобенно при длинных последовательностях

Архитектура Multi-Query Attention (MQA):Оптимизированная версия внимания, используемая в GPT-3.5, PaLM, Gemma и других, чтобы снизить нагрузку на память и ускорить инференс.Что происходит:По одной Wq на головуТолько один Wk и один WvВсе головы используют одни и те же ключи и значенияПлюсы:Меньше памяти: K и V хранятся в одном экземпляреБыстрее генерация: меньше данных хранится между шагамиМинусы:Меньше гибкости (все головы “смотрят” на одинаковые K и V)Может слегка ухудшить качество на сложных задачах

Архитектура Grouped Query Attention (GQA):комбинированный поход из предыдущих 2х

Пример:Например, в архитектуре нейросети Gemma 3 используется Grouped Query Attention (GQA)- компромисс между стандартным Multi-Head Attention (MHA) и Multi-Query Attention (MQA). В этой схеме матрицы Wq (для запросов) различны для каждой головы, тогда как матрицы Wk (для ключей) и Wv (для значений) могут быть общими для групп голов.В этой нейросети:Wq: каждая голова имеет свою уникальную матрицу Wq, что позволяет каждой голове фокусироваться на различных аспектах входной последовательности.Wk и Wv: головы делятся на группы, и внутри каждой группы используется общая матрица Wk и Wv. Это снижает объем вычислений и памяти, необходимых для хранения ключей и значений.Это означает, что 8 голов запросов (Wq) делятся на 4 группы, каждая из которых использует общие матрицы ключей и значений (Wk и Wv).

В итоге, модель Gemma 3 размером 27B имеет80 слоев и 64 головы, внутри будут:64 разных Wq (Query Projection)8 разных Wk (Key Projection)8 разных Wv (Value Projection)64 разных Wo (Output Projection)80 MLP с разными весами (Feed-Forward Network)80 LayerNorm с разными гамма/бета-параметрами

Каузальное маскирование (Causal Masking):применяется в некоторых моделях. Когда языковая модель (LLM) генерирует текст, она должна предсказывать следующее слово на основе только предыдущих слов.Это означает, что Токен не должен иметь доступ к токенам, которые идут после него.Чтобы обеспечить это ограничение, используется каузальное маскирование — это механизм, который “запрещает” вниманию видеть будущие токены.

Как это работает:В обычном self-attention каждый токен “смотрит” на все токены в последовательности, включая и будущие.При генерации это неприемлемо, потому что это было бы “жульничеством” — модель видит ответ заранее.Чтобы это предотвратить, при вычислении attention применяют маску — специальную матрицу, называемую attention mask.Для последовательности длины n создаётся треугольная маска, в которой:Значения выше диагонали заменяются на -∞ или большое отрицательное число.После этого применяется softmax, и эти значения превращаются в нулевое внимание.

Где используется Causal Masking:GPT, LLaMA, Mistral, Gemma и прочие автогенеративные модели обязательно используют каузальное маскирование.BERT, наоборот, использует bidirectional attention — токен может видеть весь контекст (в т.ч. будущее), потому что задача другая — не генерация, а понимание.

Почему это важно, без causal masking:Модель при обучении будет “подглядывать” на правильный ответ (следующий токен).Это приведёт к плохой генерации при использовании модели в inference, когда будущее неизвестно.

Роль позиции в Self-Attention:Без Position Encoding, Self-Attention видит только смысл слов, но не их порядок. С добавленным Position Encoding, Self-Attention начинает учитывать не только, что написано, но и где это находится:“Мальчик” раньше “читал” → возможно, он субъект“Книга” рядом с “читал” → скорее всего, объект

Что в итоге делает трансформер:Каждое слово получает информацию о своей позицииЧерез self-attention каждое слово “спрашивает” все остальные:“Что вы значите для меня в этом контексте?”Модель складывает эти ответы и получает глубокое понимание смысла всей фразыПовторяет это на каждом слое (обычно 12–40 раз), углубляя “понимание”

Вычисление Attention Score между токенами:На этом этапе мы получили Q, K и V для одного токена и одной головы внимания. Далее можно перейти к вычислению attention score между токенами, например, между “Привет” и “мир”, с использованием формулы:

Этот вектор Attention Score — новое представление токена «Привет», в котором учтён его контекст: и сам он, и соседи. Именно такие векторы потом идут либо в следующий attention‑слой, либо на выход модели.

Сравнение токена сам с собой нужно потому, что в self‑attention каждый токен «смотрит» на все токены, включая сам себя.Это необходимо для того, чтобы:Сохранить информацию о самом токене — иначе он бы «терялся» на фоне остальных.

Научиться «усиливать» или «подавлять» себя — например, в некоторых языковых ситуациях токен важен сам по себе (например, личное местоимение), а иногда его контекст важнее.Обеспечить симметрию — матрица внимания всегда квадратная (n × n), и по диагонали — это как раз self‑to‑self attention.

Формально attention — это веса, по которым токен агрегирует информацию от других токенов (в т.ч. от самого себя) и w1 — это внимание «Привет» к самому себе. Если его не считать — токен «Привет» вообще не участвовал бы в своем собственном выходе.

Пример:Он сказал, что он придет.Когда модель обрабатывает токен «он», ей нужно:«посмотреть» на другие токены — чтобы понять контекст,но и сам токен «он» тоже важен, чтобы не потерять информацию о том, о ком идет речь.

Шаг 5: Объединение голов внимания (Head Concatenation, Concatenated Multi-Head Attention)

Предыдущие рассчеты происходили для каждой из голов внимания, теперь необходимо объединить результаты. Напомню, результаты разные из за разных Wq, Wk, Wv для разных голов.

Шаг 6: Output Projection (Wo)

После объединения attention-выходов с разных голов, они обычно пропускаются через линейный слой (Dense Layer), чтобы вернуть их в исходное пространство размерности модели.

Шаг 7: Добавление Residual (остаточного соединения)

это суммирование входа слоя с его выходом. Мы складываем выход с входным вектором, который подавался на вход блока (input embedding или выход предыдущего слоя).

Это используется, чтобы:Сохранить исходную информацию (градиенты легче передаются назад).Избежать “затухания” сигнала через множество слоёв.Облегчить обучение даже очень глубоких нейросетей.

Шаг 8: Нормализация слоя (Layer Normalization)

нормализует значения внутри одного вектора признаков, то есть по размерности признаков (feature dimension).

Зачем это нужно:Устраняет смещение и масштабные различия между признаками.Делает обучение более стабильным.Ускоряет сходимость нейросети.Лучше работает при маленьких батчах, в отличие от BatchNorm.

Шаг 9: FFN (Feed-Forward Network) и MLP (Multilayer Perceptron)

FFN (Feed-Forward Network):это компонент трансформера, который обрабатывает каждое слово (или токен) по отдельности, без учета других токенов.

Он применяется независимо к каждому токену после слоя внимания и представляет собой двухслойную нейросеть с нелинейной функцией активации.

MLP = общее название архитектуры,FFN = частный случай MLP, используемый внутри трансформеров.

Активация (Activation):

это промежуточные выходы нейросети после применения функций и слоев).Можно сказать, что активации это данные, которые “живут внутри сети” на каждом этапе прохода входа через модель.

Шаг 10: Residual + LayerNorm (второй слой нормализации)

После FFN к результату снова прибавляют вход этого блока (результат шага 6) и снова нормализуют вектор — это помогает сохранить информацию и стабилизировать расчёты

Шаг 11: Подача выхода блока в следующий трансформер-блок

Получив на выходе одного блока трансформера нормализованный вектор, модель передаёт его на вход следующему блоку. Таких блоков может быть десятки — каждый добавляет всё больше «понимания» контекста

Шаг 12: Финальная LayerNorm нормализация после последнего блока

После последнего слоя ещё раз применяют LayerNorm — это заключительный штрих перед генерацией логитов, чтобы сгладить разброс значений

Шаг 13: Линейная проекция в логиты (Logits Projection) + Softmax

Нормализованный вектор из последнего слоя умножают на матрицу эмбеддингов (или отдельный линейный слой), чтобы получить «сырые» оценки (logits) для каждого токена словаря. Затем эти оценки превращают в вероятности с помощью Softmax или сразу передают в семплеры для отборки токена

Что такое logits:«сырые» значения, которые ещё не нормализованы в вероятности.Например, если словарь состоит из 50 000 токенов, то logits — это просто 50 000 чисел, одно для каждого токена.

Для каждого токена в последовательности модель сформировала его представление (hidden state).

Теперь надо преобразовать этот hidden state в логиты по словарю — оценку вероятности появления каждого возможного следующего токена.

почти во всех современных LLM применяется weight tying — то есть Wᵀ берётся из того же слоя, что и эмбеддинги на входе. Это экономит память и улучшает обобщающую способность модели.

Шаг 14: Выбор следующего токена (sampling)

Полученные logits проходят через цепочку семплеров: сначала применяются штрафы за повторения и температура, затем фильтры (top-k, top-p и др.), а в конце — финальный семплер (миростат, жадный выбор или распределение). Именно этот токен добавляют в контекст, и генерация повторяется с шага 1 до достижения конца или нужной длины.

В бекенде можно составлять цепочки семплеров, сначала промежуточные, затем цепочка должна завершаться финальным семплером.Порядок применения семплеров в:

Temperature (temp):

управляет степенью случайности при выборе следующего токена из распределения вероятностей, вычисленного моделью. Температура сужает или расширяет «воронку выбора» следующего слова. Чем она ниже — тем уже воронка, тем выше — тем шире.

После того как модель предсказала логиты (сырые значения вероятностей) для всех возможных токенов, они проходят через softmax-функцию. Температура влияет на эту функцию:

Эффект параметра temperature:T = 1 логиты остаются как есть.T < 1 (например, 0.7) модель усиливает различия между токенами — вероятные токены становятся ещё более вероятными. Поведение становится более предсказуемым.T > 1 (например, 1.5) различия между токенами сглаживаются — возрастает шанс выбрать менее вероятный токен. Поведение становится более разнообразным и рискованным.T → 0 softmax превращается в argmax, и всегда выбирается один самый вероятный токен.

Top-k:

модель выбирает следующий токен только из k наиболее вероятных. Все остальные токены отбрасываются, независимо от их абсолютной вероятности.

Top-p (nucleus sampling):

выбирается минимальное множество токенов с наибольшими вероятностями, сумма которых превышает заданный порог p. Остальные токены полностью отсекаются, даже если они имели высокий ранг.

Min-p:

отсекаются все токены с вероятностью ниже заданного порога p. Он жёстко ограничивает выбор, исключая слишком маловероятные токены независимо от их ранга или общей суммы вероятностей, как в top-p.

Typical sampling:

выбирает токены, близкие к «типичному» уровню неожиданности (surprisal), отсекая слишком предсказуемые и слишком редкие. В отличие от top-k и top-p, он ориентируется на медианное значение surprisal, а не на вероятность токенов.

Repetition penalties, Frequency penalty, Presence penalty:

снижает шансы повторного выбора уже сгенерированных токенов, уменьшая их логиты. Это помогает избежать навязчивых повторов в тексте и делает вывод более разнообразным.

Logit bias:

метод, позволяющий вручную изменить вероятность отдельных токенов перед применением softmax, добавляя или вычитая значения из их логитов. Это даёт точечный контроль: можно, например, заставить модель избегать определённых слов или, наоборот, чаще их выбирать.

Tail Free Sampling (TFS):

выбирает токены, близкие к «типичному» уровню неожиданности (surprisal), отсекая слишком предсказуемые и слишком редкие. В отличие от top-k и top-p, он ориентируется на медианное значение surprisal, а не на вероятность токенов.

Greedy:

самый простой способ генерации, при котором модель всегда выбирает токен с наивысшей вероятностью (максимальный логит). Он быстрый и детерминированный, но часто приводит к однообразному и предсказуемому тексту.

Random:

выбор следующего токена случайно, пропорционально его вероятности после всех применённых семплеров (top-k, top-p и т.д.). Это противоположность жадного выбора (greedy), где всегда берётся токен с максимальной вероятностью.

Dist:

снижает вероятность токенов, образующих уже встречавшиеся n-граммы, чтобы уменьшить повторяемость текста. Он динамически штрафует повторы, делая генерацию более разнообразной.

Mirostat v1:

поддерживает заданный уровень неожиданности (перплексии) с помощью более точного управления, чем Mirostat v1. Он использует расширенный механизм обратной связи, позволяющий динамически корректировать выбор слов для достижения стабильного качества текста.

Mirostat v2:

поддерживает заданный уровень неожиданности (перплексии) с помощью более точного управления, чем Mirostat v1. Он использует расширенный механизм обратной связи, позволяющий динамически корректировать выбор слов для достижения стабильного качества текста.

Grammar:

использует правила грамматики (обычно в виде CFG) для жёсткого ограничения допустимых токенов на каждом шаге генерации. Вместо изменения логитов, он просто запрещает все токены, не соответствующие текущему допустимому состоянию грамматики, обеспечивая строго структурированный вывод.

Шаг 15: Итерация генерации

После того как модель выбрала следующий токен, он добавляется в конец входной последовательности.

Контекст расширяется: теперь в качестве “исходного” текста для токенизации берутся все предыдущие токены плюс новосгенерированный.

Затем алгоритм возвращается к шагу 1 (токенизация), и процесс повторяется до тех пор, пока не будут выполнены условия прекращения.

Такой цикл позволяет по одному токену строить всю выходную последовательность.

Условия завершения:

Генерация завершается, когда модель выдаёт специальный токен конца предложения (EOS) или когда достигается заранее заданная максимальная длина последовательности.

В некоторых реализациях добавляют ещё и правило завершения по вероятностному порогу: если максимальная вероятность следующего токена ниже заданного значения, генерация тоже останавливается.

Шаг 16: Преобразование токенов в слова

После того как модель сгенерировала нужное количество токенов, их преобразуют обратно в текст — это называется детокенизация. Токенизатор берёт последовательность чисел (токенов) и переводит их в слова и знаки препинания. Обычно это делают уже после полной генерации или по ходу, если нужно получать текст «на лету».

Как работает RAG

Retrieval (извлечение):Ищет релевантную информацию из внешней базы знаний (чаще всего — векторная база, например, FAISS, Qdrant, Weaviate). Эта база обычно построена заранее из текстовых документов (pdf, markdown, html и др.), преобразованных в эмбеддинги с помощью модели (например, BERT, Instructor, или SentenceTransformer).

Generation (генерация):LLM (GPT, LLaMA, Mistral и др.) получает исходный запрос + найденные документы и генерирует финальный ответ.

В некоторых нейросетях для отделения запроса пользователя, контекста, полученного при помощи RAG и общего сообщения используется разметка.

context:это данные полученные из интернет при помощи embedding нейросети или из векторного хранилища и отсортированные по совпадению score по мере убывания

Функции

Использование нейросетей в программировании является распространенной практикой. Благодаря им упрощается написание кодов, ускоряется процесс создания любого приложения, проекта. Но они не могут полностью создавать программный продукт, их можно применять в качестве вспомогательного средства.

Нейросети, вдохновленные работой человеческого мозга, все глубже интегрируются в сферу программирования, предлагая новые, мощные инструменты для разработчиков. Они способны выполнять разнообразные задачи, значительно повышая эффективность и качество разработки программного обеспечения.

Таблица №1

Функции
Автодополнение	ИИ анализируют контекст написанного кода, предлагают варианты продолжения, сокращая время набора, уменьшая вероятность ошибок;
Генерация	По текстовому описанию задачи может генерировать фрагменты или даже целые функции, что особенно полезно для рутинных, повторяющихся задач;
Поиск и исправление ошибок	Сервисы обучаются на огромных массивах, способны обнаруживать синтаксические, логические, семантические ошибки, а также предлагать варианты исправления;
Рефакторинг	Искусственный интеллект может автоматически улучшать структуру, читаемость существующего кода, делая его более поддерживаемым, масштабируемым;
Документирование	На основе анализа могут генерировать документацию, описывающую его функциональность, использование;
Тестирование	Системы способны генерировать тестовые случаи для проверки корректности работы программного обеспечения;
Перевод	Сервисы могут переводить код с одного языка программирования на другой, что полезно при миграции на новые технологии;
Создание новых алгоритмов	Иногда могут самостоятельно создавать новые алгоритмы решения задач, основываясь на имеющихся данных, знаниях.

Популярные нейросети для программистов

С развитием технологий искусственного интеллекта, машинного обучения, нейросети стали неотъемлемой частью инструментов, доступных программистам. Они используются для создания, оптимизации, автоматизации процессов программирования. Ниже можно рассмотреть ТОП лучших нейросетей, которые часто применяются среди программистов.

Таблица №2

Лучшие бесплатные нейросети
OpenAI Codex	Это мощный сервис, который был разработан для понимания, генерации кода. Система основана на GPT-3 (Generative Pre-trained Transformer 3) и может создавать код на различных языках программирования, включая Python, JavaScript и более. Codex может помочь разработчикам в автозаполнении, генерации функций, даже в написании целых приложений, просто подходя к задаче с естественным языком;
GitHub Copilot	Хороший инструмент, созданный на основе OpenAI Codex, который помогает программистам писать быстрее с помощью автозаполнения, рекомендаций. Он анализирует контекст онлайн, предлагает подходящие строки, функции или даже целые блоки, уменьшая время, необходимое для написания, отладки;
DeepCode	Использует нейросети для анализа, поиска ошибок или уязвимостей. Обеспечивает разработчиков полезными рекомендациями по улучшению, а также помогает находить потенциальные проблемы на ранних стадиях разработки. Он интегрируется с популярными системами контроля версий, такими как GitHub и GitLab;
TabNine	Сервис автозаполнения, который использует мощные модели глубокого обучения для помощи разработчикам в написании кода. Он работает с множеством языков программирования, может интегрироваться в различные редакторы. TabNine адаптируется к стилю пользователя, предлагая контекстные подсказки;
Kite	Инструмент автозаполнения, который использует модели машинного обучения для предоставления рекомендаций по коду, документации. Он поддерживает множество языков и фреймворков, а также может интегрироваться с популярными IDE. Kite предоставляет функцию «интерактивных подсказок», которая показывает возможные варианты кода в реальном времени.

Способы запуска (бэкенды) для LLM моделей:

ONNX Runtime:Кроссплатформенный движок для выполнения моделей в формате ONNX.Формат файла:.onnx

TensorFlow (Inference API):Стандартный движок для моделей TensorFlow, поддерживает SavedModel и замороженный граф.Форматы: папка SavedModel (saved_model.pb + variables/), единый файл.pb

TensorFlow Lite:Лёгкий движок для мобильных и встраиваемых устройств, оптимизированный по размеру и скорости.Формат:.tflite

PyTorch (TorchScript):Позволяет сериализовать и запускать модели без зависимости от Python, с оптимизациями JIT.Форматы:.pt,.pth

NVIDIA TensorRT:Аппаратно-ускоренный движок для GPU NVIDIA, компилирует модели (обычно из ONNX) под конкретную карту.Формат: скомпилированный движок.engine (или план UFF/ONNX →.engine)

Intel OpenVINO:Оптимизирует и ускоряет сети на CPU и Intel GPU/VPU, конвертирует модели в IR-формат.Форматы:.xml (структура) +.bin (веса)

Apple Core ML:Фреймворк для запуска моделей на iOS/macOS, интегрируется с Xcode и ускоряется через Core ML Runtime.Формат:.mlmodel

Microsoft:.NET-движок для инференса на CPU, подходит для C# и F#.Формат: архив модели.zip

Apache TVM:Компилирует и оптимизирует модели под разнообразное железо, создаёт нативные библиотеки.Форматы: сериализованный Relay-модуль или скомпилированная библиотека (.so,.dll)

Alibaba MNN:Мобильный нейронный движок с широкими оптимизациями для ARM, поддерживает серверный запуск.Формат:.mnn

OpenCV DNN:Модуль компьютерного зрения с поддержкой разных форматов (ONNX, Caffe, TensorFlow, Darknet).Форматы: зависит от исходного —.onnx,.pb,.caffemodel +.prototxt,.weights

Unity Barracuda:Движок для запуска нейросетей в играх Unity, поддерживает ONNX-модели.Формат:.nn

MLC LLM:ML-компилятор и движок для LLM, компилирует веса в свой IR и шардирует их.Формат: каталог …-MLC с.bin-шардами и JSON-конфигами (например,)

MediaPipe:Фреймворк для создания мультимодальных пайплайнов (детекция, сегментация и др.), опирается на TFLite.Форматы:.tflite (модель) +.pbtxt (граф)

:C++-движок для LLaMA-подобных моделей с поддержкой квантования на CPU/GPU.Форматы: GGML-модели (.bin,.gguf)

GGML:Библиотека для эффективного инференса моделей (основа и др.).Форматы:.gguf,.bin

NeuralMagic DeepSparse:Оптимизированный движок для разреженных нейросетей на CPU.Формат:.onnx

AWS Neuron SDK:Движок для ускорения инференса на AWS Inferentia, компилирует модели под Neuron.Форматы: Neuron-артефакты (.nef или библиотека)

Glow:Компилятор и рантайм от Facebook для нейросетей, входной формат ONNX.Форматы: промежуточный файл.bc или скомпилированная библиотека.so

Apache MXNet:Фреймворк с собственным рантаймом для CPU/GPU, поддерживает Docker-развёртывание.Форматы:.params (веса) +.json (сеть)

Caffe:Классический движок для CV-сетей, часто используется в исследованиях.Форматы:.caffemodel (веса) +.prototxt (описание сети)

Приложения для запуска LLM моделей:

LM Studio:Десктоп-приложение для Windows и macOS с GUI для запуска локальных LLM (GPT-подобных).Форматы моделей:.gguf,.bin

Ollama:Лёгкий CLI/GUI-клиент для Windows и macOS, работает «из коробки» с LLM.Форматы моделей:.gguf,.bin

Automatic1111 Stable Diffusion WebUI:Самый популярный локальный веб-интерфейс для генерации изображений на Windows/macOS/Linux.Форматы моделей:.ckpt,.safetensors

DiffusionBee:Настольное приложение для macOS (есть бета-сборки для Windows), «всё в одном» для Stable Diffusion.Форматы моделей:.ckpt,.safetensors

InvokeAI:Кроссплатформенный пакет с CLI и WebUI для генерации изображений на базе Stable Diffusion.Форматы моделей:.ckpt,.safetensors

(prebuilt binaries):Готовые исполняемые файлы для Windows/macOS/Linux, позволяют запускать LLaMA-подобные модели без установки зависимостей.Форматы моделей:.bin,.gguf

Формат хранения LLM моделей:

Хранят веса и структуру модели (или только веса).Основаны на сериализации Python (pickle), что делает их не очень безопасными.Подходят для обучения и дообучения.Не оптимизированы для мобильного вывода или внешнего инференсаМогут занимать много памяти (FP32).

Не использует pickle, а значит безопасен при загрузке.Поддерживает параллельную загрузку, что ускоряет работу.Только для хранения весов (структура — отдельно).Подходит для инференса и дообучения.Поддерживается HuggingFace, PyTorch, JAX.

Включает всё в одном файле: веса, словарь, токенизатор, параметры модели.Поддерживает разные типы квантования (Q2_K, Q4_0, Q8_1 и т.д.).Хорошо сжат и оптимизирован под запуск на CPU, GPU, Android.Быстро загружается и легко обрабатывается C++ кодом.Основной выбор для локального запуска LLM (Gemma, LLaMA, Mistral).

.onnxКросс-фреймворк формат для запуска модели в разных средах (Windows, Web, C#, Java и др.).

Стандартизирован, поддерживается многими фреймворками (PyTorch, TF, Keras).Упрощает перенос моделей между платформами.Подходит для инференса (не для обучения).Оптимизируется средствами ONNX Runtime (сжатие, квантование).Отличный выбор для запуска моделей в embedded-средах и.NET.

.tfliteФормат для запуска моделей TensorFlow на мобильных устройствах (Android, iOS).

Очень компактный и быстрый.Поддерживает INT8 и FP16 квантование.Работает с TensorFlow Lite Interpreter, легко встраивается в Android.Нельзя обучать или дообучать — только запуск.Поддерживает базовые CNN, RNN, Seq2Seq, но не LLM.

Рекомендации

С использованием нейросетей в программировании связано много преимуществ. Однако для того, чтобы получить максимальную выгоду, важно следовать определенным рекомендациям.

Таблица №3

Советы по правильному применению ИИ
Определите задачи, которые можно автоматизировать	Проанализируйте свои задачи и определите те области, где ИИ может принести пользу. Это могут быть задачи, связанные с автозаполнением кода, анализом качества, генерацией функций или тестированием. Четкое понимание того, что вы хотите автоматизировать, поможет выбрать правильный сервис;
Используйте знакомые инструменты	Выбирайте инструменты, которые интегрируются с уже используемыми средами разработки (IDE) и системами контроля версий. Например, такие инструменты, как GitHub Copilot или Kite, могут значительно улучшить рабочий процесс, предоставляя контекстные подсказки, рекомендации в редакторе;
Обучайтесь и экспериментируйте	Не забывайте обучаться, экспериментировать с разными моделями, инструментами. Понимание основ работы технологий машинного обучения поможет более эффективно использовать ИИ. Изучайте документацию, проходите курсы, подключайтесь к сообществам разработчиков;
Проверяйте, анализируйте результаты	При использовании сервисов нужно проверять результаты их работы. Автоматически сгенерированный код может содержать ошибки или не учитывать специфические требования проекта;
Интегрируйте ИИ в командные процессы	Если работаете в команде, используйте системы для совместной работы. Обсуждение, анализ предложений, которые получаете от ИИ, могут привести к более качественным решениям. Создание общей базы знаний о том, как использовать, адаптировать рекомендации ИИ, поможет команде более эффективно работать.

Технологии нейросетей продолжают развиваться, совершенствоваться. Их применение облегчает работу программистам, позволяет быстро, легко создать код для разных проектов. В будущем можно ожидать появление новых усовершенствованных инструментов, которые изменят процесс программирования в лучшую сторону.

Часто задаваемые вопросы о нейросетях в программировании

Вопрос: Что такое нейросеть простыми словами?
Ответ: Это математическая модель, вдохновленная работой человеческого мозга, которая умеет находить сложные закономерности в данных. В программировании это инструмент для решения задач, где традиционные алгоритмы неэффективны, например, распознавание образов или генерация текста.

Вопрос: Чем нейросеть отличается от обычной программы?
Ответ: Обычная программа выполняет четкие инструкции, написанные человеком. Нейросеть же не программируют в классическом смысле — её обучают на данных, и она сама выявляет правила и взаимосвязи для решения задачи.

Вопрос: Обязательно ли нейросети нужны большие данные?
Ответ: Как правило, да, особенно для глубоких моделей. Качество обучения напрямую зависит от объема и качества размеченных данных. Однако существуют техники, такие как трансферное обучение, которые позволяют дообучать модель на меньших наборах данных.

Вопрос: Что такое машинное обучение и как оно связано с нейросетями?
Ответ: Машинное обучение (ML) — это обширная область искусственного интеллекта, изучающая алгоритмы, которые учатся на данных. Нейросети — это один из самых мощных и популярных классов моделей внутри ML, а именно подраздел глубокого обучения (Deep Learning).

Вопрос: Может ли нейросеть написать код вместо программиста?
Ответ: Современные нейросети (как GitHub Copilot, ChatGPT) могут генерировать фрагменты кода, предлагать решения и искать ошибки. Они выступают в роли мощных помощников, но не заменяют программиста, так как не понимают бизнес-контекст, не могут проектировать архитектуру сложных систем и несут ответственность за конечный результат.

Вопрос: С чего начать изучение нейросетей программисту?
Ответ: Рекомендуется начать с основ линейной алгебры, математического анализа и теории вероятностей. Затем изучить базовые концепции ML на Python, используя библиотеки Scikit-learn, а после переходить к фреймворкам для глубокого обучения, таким как TensorFlow или PyTorch, начиная с простых моделей.

Вопрос: Что такое «обучение» нейросети?
Ответ: Это процесс настройки внутренних параметров (весов) модели. На каждом шаге нейросеть делает предсказание, вычисляет ошибку (функцию потерь) и с помощью алгоритма обратного распространения ошибки (backpropagation) корректирует веса, чтобы минимизировать эту ошибку в будущем.

Вопрос: Что такое переобучение (overfitting)?
Ответ: Это ситуация, когда модель слишком хорошо «запоминает» обучающие данные, включая их шум и случайные особенности, и плохо работает на новых, ранее не виденных данных. Борются с этим с помощью регуляризации, увеличения данных и других техник.

Вопрос: В чем разница между CNN, RNN и Transformer?
Ответ: CNN (сверточные нейросети) эффективны для работы с изображениями. RNN (рекуррентные нейросети) исторически использовались для последовательных данных, таких как текст или временные ряды. Transformer — это современная архитектура (лежащая в основе GPT, BERT), которая благодаря механизму внимания лучше улавливает контекст в последовательностях и стала доминирующей для NLP-задач.

Вопрос: Нужно ли быть математическим гением, чтобы работать с нейросетями?
Ответ: Нет. Для применения готовых моделей и решения многих практических задач достаточно понимания основных принципов и умения работать с соответствующими библиотеками. Глубокое знание математики необходимо для исследований и создания новых архитектур.

Краткая памятка по нейросетям для разработчика

1. Нейросеть — это модель машинного обучения, а не классический алгоритм.
2. Её не программируют, а обучают на данных.
3. Основа — искусственные нейроны, объединенные в слои.
4. Ключевые архитектуры: полносвязные сети, CNN (для изображений), RNN (для последовательностей), Transformer (для текста и не только).
5. Процесс обучения включает прямое распространение, расчет ошибки и обратное распространение для корректировки весов.
6. Главные проблемы при обучении: переобучение (overfitting) и недообучение (underfitting).
7. Для работы с нейросетями на Python используются фреймворки: TensorFlow/Keras, PyTorch, JAX.
8. Готовые предобученные модели (например, из Hugging Face) экономят время и ресурсы.
9. Нейросети в программировании применяются для: генерации и автодополнения кода, поиска уязвимостей, рефакторинга, документирования.
10. Инструменты-помощники: GitHub Copilot, ChatGPT, Claude, локальные LLM (через Ollama, LM Studio).
11. Для оценки качества модели используются метрики: точность, полнота, F1-мера, perplexity (для языковых моделей).
12. Аппаратная основа для обучения — GPU (NVIDIA) или специализированные процессоры (TPU).
13. Данные должны быть качественными и репрезентативными, часто требуется их предварительная очистка и аугментация.
14. Этика и безопасность: нейросети могут генерировать biased-результаты и вредоносный код, необходим контроль.
15. Начинать практику лучше с готовых примеров и Kaggle-соревнований, постепенно усложняя задачи.