Выберите настройки файлов cookie
Мы используем основные файлы cookie и аналогичные инструменты, необходимые для работы нашего сайта и предоставления услуг, а также эксплуатационные файлы cookie для сбора анонимной статистики, чтобы вносить улучшения и понимать, как клиенты используют наш сайт. Основные файлы cookie нельзя деактивировать, но вы можете нажать «Настроить» или «Отклонить», чтобы отказаться от использования эксплуатационных файлов cookie. Если вы согласны, AWS и уполномоченные третьи стороны также будут использовать файлы cookie для предоставления полезных функций сайта, запоминания ваших предпочтений и отображения соответствующих контента и рекламы. Чтобы принять или отклонить все второстепенные файлы cookie, нажмите «Принять» или «Отклонить». Чтобы настроить cookie более подробно, нажмите «Настроить».
Необходимые
Необходимые файлы cookie требуется для работы нашего сайта и служб, и их нельзя отключить. Обычно они устанавливаются при выборе параметров конфиденциальности, входе в аккаунт, заполнении форм и других действиях на сайте.
Связанные с производительностью
Файлы cookie, связанные с производительностью, предоставляют анонимную статистику о том, как клиенты просматривают наш сайт, чтобы мы могли улучшить его работу и повысить производительность. Одобренные третьи стороны могут проводить анализ от нашего имени, но не имеют право использовать данные в своих целях.
Функциональные
Функциональные файлы cookie помогают нам предоставлять полезные функции сайта, запоминать ваши предпочтения и отображать соответствующий контент. Одобренные третьи стороны могут устанавливать эти файлы cookie для предоставления определенных функций сайта. Если вы не разрешаете применять эти файлы cookie, некоторые (или все) эти сервисы могут работать неправильно.
Рекламные
Эти файлы cookie устанавливаются на наш сайт нами или нашими рекламными партнерами. Они помогают нам персонализировать рекламу. Если вы отключите эти файлы cookie, реклама станет менее релевантной.
Блокировка некоторых типов файлов cookie может повлиять на вашу работу с нашими сайтами. Вы можете в любое время изменить настройки файлов cookie, нажав «Параметры файлов cookie» в нижнем колонтитуле этого сайта. Чтобы узнать больше о том, как файлы cookie на наших сайтах используются нами и одобренными третьими сторонами, прочитайте Уведомление AWS о файлах cookie. Уведомление AWS о файлах cookie.
Настроить параметры файлов cookie
Мы используем файлы cookie и аналогичные инструменты (совместно именуемые «файлы cookie») для следующих целей.
Ваши параметры конфиденциальности
Мы показываем рекламу, соответствующую вашим интересам, на сайтах AWS и других ресурсах, включая кросс-контекстную поведенческую рекламу. В таком типе объявления используются данные одного сайта или приложения для размещения рекламы на сайте или в приложении другой компании.
Чтобы запретить использование кросс-контекстной поведенческой рекламы AWS на основе файлов cookie или аналогичных технологий, выберите ниже «Запретить» и «Сохранить параметры конфиденциальности» или посетите сайт AWS, на котором действуют предпочтительные настройки конфиденциальности (например, Global Privacy Control), имеющие юридическую силу. Если вы удалите файлы cookie или посетите этот сайт из другого браузера или устройства, вам придется сделать выбор снова. Для получения дополнительной информации о файлах cookie и о том, как мы их используем, ознакомьтесь с нашим Уведомлением об использовании файлов cookie AWS. Уведомлением об использовании файлов cookie AWS
Не удалось сохранить настройки файлов cookie
Мы используем основные файлы cookie и аналогичные инструменты, необходимые для работы нашего сайта и предоставления услуг, а также эксплуатационные файлы cookie для сбора анонимной статистики, чтобы вносить улучшения и понимать, как клиенты используют наш сайт. Основные файлы cookie нельзя деактивировать, но вы можете нажать «Настроить» или «Отклонить», чтобы отказаться от использования эксплуатационных файлов cookie. Если вы согласны, AWS и уполномоченные третьи стороны также будут использовать файлы cookie для предоставления полезных функций сайта, запоминания ваших предпочтений и отображения соответствующих контента и рекламы. Чтобы принять или отклонить все второстепенные файлы cookie, нажмите «Принять» или «Отклонить». Чтобы настроить cookie более подробно, нажмите «Настроить».
Часто задаваемые вопросы о RAG для языковых моделей
Вопрос: Что означает аббревиатура RAG?
Ответ: RAG расшифровывается как Retrieval-Augmented Generation, что переводится как «генерация, дополненная извлечением».
Вопрос: Какова основная цель RAG?
Ответ: Основная цель — повысить точность и актуальность ответов языковой модели, предоставляя ей доступ к внешним, актуальным источникам данных во время генерации.
Вопрос: В чем ключевое отличие RAG от обычной работы LLM?
Ответ: Обычная LLM генерирует ответ, опираясь только на свои внутренние знания (веса модели), а RAG-система сначала ищет релевантные документы в базе знаний, а затем использует их для формирования ответа.
Вопрос: Из каких основных этапов состоит процесс RAG?
Ответ: Процесс состоит из двух ключевых этапов: извлечение (retrieval) релевантных фрагментов информации из внешнего хранилища и генерация (generation) ответа моделью на основе найденных данных.
Вопрос: Какие типы данных можно использовать в качестве внешнего источника для RAG?
Ответ: Это могут быть текстовые документы, PDF-файлы, веб-страницы, записи баз данных, научные статьи или любые другие структурированные и неструктурированные данные.
Вопрос: Решает ли RAG проблему «галлюцинаций» у LLM?
Ответ: RAG значительно снижает вероятность «галлюцинаций» (выдачи неправдоподобной или выдуманной информации), так как модель основывает ответ на предоставленных документах, но не устраняет проблему полностью.
Вопрос: Нужно ли дообучать модель для использования RAG?
Ответ: Нет, одна из сильных сторон классического подхода RAG — возможность работы с уже предобученной моделью без её дообучения (fine-tuning).
Вопрос: Что такое векторная база данных и зачем она нужна в RAG?
Ответ: Это специализированное хранилище, где данные представлены в виде числовых векторов (эмбеддингов). Она нужна для быстрого и эффективного семантического поиска наиболее релевантных документов по запросу.
Вопрос: Какие основные вызовы или сложности есть у RAG-систем?
Ответ: Ключевые сложности: обеспечение релевантности извлекаемых документов, обработка больших объемов контекста, управление противоречивой информацией в источниках и оптимизация задержек системы.
Вопрос: Где чаще всего применяется технология RAG?
Ответ: RAG широко используется в чат-ботах с поддержкой документов, интеллектуальных системах поддержки принятия решений, исследовательских ассистентах и корпоративных поисковых системах, работающих с внутренней документацией.
Краткий чек-лист по внедрению RAG
- Четко определите задачу, для решения которой нужен RAG (например, вопросно-ответная система по базе документов).
- Подготовьте и соберите источники данных (документы, базы знаний), которые будут использоваться для извлечения информации.
- Разработайте стратегию разбиения (chunking) документов на логические фрагменты для эффективного поиска.
- Выберите модель для создания эмбеддингов (векторных представлений) ваших текстовых данных.
- Выберите и настройте векторную базу данных для хранения эмбеддингов и быстрого поиска.
- Определитесь с языковой моделью (LLM), которая будет отвечать за этап генерации финального ответа.
- Реализуйте логику извлечения: систему, которая по запросу пользователя находит в векторной БД N наиболее релевантных фрагментов.
- Спроектируйте промпт (шаблон запроса), который будет передавать LLM найденный контекст и исходный вопрос пользователя.
- Протестируйте систему на разнообразных запросах, проверяя релевантность извлекаемых документов и качество итоговых ответов.
- Оптимизируйте процесс: поэкспериментируйте с размером фрагментов, количеством извлекаемых документов (k) и формулировкой промпта.
- Добавьте механизм цитирования источников в ответах для повышения доверия и проверяемости.
- Продумайте обработку случаев, когда система не нашла релевантной информации в предоставленных источниках.
- Внедрите мониторинг и систему оценки качества ответов (человеческую или автоматическую) для постоянного улучшения.
- Обеспечьте безопасность и контроль доступа к данным, если RAG работает с конфиденциальной информацией.
