Установка нейросети на ПК: локальный запуск и программы

Msty

Msty Studio, он же Msty, — это не просто комбайн для работы с нейросетями. Это скорее цифровой швейцарский нож, который угадывает ваши желания ещё до того, как вы сами осознаете, чего хотите от ИИ. Серьёзно — пользователи часто отмечают, что Msty «закрывает все потребности» при работе с чат‑ботами.

Благодаря всему этому, Msty по праву считается одним из самых универсальных и удобных агрегаторов на рынке. И это не просто громкие слова — он действительно даёт ощущение, будто работаешь не с приложением, а с продуманным напарником.

⚙️ Как подключиться и что настроить

• Models provider: Open AI‑compatible.
• API key: введите свой ключ‑пароль.
• Inference endpoint:.
• В нижнем поле, Give it a unique name (optional), введите имя провайдера в любой форме.

В нижнем поле, Give it a unique name (optional), введите имя провайдера в любой форме.

4. После ввода отобразится список доступных моделей. Чтобы добавить все сразу — просто поставьте верхнюю галочку.

(Если будете подключать дополнительных провайдеров, интерфейс слегка изменится — но логика остаётся прежней.)

6. В Msty скрыто много полезных фишек. Например, в Prompts library (второй значок снизу) можно создать шаблоны промптов — готовые фразы, которые удобно вставлять через ☰ → Prompts library. Это как макросы, только круче.

General → Mode → Normal mode/Focus mode/Zen:— первый режим показывает все элементы интерфейса;— второй оставляет только нужное;— Zen — это режим для тех, кто хочет абсолютного фокуса (только диалог и поле ввода, никакого визуального шума).

General → Rendering modules. Обязательно включите:— Mermaid diagrams (чтобы диаграммы отображались красиво, а не в виде кода),— Math LaTeX (для формул),— и, при желании, Enable links (чтобы ссылки от чат‑бота были кликабельными).

8. Вернитесь в основное окно программы. В списке моделей можно закрепить любимые модели кнопкой 📌 Pin <…>. А ещё можно выбрать модель по умолчанию — например, gpt-5, — нажав ☆ Set <…> as default.

🧙 Как пользоваться Msty

Проще простого: выбираете модель, пишете сообщение, при желании прикрепляете файлы и жмёте ⏎ Send. Ответы загружаются в потоковом режиме — прямо на глазах, а интерфейс настолько интуитивен, что объяснения почти не нужны. (Хотя да, я всё‑таки объясню — на всякий случай!)

Сплит-чаты

Одна из уникальных фишек Msty — сплит‑чаты: можно отобразить на экране сразу несколько диалогов, причем некоторые — или все — запараллелить, отправляя синхронно один и тот же промпт. Модели в окнах‑сплитах тоже могут быть одинаковыми или разными.

Кстати, выяснил, что одновременно сплитов может быть много, но в широкоформатный экран влезает до 10 одновременно. Остальные не теряются, но будут видны лишь тогда, когда уберешь часть (через ⋮ → Remove split).

Исключение файла из контекста

Крутые функции Msty можно перечислять бесконечно. Представим ситуацию: ранее в диалоге вы отправили в чат документ для суммаризации. И вот суммаризация уже готова и имеется в ответе… Оригинальный документ уже не так и нужен, не так ли? Как теперь исключить его из контекста, если не хочется совсем удалять?

Тут и выручает функция исключения файла из контекста. Просто кликаете по эскизу — и всё, файл временно «уходит в тень». Индикатор‑галочка в правом нижнем углу исчезает, показывая, что документ не участвует в текущем запросе. При желании можно включить его обратно.

На нижнем файле галочка отсутствует — значит, он исключён из контекста

📚 Возможности форматирования

Msty убирает все вопросы о том, какое приложение выбрать. Он делает всё, что мне нужно. Локальные LLM, интеграция с Ollama, RAG, поиск данных по принципу Perplexity, библиотека промптов — всё на месте, и интерфейс при этом простой и удобный.

Впрочем, то же можно отнести и к другим сегодняшним сервисам. Идём дальше!

ChatBox

ChatBox — опенсорсный десктопный клиент для чат‑ботов. Помимо настольной версии, есть и мобильное приложение для Android и iOS, обеспечивая единый опыт на всех устройствах. Удобно — всё работает одинаково, где бы вы ни были.

ChatBox не выдаёт суперплюшек, но и не имеет явных минусов: скорее средний вариант. В сравнении с другими агрегаторами он просто надёжен и понятен в использовании. Хотя некоторые жалуются, что интерфейс малость захламлён.

• Для Windows, Linux, macOS скачайте и запустите установщик.
• У Android‑версии способа два: Google Play или напрямую через.apk‑файл.
• iOS — в App Store.

Сначала — немного приятных новостей: ChatBox умеет работать на русском. Чтобы включить язык интерфейса, откройте Settings → General settings → Language и выберите Русский.

2. Вводим название провайдера, любое, по которому вам будет удобно его узнавать. Жмем Добавить.

3. В списке Режим API доступен только один вариант (и это упрощает жизнь). Остальные поля заполняются привычным образом: API‑ключ и Хост API ().

Вот тут ChatBox немного капризен. Добавить все модели одним махом нельзя — придётся вручную нажимать на значок «плюс» возле каждой, чтобы добавить её в общий список. Да, немного утомительно… особенно если моделей несколько сотен.

5. С отправкой изображений тоже есть тонкость: просто прикрепить картинку не выйдет — нужно предварительно активировать эту способность для конкретной модели. Для этого нужно заходить в ее настройки (значком ⚙️) и включать возможность Видение (в оригинале Vision).

Если этого не сделать, ChatBox просто не даст прикрепить изображение. И к сожалению, читерского обходного пути нет. Поэтому если часто работаете с визуальными материалами — стоит задуматься о программе, где это включено по умолчанию (тот же Msty или Cherry Studio).

• Модели по умолчанию → Модель чата по умолчанию — выберите, например, gpt-5.
• Модели по умолчанию → Модель именования тем по умолчанию. Здесь подойдёт лёгкая модель вроде gpt‑oss-20b или qwq-32b. Она будет придумывать названия диалогов (не будем мешать её творческому порыву).
• Настройки чата → Максимальное количество сообщений в контексте. Поставьте Без ограничений, чтобы самому решать, когда обнулять историю.
• Клавиатурный баг: в некоторых версиях Ctrl вызывает окно настроек — внезапно. Чтобы это отключить, перейдите в ⚙️ → Горячие клавиши и снимите сочетание для Открыть настройки.
• И напоследок: закрепите любимые модели вверху списка, нажав ☆, — экономит кучу времени.

Модели по умолчанию → Модель чата по умолчанию — выберите, например, gpt-5.

Модели по умолчанию → Модель именования тем по умолчанию. Здесь подойдёт лёгкая модель вроде gpt‑oss-20b или qwq-32b. Она будет придумывать названия диалогов (не будем мешать её творческому порыву).

Настройки чата → Максимальное количество сообщений в контексте. Поставьте Без ограничений, чтобы самому решать, когда обнулять историю.

Клавиатурный баг: в некоторых версиях Ctrl вызывает окно настроек — внезапно. Чтобы это отключить, перейдите в ⚙️ → Горячие клавиши и снимите сочетание для Открыть настройки.

И напоследок: закрепите любимые модели вверху списка, нажав ☆, — экономит кучу времени.

🧙 Как пользоваться ChatBox

ChatBox приятно удивляет — он показывает количество токенов ещё до отправки сообщения! Индикатор расположен в правом нижнем углу промпта — мелочь, но бесценная, когда нужно прикинуть, влезет ли длинный запрос в лимит.

Дальше всё по классике: выбираете модель, пишете промпт, нажимаете ⏎ — и ChatBox уже в работе.

Суммаризация диалога

Вот за что ChatBox реально можно похвалить — это за функцию сжатия диалога. Она превращает длинную переписку в аккуратное резюме, с которого можно начать новую тему. Такое есть только у ChatBox и LibreChat — и, если честно, функция нередко спасает от хаоса при долгих обсуждениях.

Сценарий знакомый: к концу затяжного разговора с ботом вы теряете нить рассуждений и думаете: «Эх, вот бы составить саммари, чтобы начать с чистого листа…», — ChatBox именно это и делает.

• Наведите курсор на индикатор токенов.
• Нажмите Сжать разговор.

То что нужно. Дальше остаётся нажать Подтвердить и немного подождать — ChatBox аккуратно упакует весь ваш диалог и создаст новую тему. Например, так:

Получившаяся тема (на скриншоте «# Инструкции») появится в том же диалоге, но с чистым контекстом — модель больше не помнит старую переписку. Визуально это удобно: вы видите историю, можете пролистать вверх, но для модели всё начинается заново.

Современные модели, конечно, уже тянут огромные контексты — допустим, ChatGPT 5 с 400 000 токенов или Gemini 2.5 Pro с 1 000 000. Но на всякий случай полезно знать, что такая функция есть.

Кстати, если хотите просто начать в том же диалоге новую тему без суммаризации, жмите Начать новую тему внизу окна. Аналог в BotHub — кнопка Сбросить контекст.

Работа с файлами

Здесь стоит помнить о паре ограничений (кто предупреждён — тот вооружён):

• Формат.pdf в ChatBox не поддерживается. Зато.docx — без проблем.
• Можно прикреплять несколько файлов разных форматов, но не более одного изображения за раз. Почему так?..

Можно прикреплять несколько файлов разных форматов, но не более одного изображения за раз. Почему так?..

Tome

Tome — экспериментальный десктоп‑клиент для LLM с фокусом на MCP (Model Context Protocol), описываемый как «волшебная книга заклинаний для LLM». На практике Tome выглядит как довольно‑таки примитивная программка, с интерфейсом из начала 2000-х. Но не будем судить строго — давайте разберёмся, что она умеет.

В общем, перед нами классический пример технического превью: идея интересная, но реализация пока сырая. Tome — скорее демонстрация концепции MCP, чем полноценный инструмент для повседневной работы. Хотя, кто знает, возможно, через пару версий всё изменится.

1. Откройте настройки с помощью кнопки ⚙️.
2. В разделе Engines нажмите Add engine и укажите нужные параметры. Например, такие:

• Name: BotHub.
• URL:.
• API key: в нашем случае можно взять здесь.

Конечно, можно использовать и другие эндпойнты (например, OpenRouter), но многие из них заблокированы из России. Поэтому вариант с Bothub — проверенный и рабочий.

Остальные настройки в Tome касаются автоматизации, MCP‑интеграций и создания телеграм‑ботов — но это уже темы для отдельного глубокого гайда.

🧙 Как пользоваться Tome

Tome — минималистичный клиент, где всё на виду: список моделей, поле для промпта и пара регуляторов (длина контекста да и t°), спрятанных за кнопкой Advanced. Всё.

Впечатление от работы? Честно — не самое удобное. Интерфейс спартанский, кастомизация минимальная, и порой кажется, будто вы вернулись в эпоху Windows XP. Если вы ищете надёжный ежедневный клиент — это пока не он. Tome стоит рассматривать как лабораторный стенд для экспериментов, а не как замену привычных агрегаторов. Едем дальше!

ChatMCP

ChatMCP — лёгкий клиент, схожий с ChatBox (и да, за названием вновь скрывается всё тот же Model Context Protocol). Это открытый проект на Flutter, созданный для объединения разных MCP‑серверов и LLM‑эндпойнтов.

Когда впервые встречаешь это название, реально путаешься: MCP, MPC… (кажется, пора заводить шпаргалку для всех этих аббревиатур).

Если коротко, ChatMCP — не революция, а просто добротный инструмент с базовым набором функций: мультиплатформенный чат с менеджером MCP‑серверов.

• API style: в нашем случае OpenAI.
• API URL:.
• API key: вписываем ключ доступа к API.

5. В разделе Gen title выберите модель, которая будет генерировать названия диалогов. Лучше выбрать лёгкую, типа qwq-32b или gpt‑oss-20b.

Совет: в General → System prompt стоит укоротить системный промпт, оставив лишь строчку «Use Mermaid to generate diagrams». Все остальные фразы там обычно лишние и не влияют на поведение модели.

🧙 Как пользоваться ChatMCP

ChatMCP внешне выглядит как стандартный LLM‑клиент: в верхней части выбирается модель, ниже — поле для ввода и кнопка отправки.

Однако важный момент: поддержка файлов в ChatMCP очень ограниченна. Можно прикреплять только изображения (и то по одному) и исходный код. Все остальные форматы — мимо. Поэтому лично я не рекомендую пользоваться ChatMCP, от слова «совсем».

Кнопка нового чата расположена в двух интересных местах: внизу списка диалогов и слева от кнопки сворачивания окна.

Если же возникнет желание покопаться в параметрах модели — t°, top‑P, max tokens, frequency penalty, presence penalty, — всё это находится в меню ⋮ → Model config.

Kaas

Kaas — приложение на базе Tauri + React, ядро на Rust, поэтому оно быстрое и лёгковесное.

Иконка приложения в виде ломтика сыра на всём этом фоне выглядит особенно издевательски…

• Alias: отображаемое имя модели, например «gpt-5» или «ChatGPT 5».
• API key: API‑ключ (такой, как здесь).
• Endpoint:.
• Model: внутреннее имя модели, напр. gpt-5.

4. И… так для каждой. А ещё нужно вручную смотреть список моделей. Таким образом нужно будет добавить их все. (Но зачем? Лучше просто переключиться на другую программу.)

🧙 Как пользоваться Kaas

• Ввести запрос в поле Ask anything…, выбрать модель и нажать Enter (или ⌲).
• Нажать ＋ либо Start new conversation, выбрать в окне модель и подтвердить нажатием Use this model.

Ввести запрос в поле Ask anything…, выбрать модель и нажать Enter (или ⌲).

Нажать ＋ либо Start new conversation, выбрать в окне модель и подтвердить нажатием Use this model.

Главный «фокус» Kaas, опять же, — вечная генерация ответа. Сообщение может зависнуть на любом этапе: если диалог неновый, если есть вложение, если включена потоковая передача или просто присутствует сложное форматирование. Настоящая лотерея!

Почему это происходит, сказать сложно — разгадка скрыта в исходниках. Но итог очевиден: пользоваться Kaas в текущем виде практически невозможно. Так что, как говорится, «спасибо за попытку», и идём дальше.

Cherry Studio

Cherry Studio — универсальный клиент на все случаи жизни, напоминающий Msty и Open WebUI, тоже один из самых функциональных в нашем списке.

Левая панель программы приятно удивляет: помимо привычных диалогов (или, как их тут называют, топиков), в ней есть раздел ассистентов. Ассистент, по сути, является комбинацией нескольких штук:

• системный промпт с правилами общения;
• параметры модели — от t° и top‑P до длины контекста;
• база знаний RAG (да‑да, та самая, которая превращает ваши.pdf‑ и.docx‑файлы в личную википедию);
• набор быстрых фраз и прочие удобства.

база знаний RAG (да‑да, та самая, которая превращает ваши.pdf‑ и.docx‑файлы в личную википедию);

Звучит интригующе? Ещё бы. Можно создать десяток баз знаний прямо из собственных документов и потом буквально «спрашивать свои файлы». Переключение между ассистентами — в пару кликов, и вы будто перелистываете страницы умной записной книжки.

Cherry Studio поражает количеством функций: иногда кажется, будто открываешь научно‑фантастическую версию Notion с встроенным ИИ, где каждая кнопка что‑то да умеет.

Cherry Studio позволяет буквально настроить всё под себя — от внешнего вида до поведения модели. Благодаря такому уровню персонализации и стабильной работе, Cherry Studio уже заслужил репутацию одного из самых надёжных и функциональных агрегаторов на рынке.

Начнём с приятного — Cherry Studio умеет работать на русском. Чтобы переключить язык интерфейса, откройте ⚙️ → General settings → Language и выберите Русский.

Важно: для нашего случая в конце адреса обязательно добавьте прямой слеш (/), иначе не заведется: /.

• Добавлять модели по одной (значок ＋ возле каждой модели);
• Добавлять по группам;
• Или если не хотите возиться, нажать кнопку Добавить в список в правом верхнем углу — и Cherry Studio загрузит все модели сразу. Повторное нажатие удалит их обратно.

Или если не хотите возиться, нажать кнопку Добавить в список в правом верхнем углу — и Cherry Studio загрузит все модели сразу. Повторное нажатие удалит их обратно.

Похоже, что Cherry Studio не обновляет список моделей автоматически, когда в API‑точке появляются новые. Поэтому нужно периодически заглядывать в список моделей и обновлять его. Это можно сделать здесь же:

• Прокрутить список моделей в самый низ, нажать Редактировать;
• Нажать 🔄︎ Повторное получение списка моделей;
• Добавить модели одним из способов (описанных в предыдущем списке).

• В разделе Модель по умолчанию → Модель ассистента по умолчанию стоит выбрать, например, gpt-5 — тогда она будет автоматически активироваться при создании нового диалога.
• Вернемся к основному экрану программы. Здесь можно раскрыть список и закрепить приоритетные модели вверху с помощью кнопок 📌.

В разделе Модель по умолчанию → Модель ассистента по умолчанию стоит выбрать, например, gpt-5 — тогда она будет автоматически активироваться при создании нового диалога.

Вернемся к основному экрану программы. Здесь можно раскрыть список и закрепить приоритетные модели вверху с помощью кнопок 📌.

Дополняем системный промпт

Чтобы модель знала, что Cherry Studio умеет строить диаграммы, стоит добавить об этом информацию в системный промпт.

1. Выберите ассистента, щёлкните по нему правой кнопкой → Редактировать ассистента.

Это приложение может визуализировать диаграммы и схемы трех видов: Mermaid, PlantUML, Graphviz. Поэтому ты можешь встраивать в диалог код диаграмм и схем.

После этого сохраните изменения — и Cherry Studio будет корректно понимать ваши запросы с визуализациями.

Как оказалось, Cherry Studio не поддерживает все новшества Mermaid, поэтому при запросе сложных Mermaid‑диаграм могут возникнуть ошибки. Вот пример обновлённого системного промпта (по совету ChatGPT 5), который помогает избежать проблем:

В случае Mermaid схемы должны быть строго совместимы со старыми рендерами (Mermaid v8/v9):

• Одна инструкция на строку. Никаких двух узлов подряд на одной строке без соединителя.

• Допустимые стрелки: `—>` и `—` (сплошные). Не использовать `o—`, `x—`, `-.->` и тому подобное.

• Метки на рёбрах — только через `|текст|`. Не использовать `-.текст.->`.

• Не использовать групповые связи вида `A & B —> C`. Дублируй связи явно: `A —> C` и `B —> C`.

• Не использовать `classDef`, `class`, `:::`, `style`, `linkStyle` и директивы `init`.

• Узлы: только простые формы `[Текст]`, `(Текст)`, `((Текст))`, `{Текст}`. Без HTML/Markdown.

• Подписи и тексты — ASCII и/или обычные буквы (в т. ч. кириллица), но без типографских дефисов/кавычек; дефис только `-` (U+002D).

• Не использовать комментарии/директивы, кроме простых строк, или вовсе без комментариев.

Надеемся, что разработчики Cherry Studio скоро обновят Mermaid до актуальной версии. Но пока что этот небольшой пояснительный блок в системном промпте — надёжный способ избежать ошибок при визуализации.

🧙 Как пользоваться Cherry Studio

Основная особенность — общение в некотором роде завязано на «ассистентах». По сути, это такие умные наборы, где собраны системный промпт, настройки модели, база знаний RAG и ещё пара технологических вкусностей — вроде MCP, «регулярных фраз» и даже глобальной памяти.

Благодаря этому, ассистенты превращаются в нечто вроде мини‑ИИ‑личностей, каждая со своим характером и специализацией. Один может помогать писать тексты, другой, скажем, консультировать по Python, третий — делать несколько вещей. Звучит удобно? Ещё бы!

Хотя, честно говоря, если не хочется вникать во все эти тонкости, можно просто выбрать дефолтного ассистента (Default assistant) — и не трогать его вовсе. Работать будет как часы.

Но если вы из тех, кто любит настраивать всё под себя, вот пара наблюдений:

• В системе имеется библиотека заготовленных ассистентов, здесь их несколько десятков. Чтобы создать экземпляр такого библиотечного ассистента, нужно нажать ＋ Добавить ассистента и выбрать из списка. Важно: вы не переносите ассистента напрямую, а создаёте копию. Это значит, что можно клонировать прототип несколько раз и подправить каждый экземпляр под разные задачи — например, изменить t° или чуть переписать системный промпт под конкретный стиль общения.
• Ещё момент — диалоги (или, как их называет Cherry Studio, топики) жёстко привязаны к ассистентам. Выбрали ассистента в первой вкладке? Тогда во второй увидите только те диалоги, что были созданы именно им. Это помогает не запутаться, особенно если ассистентов у вас много.
• Кстати, ассистент не связан с конкретной моделью — ее по‑прежнему можно переключать по ходу диалога.

В системе имеется библиотека заготовленных ассистентов, здесь их несколько десятков. Чтобы создать экземпляр такого библиотечного ассистента, нужно нажать ＋ Добавить ассистента и выбрать из списка.

Важно: вы не переносите ассистента напрямую, а создаёте копию. Это значит, что можно клонировать прототип несколько раз и подправить каждый экземпляр под разные задачи — например, изменить t° или чуть переписать системный промпт под конкретный стиль общения.

Ещё момент — диалоги (или, как их называет Cherry Studio, топики) жёстко привязаны к ассистентам. Выбрали ассистента в первой вкладке? Тогда во второй увидите только те диалоги, что были созданы именно им. Это помогает не запутаться, особенно если ассистентов у вас много.

Кстати, ассистент не связан с конкретной моделью — ее по‑прежнему можно переключать по ходу диалога.

Чтобы просто начать новый диалог в текущем ассистенте, нужно нажать ＋ Новый топик.

Я, конечно, не удержался и попросил Cherry Studio (через ChatGPT 5) нарисовать несколько схем. Вот что получилось:

Теперь хочется проверить, как Cherry поведёт себя, если прикрепить целую книгу в формате.pdf или.docx и попросить ИИ визуализировать связи между персонажами.

А теперь немного об интерфейсе. В Cherry Studio есть невероятно удобный фильтр моделей, прямо как в Sublime Text. Серьёзно, в новых программах я всегда первым делом проверяю: есть ли тут такой поиск. Ведь когда моделей десятки или сотни, пальцы сами благодарят за экономию времени.

Работает он по принципу fuzzy search — не нужно помнить точное название. Введите пару сочетаний из разных частей, и программа догадается. Например:

LibreChat

Теперь мы перескакиваем из мира привычных Windows‑приложений в браузерную вселенную — туда, где всё работает через локальный сервер. На скриншоте выше видно: LibreChat — это не сайт в интернете, а локальный клиент, который запускается в паре с сервером. Сам сервер при этом находится в отдельном приложении, запущенном через командную строку:

Причём сервер можно разместить где угодно — на своём компьютере, в локальной сети или даже в облаке. Так же и в Open WebUI. Но вернемся к программе.

С установкой не всё так просто. Чтобы его запустить, вам понадобятся, MongoDB и руки, готовые редактировать конфигурационные файлы.yaml и.env. И даже после этого результат неидеален (вот почему Open WebUI выглядит куда привлекательнее). Некоторые пользователи честно признаются, что просто сдались в процессе установки.

По сравнению с Open WebUI, интерфейс LibreChat выглядит более спартански и менее интуитивен, что упоминают и многие тестировавшие пользователи.

🪟 Как установить, настроить и пользоваться

Процесс установки мы подробно описали в этой и этой статье (но если выбираете между LibreChat и чем‑то более стабильным — берите Open WebUI, не пожалеете).

Open WebUI

Open WebUI — широко известный ИИ‑интерфейс с философией офлайн‑сервера. Да, как и LibreChat, он не устанавливается как простая программа, а работает по схеме: сервер + браузерная вкладка.

Open WebUI, наряду с теми же Cherry Studio и Msty, явный выбор для тех, кто готов копать в настройках ради максимальной гибкости. Когда вы освоитесь с программой, возможностей окажется навалом.

Из коробки Open WebUI отличается хитроумным способом отправки файлов: совсем как в LibreChat, прикрепленные документы здесь не отправляются на сервер в полном виде, а — как во всем нам известной сказке — из них берутся лишь релевантные файлы, из релевантных файлов выбираются релевантные фрагменты, но насколько — это уж как повезет.

В теории это экономит ресурсы. На практике… бывает, что нужный файл «теряется в переводе». К примеру, в одном из тестовых диалогов я сделал следующее:

• В начале диалога прикрепил несколько файлов.
• Несколькими сообщениями позже упомянул предыдущие файлы (попросил описать все по именам и содержимому), и Open WebUI попросту не увидел один или два из них.

Так что совет простой — сразу после установки отключите этот умный менеджмент файлов. Да, он экономит токены и память, но мешает, если вы хотите, скажем, сделать полноценную суммаризацию текста. Ведь как она получится, если модель читает только обрывки? (Чуть ниже расскажу, где именно выключить RAG‑режим.)

🪟 Как установить и запустить

powershell -ExecutionPolicy ByPass -c «irm | iex»powershell -c «$env:DATA_DIR=’C:\open-webui\data’; uvx —python 3.11 —with itsdangerous open-webui@latest serve»Вот что будет, если не добавить «—with itsdangerous»powershell -c «$env:DATA_DIR=’C:\open-webui\data’; uvx —python 3.11 open-webui@latest serve»

Готовы немного поиграть с командной строкой? Отлично, тогда двигаемся шаг за шагом.

1. Установите программу uv, если еще не имеется. Это современный аналог pip и pipx, но гораздо удобнее и безопаснее. Он берёт на себя управление версиями Python (3.11/3.12/3.13…), виртуальными средами и зависимостями, избавляя от головной боли с конфликтами пакетов и несовместимыми версиями.

2. Устанавливаем Open WebUI через Python 3.11 (именно его рекомендуют авторы проекта). Версия 3.12 в целом работает, но 3.13 — точно нет.

Почему добавлен ключ —with itsdangerous? Это временный обход бага, описанного здесь. Вероятно, скоро всё поправят и ключ можно будет убрать. А пока пусть остаётся — вреда от него точно нет.

3. Чтобы не копировать команду каждый раз, создайте ярлык (ПКМ → Создать → Ярлык), со следующей командой:

6. Нажимаем Get started. Тут будет регистрация. Вводим данные (плюс локального сервера в том, что никаких подтверждений через почту не требуется — можно впечатать все что угодно) и жмём Create admin account:

Первый зарегистрированный пользователь становится админом, а все последующие создаются как обычные и активируются через административную панель.

Важный момент: в Open WebUI два раздела настроек, и это легко может сбить с толку. Первый — просто Настройки, а второй — Панель администратора; в панели администратора находятся подразделы: Пользователи, Оценки, Функции и, опять же, отдельные Настройки. Именно в этих «вторых» Настройках прячется всё самое важное — например, ввод API‑адреса.

Включить русский язык можно, выбрав его в списке Settings → General → Language.

• Тип подключения: Внешнее;
• URL:;
• Вход: Bearer;
• Рядом введите ключ‑пароль, берётся отсюда;
• Тип поставщика: Open AI;
• Нажмите Сохранить.

На этом этапе можно оставить список моделей пустым — тогда Open WebUI просто подгрузит все доступные.

4. Чтобы файлы передавались в полном виде, нужно отключить интеллектуальный менеджмент вложений. Для этого перейдите в Панель администратора → Настройки → Документы и поставьте галочку ☑️ Обход встраивания и извлечения данных.

5. В Панель администратора → Настройки → Модели можно спрятать ненужные модели. (Правда, разница между пунктом ⋯ → Скрыть модель и тумблером вкл/выкл остаётся загадкой.)

6. В разделах Настройки и Панель администратора → Настройки есть несколько любопытных функций:

• Например, я бы отключил Настройки → Интерфейс → ⬛ Автоматическая генерация продолжения, чтобы не генерировался список из пяти фоллоу‑апов для продолжения диалога.
• ⬛ Временный чат по умолчанию — включает анонимный режим: новые диалоги будут временными по умолчанию (не понадобится каждый раз активировать кнопкой вручную).
• ☑️ Bubble‑UI‑чат — меняет отображение диалога:— выключено — все сообщения слева,— включено — ответы ИИ выравниваются справа (в стиле мессенджеров).

Например, я бы отключил Настройки → Интерфейс → ⬛ Автоматическая генерация продолжения, чтобы не генерировался список из пяти фоллоу‑апов для продолжения диалога.

⬛ Временный чат по умолчанию — включает анонимный режим: новые диалоги будут временными по умолчанию (не понадобится каждый раз активировать кнопкой вручную).

☑️ Bubble‑UI‑чат — меняет отображение диалога:— выключено — все сообщения слева,— включено — ответы ИИ выравниваются справа (в стиле мессенджеров).

7. На оповещениях о завершении генерации в фоновом диалоге хотелось бы остановиться подробнее.

• Пока вы находитесь внутри Open WebUI, но в другом диалоге, прямо здесь отобразится всплывающее сообщение в углу.
• Звуковое уведомление. Сработает, если вы переключились в другую вкладку или программу. Можно отключить через Настройки → Интерфейс → ⬛ Звук уведомления.
• Браузерные push‑оповещения. Включаются через Настройки → Поиск → ☑️ Уведомления. Эти сообщения появляются поверх рабочего стола, даже если браузер свёрнут.

Пока вы находитесь внутри Open WebUI, но в другом диалоге, прямо здесь отобразится всплывающее сообщение в углу.

Звуковое уведомление. Сработает, если вы переключились в другую вкладку или программу. Можно отключить через Настройки → Интерфейс → ⬛ Звук уведомления.

Браузерные push‑оповещения. Включаются через Настройки → Поиск → ☑️ Уведомления. Эти сообщения появляются поверх рабочего стола, даже если браузер свёрнут.

Комбинируйте их как удобно — так вы точно не пропустите момент, когда ИИ закончит генерацию.

А если хотите, чтобы звук проигрывался всегда, даже когда вы внутри интерфейса, включите опцию: Настройки → Интерфейс → ☑️ Всегда проигрывать звук уведомления.

После всех изменений не забудьте нажать Сохранить — и ваши настройки вступят в силу.

🧙 Как пользоваться Open WebUI

Чтобы работать комфортнее, начнём с мелочи, которая серьёзно экономит время: закрепите нужные модели на боковой панели. Так они всегда будут под рукой. Для этого отыщите интересующие в списке и нажмите возле них ⋯ → Оставить в боковой панели (кривоватый перевод, да).

Дополнительно можно закрепить модель и через браузерные закладки. Для этого откройте Панель администратора → Настройки → Модели, найдите нужную ссылку вида:;. После этого просто перетащите её на панель закладок. При открытии такой ссылки автоматически создастся вкладка уже с выбранной моделью.

Хотите сравнить, как разные модели отвечают на один и тот же запрос? Тогда вам сюда.

Чтобы создать сплит‑чат, нажмите кнопку ＋ справа от списка моделей. Вот пример: я отправил одно сообщение сразу трём моделям — и получил три совершенно разных результата:

Это невероятно удобно, когда нужно сравнить стили, точность или поведение моделей — особенно при выборе, какая из них лучше подходит под конкретные задачи. Если моделей больше и они не помещаются по ширине, снизу появится горизонтальная полоса прокрутки — можно пролистать.

Если вы активно работаете со сплит‑чатами и при этом моделей больше 3, включите ☑️ Широкоэкранный режим в настройках, чтобы отображение по горизонтали не ограничивалось тремя моделями.

Open WebUI отлично справляется с обработкой документов. Можно прикреплять один или несколько файлов — даже разных форматов — и задавать по ним вопросы, просить анализ, суммаризацию или перекрёстные сравнения.

BotHub

BotHub — это веб‑платформа, где вы получаете доступ к сотням моделей сразу после регистрации. Достаточно указать почту — и можно работать. По сути, BotHub объединяет под одной крышей множество ИИ‑инструментов: от классических чат‑ботов до генераторов изображений, видео и речи.

Платформа служит единой точкой входа в мир разных моделей — без VPN и сложных настроек, просто из браузера.

BotHub не требует ручной настройки API или дополнительных ключей. Все модели доступны из коробки. Помимо чат‑ботов, здесь есть и другие типы: генераторы изображений, видео и аудио, модели для перевода речи в текст и обратно.

🧙 Как пользоваться BotHub

2. Раскройте список, чтобы выбрать модель — нужный ИИ можно найти по названию или типу задачи.

3. Чат‑боты находятся на вкладке Текст, а другие модели — во вкладках Изображение, Речь и Видео.

4. После выбора модели напишите промпт: это может быть текст любой длины, от нескольких символов до тысяч и десятков тысяч символов.

Например, gpt-5 имеет контекстную память длиною в 400 000 токенов (0,8…1,2 млн рус. символов/1,6 млн англ. символов), а claude‑sonnet-4.5 или gemini-2.5-pro — 1 000 000 токенов (2…3 млн рус. симв./4 млн англ. симв.).

• Чат‑ботам: текстовые файлы и таблицы (.pdf,.docx,.xlsx,.txt,.csv,.tsv и др.), изображения, исходный код.
• Генераторам изображений (Midjourney, Flux, Dalle, Stable Diffusion) — исходную картинку для доработки.
• Расшифровщикам речи (Assembly AI Best) — аудиофайлы (.mp3,.flac,.wav и др. — полный список отобразится в окне выбора файла).
• Генераторам видео (Runway, Veo) — стартовое изображение, которое станет первым кадром ролика.

Чат‑ботам: текстовые файлы и таблицы (.pdf,.docx,.xlsx,.txt,.csv,.tsv и др.), изображения, исходный код.

Расшифровщикам речи (Assembly AI Best) — аудиофайлы (.mp3,.flac,.wav и др. — полный список отобразится в окне выбора файла).

Генераторам видео (Runway, Veo) — стартовое изображение, которое станет первым кадром ролика.

6. В правой части интерфейса находятся параметры модели. Для текстовых чат‑ботов можно оставить их по умолчанию, а вот для изображений и видео нужно заглянуть — там настраиваются стиль, разрешение и прочие параметры. Вот пример панели настроек для модели Midjourney:

7. После ввода промпта нажмите Enter или кнопку отправки. Чат‑бот начнёт отвечать уже в процессе генерации, а у размышляющих моделей будет виден сам процесс рассуждения.

…Установить несколько?..

Всё под контролем. Эти программы не конфликтуют ни с API, к которому подключаются, ни между собой — даже если речь идёт о серверных Open WebUI и LibreChat+rag_api. Так что можно не просто устанавливать, но и запускать их одновременно.

Хотите устроить парад интерфейсов и сравнить их между собой? Пожалуйста — Open WebUI в браузере, Msty, Cherry Studio и остальные на десктопе, BotHub в соседней вкладке. Всё отлично уживётся на одном устройстве.

StableLM — текстовая нейросеть с открытым кодом

Говоря про графические нейросети, мы устанавливали свою сборку Stable Diffusion в этой статье. К сожалению, на текущий момент с текстовыми нейросетями с открытым кодом все еще не так хорошо проработано, и они довольно сырые. Но недавно их команда выпустила текстовую нейросеть StableLM, в альфа-тестирование. Да, пока еще оно сырое. Да, поддерживает только английский (немецкий+испанский) языки, да- по сравнению с ChatGPT это пока недостижимая высота, но это уже тот продукт, который можно установить себе и играться, обучать и ш-кодить (да, при знании английского, но есть же переводчики и можно подучить английский заодно).

Пока доступны две модели для тестирования 3 и 7 миллиардов параметров. Чтобы не вдаваться в техническое объяснение что это такое — в ChatGPT2 было 2 миллиарда, в ChatGPT3 — 175 миллиардов. Нейросети Google — 1,5 триллиона параметров. Но тут есть подводные камни, т.к. некоторые считают — что слишком большое число параметров снижает эффективность работы нейросети (не говоря о том, что требует гораздо больше ресурсов «железа»).

В настоящее время анонсирован выпуск 15B и 65B моделей, и запланирован выпуск 175B модели.

Системные требования для установки StableLM

Конкретных системных требований найти не удалось. Но тут — как и с графическими нейросетями — чем лучше компьютер — тем лучше и быстрее результат. В процессе установки становится понятно, что есть два режима работы — на видеокартах и на процессоре. Думаю, что на компьютерах с емкостью видеокарты менее 4Гб — могут быть сложности. Но также, есть вариант установки StableLM на более слабых компьютерах с помощью LLaMA (Large Language Model Meta AI).Для работы нам понадобится Python. И желательно установить программу Git для удобства работы с библиотекой GitHub.

Устанавливаем Python и GIT для работы со StableLM.

Повторяться не буду, единственное что — убедитесь, что Python у вас уже не установлен. (А если установлен — проверьте его версию) А также — если планируете работу со Stable Diffusion у себя на компьютере, желательно ставить версию 3.10.6, т.к. для графической нейросети (на текущее время) это важно, а для StableLM — не принципиально.

Если же Stable Diffusion не установлен и не планируете — то лучше ставить самую последнюю версию Python, так как вам не придется иметь головную боль с установкой модулей, которую имел я. Точнее — которая меня поимела =/

Устанавливаем StableLM на компьютер

Далее, есть несколько вариантов для работы: можно установить готовую сборку под Windows / Linux / Mac, а можно поизвращаться с самостоятельной установкой и запуском.

Мы будем ставить готовую сборку с интегрированным веб-интерфесом от команды Oobabooga под Windows. Владельцы Mac, а тем более Linux — разберутся самостоятельно =)

Итак, создаем (желательно в корне диска) папку с любым названием. Логично, если это будет STABLELM. (У меня она на диске D:, я буду использовать его. У вас это может быть другой диск)

Запускаем (там в принципе инструкция есть на английском) файл start_windows.bat (в случае Linux и Mac там будет start_linux и start_mac).

Открывается окно с инсталляцией программы, будет скачен ряд программ (например, Miniconda для доработки нашего Питона под machine learning). Скрипт все сделает сам.

Установка займет какое-то время, нужно потерпеть. Может показаться, что все зависло — но все равно ждем. И в конце-концов получаем такие строки, где сказано что установка завершена, но папка с моделями пуста. Поэтому смело закрываем окно и переходим к установке моделей.

Скачиваем и устанавливаем модели для StableLM

Как было сказано выше, на текущий момент доступно 2 варианта модели, и обе они находятся в Альфа-тестировании. Ну и по сравнению даже с Telegram-ботами — аналогами ChatGPT, это еще такое.. К тому же и на английском. Когда-нибудь появятся действительно сильные рабочие модели, ну а пока — как есть.

Кроме данной модели, можно скачать и другие модели и сложить их в данную папку.

А также — запустить скрипт (из корневой папки программы) и выбрать и скачать с представленные модели. Вариант «L» — указать модели вручную. Вариант «М» — ничего не делать.

— ресурс про нейросети, где все это выложено, тестируется и дорабатывается. Здесь можно посмотреть другие ресурсы (over 9000), а здесь — протестировать StableLM, прежде чем возникнет жгучее желание его поставить. Также, рекламируют почему-то закрытый проект GPT4chan, который судя по названию, гарантирует веселье.

Скачать его можно с торрентов (весит 22ГБ). И создатели приводят следующие ссылки:

Пишем BATник для запуска с различными параметрами

Для того, чтобы разукрасить нашу виртуальную половую жизнь, создатель SLM приготовил нам инструкцию (файл в корне), где очень много и очень подробно все описал. Так как мы понимаем, что все инструкции написаны для лохов (rtfmFM!), то читать мы ее не будем, так как английского, скорее всего, все-равно не понимаем.

python
Тем не менее, для комфортной работы может понадобиться написать файл для запуска. Назовем его и аккуратно сложим в директорию с программой (d:\STABLELM\oobabooga_windows\text-generation-webui\ в моем случае).запишем там такое: и далее допишем разное. Например:

интерфейс StableLM

Перевода пока нет, языковых моделей тоже не нашел, но тут интуитивно все понятно. В левом окне пишем запрос, в правом — получаем ответ, после нажатия кнопки «Generate». Выглядит интерфейс также, как и Stable Diffusion Web UI.

Text Generation — собственно, окно составления запросов.Parametrs — штук 20 различных параметров, которые влияют примерно на все. Техническая документация по ним Model — окно работы с моделямиTraining — окно обученияInterface mode — режим работы (режим ноутбука, чата, и т.д.)

Описание всех функций, и в особенности — режима обучения сильно выходит за рамки данного мануала, и с первой вкладкой — texst generation в принципе и так все понятно, поэтому стоит разъяснить вкладку Models.

И стоит сказать про Low-rank adaptation (LoRA): это возможность натренировать свою адаптацию модели и использовать ее для генерации текста. Для этого нужна регистрация на huggingface и гугл-аккаунт для доступа в Google Colab. Это, собственно, основа для тренировки своей модели, но для простой работы в нашем случае оно не нужно. Годных мануалов для текстовой версии Stable не найдено.

Ошибки при запуске Stable LM и отладка

Наиболее часто встречающиеся ошибки — о нехватке нужных модулей Python. Это может возникать, в случае, если установлена не сильно свежая версия Python, как у меня (я использую также Stable Diffusion, а он на текущий момент требует старую версию Python)Тут можно либо установить свежую версию (и ковыряться со Stable Diffusion), либо заняться отладкой.

Также, возможно, данные модули установлены, но они более ранней версии, поэтому StableLM их игнорирует.

Таких ошибок при запуске может быть много, и они могут быть разные, поэтому лучше всего запускать скрипты через командную строку чтобы смотреть ошибки и сразу их пытаться исправить.

d:
В консоли переходим на диск, где у нас установлен StableLM (у меня это диск D):

Первой ошибкой выдало: No module named «request». Это значит, что нашему Питону не хватает этого модуля.

pyhon -m pip install
Далее были ошибки с модулями gradio, psutil, torch, markdown, transformers (и еще штук 500) — которые также решались скачиванием и установкой, через команду <модуль>

python3
Нашел рекомендацию запускать скрипт через команду:, но он также не сработал.

Но теперь — не захотел загружать модель. Ссыплет ошибками уже в веб интерфейсе на отсутствие модуля llama_cpp. Через pip install устанавливать отказался.

После долгих часов гребли возникло предположение, что оно как-то нелепо воспринимает мою Palit Nvidia 1080, и пришлось все переделывать на CPU версию, чтобы заставить работать. FINЕсли вы дочитали до этого момента, да еще и установили и запустили это чудо — то можете поставить галочку в свой список достижений и снести все нафиг. Если Stable Diffusion — вполне законченный продукт, то StableLM — все еще криво работающая альфа-шняга (на апрель 2026), но при наличии правильных рук и годных моделей (и кучи свободного времени) можно произвести чудо. Или дождаться стабильно работающей русской модели (русская модель, да еще и рабочая — это всегда здорово). Или воспользоваться новой текстовой нейронкой от Сбер, которую мы еще не проверяли, т.к. ее только сегодня анонсировали в закрытом тесте.Но, тем не менее — The future IS now!

Часто задаваемые вопросы об установке нейросетей на ПК

Вопрос: Какая нейросеть для ПК самая простая в установке для новичка?
Ответ: Для начала лучше выбрать клиенты с графическим установщиком, такие как ChatBox или Msty. Они требуют минимум технических действий.

Вопрос: Нужен ли мощный компьютер для локальной нейросети?
Ответ: Для работы с облачными моделями (через API) подойдет любой ПК. Для локального запуска больших моделей, как StableLM, потребуется мощная видеокарта (от 8 ГБ VRAM) и много оперативной памяти.

Вопрос: Обязательно ли устанавливать Python для всех нейросетей?
Ответ: Нет, не для всех. Многие приложения, например, ChatBox, поставляются в виде готового исполняемого файла. Python нужен для запуска проектов с открытым исходным кодом, таких как StableLM или Open WebUI.

Вопрос: Что такое API-ключ и где его взять?
Ответ: Это уникальный код для доступа к облачной модели (например, от OpenAI или Anthropic). Его получают на сайте провайдера после регистрации и, часто, пополнения счета.

Вопрос: Можно ли установить несколько нейросетей на один компьютер?
Ответ: Да, они могут работать параллельно, если используют разные порты для локального сервера. Главное, чтобы хватило системных ресурсов.

Вопрос: Почему нейросеть не запускается и выдает ошибку?
Ответ: Частые причины: отсутствие необходимых библиотек (Visual C++, Python-пакетов), нехватка оперативной памяти, блокировка антивирусом или конфликт портов.

Вопрос: Чем локальная установка лучше веб-версии?
Ответ: Локальная работа может быть быстрее, обеспечивает конфиденциальность данных (файлы не уходят в облако) и позволяет глубоко кастомизировать интерфейс и функционал.

Вопрос: Что делать, если нет видеокарты?
Ответ: Можно использовать только облачные модели через API в любом клиенте (Msty, LibreChat). Также существуют легкие текстовые модели, работающие на CPU, но они менее мощные.

Вопрос: Какую модель выбрать для первого локального запуска?
Ответ: Начните с небольших и оптимизированных моделей, например, Phi-3 или StableLM 3B. Они менее требовательны к ресурсам и проще запускаются.

Вопрос: Безопасно ли скачивать нейросети с GitHub?
Ответ: Проекты с большим количеством звезд (stars) и активным сообществом обычно безопасны. Всегда проверяйте репутацию репозитория и читайте README перед установкой.

Краткий чек-лист по установке нейросети на ПК

1. Определите цель: нужен локальный запуск моделей или работа с облачными API.
2. Проверьте системные требования (ОЗУ, VRAM, место на диске).
3. Выберите подходящий клиент или фреймворк из списка выше.
4. Для облачных клиентов: зарегистрируйтесь у провайдера и получите API-ключ.
5. Для локальных моделей: установите Python и GIT, если требуется.
6. Скачайте дистрибутив или клонируйте репозиторий с GitHub.
7. Внимательно следуйте инструкции по установке (README.md).
8. Установите необходимые зависимости и библиотеки.
9. Для локальных моделей: скачайте веса (файлы модели) с Hugging Face.
10. Настройте клиент: укажите API-ключ, путь к модели, параметры генерации.
11. Запустите приложение или серверную часть.
12. Проверьте подключение в веб-интерфейсе или приложении.
13. Ознакомьтесь с основными функциями: загрузка файлов, настройка промптов.
14. Создайте ярлык или BAT-файл для удобного запуска.
15. Изучите логи для отладки в случае ошибок.