NVDA AI Ассистент

Практичное дополнение с ИИ-ассистентом для NVDA, которое добавляет функции создания сводок, чата, понимания снимков экрана и контекстного взаимодействия непосредственно в NVDA.

Обзор

NVDA AI Ассистент помогает работать с:

• веб-страницами
• документами
• приложениями
• снимками экрана
• визуальными интерфейсами

не покидая NVDA.

Дополнение сочетает быстрые действия с постоянным рабочим процессом чата, позволяя сводкам, снимкам экрана и содержимому страниц естественно переходить в последующие обсуждения.

Для полностью локального вывода оно также может запускать LiteRT-LM — автономную среду выполнения на устройстве, которая загружается по требованию; не требуется отдельной установки Python или Ollama.

Возможности

Создание сводок

Создание сводок для:

• веб-страниц
• виртуальных буферов
• документов
• содержимого активного приложения

Быстрые действия могут непосредственно переходить в чат для последующего взаимодействия или открывать результат в совершенно новом разговоре (действия Добавить в чат / Открыть в новом чате).

Изображения и снимки экрана

• Описание текущего активного окна
• Описание объекта NVDA в фокусе — захватывает только область экрана текущего элемента в фокусе
• Непосредственная вставка снимков экрана в чат
• Вставка изображения объекта в фокусе в чат
• Загрузка файлов изображений для анализа
• Продолжение обсуждения визуального содержимого в разговоре

Поддерживаемые форматы:

• PNG
• JPG / JPEG
• WEBP
• GIF
• BMP
• SVG

Чат

Пользовательский интерфейс чата на основе WebView поддерживает:

• потоковые ответы
• форматированный вывод чата
• навигацию с клавиатуры
• историю разговоров
• постоянные разговоры
• управление боковой панелью разговоров
• выбор поставщика и модели

Вы можете:

• продолжать предыдущие чаты
• переключать разговоры
• прикреплять снимки экрана и контекст страницы
• продолжать один и тот же разговор с разными моделями
• нажать Escape, чтобы скрыть окно, пока ответ продолжает передаваться в фоновом режиме — оно автоматически появится снова, когда ответ будет готов

Внедрение контекста

Добавление дополнительного контекста в активный разговор.

Содержимое страницы

Внедрение:

• структуры страницы
• информации о доступности
• содержимого виртуального буфера
• содержимого активного приложения

непосредственно в чат.

Чат со снимками экрана

Захват текущего экрана и его прикрепление к активному разговору.

Поддержка поставщиков

Поддерживаются:

• Ollama
• API, совместимые с OpenAI
• Gemini
• LiteRT-LM (полностью локальный)

Унифицированный адаптер, совместимый с OpenAI, также работает с любым другим сервером, поддерживающим протокол /v1/chat/completions (например, сервер llama.cpp).

Возможности включают:

• автоматическое обнаружение моделей
• локальный и облачный вывод
• переключение поставщика во время выполнения
• переключение модели во время выполнения
• включение или отключение поставщика
• установка среды выполнения LiteRT-LM в один клик
• настройки дискретизации для каждой модели
• понятные для человека названия моделей

Поставщиков и модели можно менять непосредственно из интерфейса чата без перезапуска разговора или из слоя ассистента с помощью T / M с последующей цифрой.

LiteRT-LM (локальный вывод)

LiteRT-LM — это автономная среда выполнения для локального вывода. Дополнение загружает её по требованию, поэтому вы можете запускать модели на своём компьютере без установки Python или Ollama:

• загрузка среды выполнения и моделей с диалогом прогресса
• выбор вариантов с ускорением CPU, GPU или Intel NPU
• загрузка или удаление моделей из менеджера моделей
• поддержка моделей для зрения, мышления и с множественным предсказанием токенов
• локальный сервер запускается автоматически и применяет настройки движка при перезапуске

Рекомендуемые модели LiteRT-LM включают Gemma 4 E2B/E4B и Qwen3 1.7B/4B/8B.

Режим мышления

Некоторые поставщики и модели (включая большинство моделей LiteRT-LM и Qwen3) поддерживают дополнительный режим мышления для расширенных рабочих процессов рассуждения.

Быстрый старт

Требования

• Установленная NVDA

• Один настроенный поставщик ИИ:

• Ollama

• API, совместимый с OpenAI
• Gemini
• LiteRT-LM (локальный — среда выполнения загружается по требованию)

Использование Ollama

Установка Ollama:

powershell id="55n8ws" winget install Ollama.Ollama

Загрузка модели:

powershell id="oaq6xv" ollama pull gemma4:e4b

или:

powershell id="b7xti3" ollama pull ministral-3:3b

Список установленных моделей:

powershell id="d62g3n" ollama ls

Настройка

1. Установите дополнение NVDA AI Ассистент.
2. Откройте панель настроек AI Ассистента.
3. Используйте Управление поставщиками ИИ, чтобы включить поставщика, установить среду выполнения LiteRT-LM при необходимости и установить активного поставщика.
4. Выберите модель или конечную точку.
5. Нажмите NVDA+Shift+A, чтобы начать использование ассистента.

Совет: используйте Настроить активную модель для настройки параметров дискретизации для каждой модели (контекстное окно, температура, top-k, top-p, максимальное количество токенов, штраф за повторения).

Команды

Нажмите:

text id="7h19nm" NVDA+Shift+A

Затем нажмите:

Нажмите T или M, чтобы услышать доступных поставщиков или модели с цифрами, затем нажмите цифру для мгновенного переключения.

Сочетания клавиш в чате

Следующие сочетания клавиш доступны в окне чата:

Настройка

Панель настроек позволяет вам:

• выбрать активного поставщика и модель
• управлять поставщиками ИИ (включить или отключить, установить среду выполнения LiteRT-LM, установить активного поставщика)
• настроить параметры дискретизации для каждой модели (контекстное окно, температура, top-k, top-p, максимальное количество токенов, штраф за повторения)
• установить глобальные настройки моделей по умолчанию
• настроить ключи API и конечные точки
• включить или отключить потоковую передачу
• настроить качество и размер изображений
• настроить поведение таймаута
• включить дополнительный режим мышления
• записывать метрики запросов в файл

Рекомендуемые локальные модели

Ollama

Просмотр сведений о модели с помощью:

powershell id="p2owd8" ollama show gemma4:e4b

LiteRT-LM

Загрузите эти модели из менеджера моделей (Hugging Face). Доступны варианты для CPU и GPU/NPU, где это указано.

Технические примечания

• Выделенный хост пользовательского интерфейса поддерживает отзывчивость NVDA во время операций ИИ.
• Сеансы чата сохраняют контекстную непрерывность во время взаимодействия.

Устранение неполадок

• Проверьте конфигурацию поставщика, если запросы не выполняются.
• Убедитесь, что Ollama запущен для локального вывода.
• Для LiteRT-LM установите среду выполнения и загрузите модель из Управления поставщиками ИИ перед использованием; локальный сервер запускается автоматически.
• Загрузите необходимые модели перед использованием.

Открытый исходный код и вклад

Приветствуются сообщения о проблемах, предложения, отзывы о доступности и запросы на включение изменений.

Лицензия

Сведения о лицензии см. в файле COPYING.txt.