ClauVDA — Anthropic Claude AI для NVDA

Краткое описание

ClauVDA интегрирует искусственный интеллект Anthropic Claude непосредственно в NVDA, предоставляя слепым и слабовидящим пользователям мощную помощь на основе ИИ. Дополнение поддерживает текущую линейку Claude — Opus 4.7, Sonnet 4.6 и Haiku 4.5 — для чата, описания изображений, анализа записей экрана и многого другого. В качестве провайдеров аутентификации поддерживаются как прямой API Anthropic, так и Amazon Bedrock (с использованием API-ключей с токеном-носителем).

Возможности

Требования

Настройка

Вариант 1 — API Anthropic (прямой доступ)

  1. Перейдите на страницу console.anthropic.com/settings/keys
  2. Создайте API-ключ
  3. В NVDA: Параметры > Настройки > Claude AI
  4. Оставьте «Провайдера API» как Anthropic (прямой доступ)
  5. Нажмите Настроить API-ключ Anthropic... и вставьте ваш ключ

Вариант 2 — Amazon Bedrock (токен-носитель)

  1. Убедитесь, что ваша учётная запись AWS имеет доступ к моделям Claude, которые вы планируете использовать
  2. Создайте API-ключ Bedrock в консоли AWS: Bedrock API keys
  3. В NVDA: Параметры > Настройки > Claude AI
  4. Измените «Провайдера API» на Amazon Bedrock
  5. Установите регион AWS (по умолчанию us-east-1)
  6. Нажмите Настроить API-ключ Bedrock... и вставьте ваш токен-носитель

Ключи для каждого провайдера хранятся отдельно, зашифрованными с помощью Windows DPAPI. Вы также можете указать их через переменные среды (ANTHROPIC_API_KEY или AWS_BEARER_TOKEN_BEDROCK).

Сочетания клавиш

| Сочетание | Действие | |----------|--------| | NVDA+G | Открыть диалог Claude AI | | NVDA+Shift+E | Описать весь экран | | NVDA+Shift+O | Описать объект навигатора | | NVDA+V | Начать/остановить запись видео для анализа | | NVDA+Shift+U | Обобщить выделенный текст | | NVDA+Shift+H | Обобщить последний произнесённый текст |

Использование диалога Claude

Когда вы открываете диалог Claude с помощью NVDA+G:

  1. Модель: Выберите, какую модель Claude использовать
  2. Системная подсказка: Необязательные инструкции о том, как Claude должен отвечать
  3. История: Просмотр истории разговора
  4. Сообщение: Введите ваше сообщение или вопрос
  5. Отправить: Отправить сообщение Claude
  6. Прикрепить изображение: Добавить файл изображения для анализа Claude
  7. Прикрепить видео: Добавить видео; кадры выбираются и отправляются как изображения
  8. Очистить: Очистить историю разговора
  9. Копировать ответ: Скопировать последний ответ в буфер обмена

Советы по работе с диалогом

Настройки

Доступ к настройкам: меню NVDA > Параметры > Настройки > Claude AI:

Звуковая обратная связь

Доступные модели

Все три поддерживают ввод изображений.

Функции работы с изображениями и видео

Описание экрана (NVDA+Shift+E)

Захватывает весь экран и отправляет его Claude для детального описания.

Описание объекта (NVDA+Shift+O)

Захватывает только текущий объект навигатора.

Анализ видео (NVDA+V)

  1. Нажмите NVDA+V, чтобы начать запись
  2. Выполните действия, которые хотите проанализировать
  3. Нажмите NVDA+V снова, чтобы остановить
  4. Кадры из записи выбираются и отправляются Claude в виде изображений

Claude не принимает видеофайлы напрямую, поэтому дополнение выбирает несколько кадров (по умолчанию: 12) равномерно по всему клипу.

Обобщение выделенного (NVDA+Shift+U)

Выделите текст в любом приложении, и Claude обобщит ключевые моменты.

Устранение неполадок

«Не удалось загрузить SDK Anthropic»

Встроенные библиотеки могут отсутствовать или быть повреждены. Переустановите дополнение.

«Не настроен API-ключ Anthropic»

Настройте API-ключ в Параметры > Настройки > Claude AI для выбранного вами провайдера.

Ответы слишком короткие или обрываются

Увеличьте значение параметра «Максимальное количество токенов».

Ответы слишком случайные

Уменьшите значение параметра «Температура».

Уведомление о конфиденциальности

Сборка из исходного кода

Встроенные зависимости Python (Anthropic SDK, boto3, Pillow, mss, imageio и т.д.) не включены в этот репозиторий — они большие, зависят от платформы и легко воспроизводятся с помощью uv. После клонирования вы должны установить их в обе папки addon/lib32 и addon/lib64 перед сборкой, иначе сгенерированный .nvda-addon не сможет импортировать anthropic во время выполнения.

# Клонирование
git clone https://github.com/ogomez92/claudeNVDA.git
cd claudeNVDA

# Создание локальной виртуальной среды для сборки и установка инструментов сборки
uv venv
uv sync

# Установка зависимостей времени выполнения дополнения в ОБЕ папки lib.
# По умолчанию NVDA работает на 64-разрядном Python; 32-разрядная версия сохранена для старых установок.
uv pip install --python 3.13 --target addon/lib64 \
    --python-platform x86_64-pc-windows-msvc \
    -r addon/requirements.txt

uv pip install --python 3.13 --target addon/lib32 \
    --python-platform i686-pc-windows-msvc \
    -r addon/requirements.txt

# Сборка пакета .nvda-addon
uv run scons .