RayoAIConnector (Соединитель с RayoAI)

Дополнение RayoAIConnector для NVDA, которое позволяет быстро отправлять изображения в настольное приложение RayoAI для их описания или анализа.

• Захватывает изображение текущего элемента из обозревателя объектов NVDA и отправляет его в RayoAI.
• Связь осуществляется локально (127.0.0.1) через настраиваемый порт. Пиксели не отправляются; передаётся только путь к временному файлу на вашем компьютере.

Требования

• Windows 10 или 11 (x64).
• NVDA 2023.1 или выше.
• Установленное и запущенное настольное приложение RayoAI.

Установка

1. Скачайте файл дополнения (.nvda-addon) со страницы выпусков проекта:
   https://github.com/rayo-alcantar/RayoAIconnectorNVDA/releases
   С официального сайта или непосредственно из RayoAI.
2. Откройте Диспетчер дополнений NVDA:
   Меню NVDA → Сервис → Диспетчер дополнений → Установить…
3. Выберите скачанный файл .nvda-addon и примите установку.
4. Перезапустите NVDA, когда будет предложено.

Во время установки может появиться сообщение с предложением сделать пожертвование. Это совершенно необязательно.

Настройка (локальный порт)

• Меню NVDA → Параметры → Настройки → RayoAI Connector.
• Настройте «порт для подключения к RayoAI», если ваше приложение RayoAI не использует значение по умолчанию (опция на будущее).
• Порт по умолчанию: 16180.

Связь осуществляется только с 127.0.0.1 (ваш собственный компьютер).

Быстрое использование

Дополнение работает с «обозревателем объектов» NVDA (элемент, который NVDA использует для просмотра содержимого экрана). Поместите обозреватель объектов на интересующий вас элемент и используйте это сочетание клавиш:

• NVDA+Shift+K: Захватить видимую часть элемента и отправить её в RayoAI.
  • Полезно, когда элемент виден на экране (например, изображение, кнопка, элемент управления и т. д.).
  • Дополнение делает снимок области экрана этого элемента и сохраняет временный BMP-файл.

Совет: если хотите, вы можете настроить это сочетание клавиш в Меню NVDA → Параметры → Жесты ввода → категория «RayoAI Connector».

Подробные шаги использования

1) Отправить снимок элемента (NVDA+Shift+K)
- Переместитесь с помощью NVDA к интересующему элементу (используйте обозреватель объектов).
- Убедитесь, что элемент виден на экране (не скрыт и не находится за пределами видимой области).
- Нажмите NVDA+Shift+K.
- Если всё проходит успешно, RayoAI получит файл и откроет его, чтобы вы могли с ним работать.

Примечания и ограничения

• Затемнение экрана: если вы используете функцию «затемнения экрана» NVDA, отключите её перед созданием снимков. Дополнение предупредит вас, если она активна.
• Элементы без местоположения: некоторые элементы не сообщают свою позицию на экране; в этом случае невозможно захватить их изображение.
• Временные файлы: изображения сохраняются в системную временную папку и могут быть автоматически удалены позже.

Конфиденциальность и безопасность

• Подключение осуществляется только к 127.0.0.1 (ваш компьютер) и через настроенный порт.
• В RayoAI отправляется только путь к временному файлу; данные экрана по сети не передаются.

Решение проблем

• «Не удается отправить изображение в RayoAI. Открыто ли и работает ли приложение?»
  • Откройте приложение RayoAI и убедитесь, что оно запущено.
  • Проверьте порт в Настройки → RayoAI Connector и убедитесь, что он совпадает с портом RayoAI (пока ничего делать не нужно).
• «Не удается захватить изображение из обозревателя объектов.»
  • Убедитесь, что элемент виден и затемнение экрана отключено.
  • Попробуйте прокрутить или приблизить/отдалить, чтобы элемент полностью оказался на экране.

Настройка сочетаний клавиш

• Меню NVDA → Параметры → Жесты ввода → «RayoAI Connector».
• Вы можете переназначить NVDA+Shift+K, если это сочетание конфликтует с другими жестами.

Удаление

• Меню NVDA → Сервис → Диспетчер дополнений.
• Выберите «RayoAI connector for NVDA» и нажмите «Удалить…».
• Перезапустите NVDA.

Где получить помощь или обновления

• Исходный код и загрузки: https://github.com/rayo-alcantar/RayoAIconnectorNVDA
  Электронная почта разработчика: angelalcantar@rayoscompany.com

Лицензия

• Это дополнение распространяется под Стандартной общественной лицензией GNU (см. файл COPYING.txt, включённый в проект).

Техническая информация (только если вам интересно):
- Дополнение открывает локальное TCP-соединение (127.0.0.1) на настроенный порт (по умолчанию 16180) и отправляет простое JSON-сообщение с путём к изображению. Приложение RayoAI открывает файл и обрабатывает его.
- Для NVDA+Shift+K выполняется прямой захват области элемента на экране (Windows GDI) и сохранение в виде 24-битного BMP-файла во временной папке.