Gemini Live для NVDA – Документация
Версия 1.0
Gemini Live обеспечивает живые голосовые разговоры в реальном времени с самым современным ИИ от Google непосредственно в вашей программе экранного доступа NVDA. Разговаривайте естественно, слушайте ответы, похожие на человеческие, и взаимодействуйте с Gemini с помощью голоса или набранного текста — не покидая привычный рабочий процесс. Это дополнение превращает NVDA в голосового ИИ-помощника без использования рук для исследований, письма, обучения или обычной беседы.
Содержание
- Обзор
- Возможности
- Установка
- Начало работы
- Настройки и конфигурация
- Библиотека голосов (30+ естественных голосов)
- Интерфейс живого разговора
- Управление ключами API (ротация)
- Поиск Google и выполнение кода
- Сочетания клавиш
- Устранение неполадок
- Системные требования
- Поддержка и сообщество
- Конфиденциальность и безопасность
Обзор
Gemini Live для NVDA — это профессиональное дополнение, которое подключает вас к аудиомоделям Google Gemini в реальном времени. В отличие от традиционных текстовых чат-ботов, это дополнение поддерживает полноценные голосовые разговоры в дуплексном режиме: вы говорите, ИИ слушает и отвечает естественной речью, а вы можете прервать его или набрать текст в любой момент. Дополнение поддерживает несколько ключей API с автоматической ротацией, 30 встроенными высокореалистичными голосами (мужскими, женскими, разных стилей) и расширенными функциями, такими как поиск Google и безопасное выполнение кода.
Все настройки — включая системные инструкции, предпочтения голоса, температуру, ключи API и параметры инструментов — сохраняются локально и действуют при перезапуске NVDA. Нужен ли вам помощник для мозгового штурма, ассистент по программированию, помощник в исследованиях или просто собеседник — Gemini Live легко впишется в вашу работу.
Возможности
- Голосовой разговор в реальном времени – говорите с Gemini и слушайте голосовые ответы с ультранизкой задержкой через Live API Google.
- 30 премиальных голосов – выбирайте из 30 выразительных голосов (Zephyr, Puck, Charon, Kore, Fenrir, Leda и другие) с уникальными стилями: Яркий, Жизнерадостный, Информативный, Твёрдый, Мягкий, Плавный и т.д.
- Текстовый ввод как альтернатива – набирайте сообщения, когда говорить неудобно; идеально для тихих мест или сложных запросов.
- Ротация ключей API – добавьте несколько ключей API (по одному на строку). Если один ключ не сработает или исчерпает лимиты, дополнение автоматически переключится на следующий.
- Системные инструкции – задайте характер, роль и ограничения Gemini (например, «Вы — терпеливый репетитор по программированию» или «Вы говорите только хайку»).
- Регулируемая температура (креативность) – ползунок от 0,0 (детерминированно, фактически) до 2,0 (креативно, неожиданно). По умолчанию 1,0.
- Поиск Google – включите поиск в реальном времени для получения актуальной информации, новостей и фактов.
- Безопасное выполнение кода – запускайте код Python в изолированной среде; идеально для анализа данных, математики или проверки фрагментов кода.
- Отключение микрофона – приостанавливайте голосовой ввод без завершения сеанса.
- Сохранение сеанса – держите разговор активным, пока явно не завершите его; тайм-аутов нет.
- Звуковые уведомления – системные звуки подтверждают подключение и отключение.
- Две поддерживаемые модели – gemini-3.1-flash-live-preview (быстрая) и gemini-2.5-flash-native-audio-preview-12-2025 (высокое качество).
- Отдельное сочетание для запуска – запускайте живой разговор напрямую через NVDA+S (в обход главного меню).
- Полная интеграция с NVDA – доступные диалоги, индикаторы прогресса и пункт в меню Сервис.
Установка
- Скачайте файл
.nvda-addon для Gemini Live.
- Убедитесь, что NVDA запущена (при необходимости нажмите Control+Alt+N).
- Откройте меню NVDA с помощью NVDA+N, перейдите в Сервис, затем Менеджер дополнений.
- Нажмите кнопку Установить, выберите скачанный файл дополнения.
- Подтвердите установку и перезапустите NVDA при появлении запроса.
- После перезапуска откройте Gemini Live через NVDA+Alt+G или из меню Сервис NVDA.
Примечание: Для работы дополнения требуются действительные ключи API Google Gemini с доступом к аудиомоделям реального времени. Ключи API не включены в дополнение; их необходимо получить в
Google AI Studio или Google Cloud Console.
Начало работы
Нажмите NVDA+Alt+G, чтобы открыть главное окно Gemini Live. Отсюда вы можете:
- Открыть Настройки для изменения ключей API, голоса, системных инструкций и инструментов.
- Начать разговор – начать живой голосовой сеанс с сохранёнными настройками.
- О программе – просмотреть версию дополнения, информацию об авторе и ссылку на канал поддержки в Telegram.
Кроме того, используйте прямое сочетание NVDA+S в любом месте, чтобы сразу начать живой разговор с последними использованными настройками (если они заданы).
При запуске разговора появляется диалог подключения, пока дополнение по очереди пробует каждый ключ API. После подключения вы услышите звук подтверждения (SystemAsterisk), и откроется главное окно разговора.
Настройки и конфигурация
Нажмите кнопку Настройки в главном диалоге или откройте их через меню Сервис. Все настройки автоматически сохраняются в %APPDATA%\gemini-live-application\settings.ini.
Вкладка «Общие настройки»
- Выбор модели ИИ – выберите между
gemini-3.1-flash-live-preview (быстрее, ниже задержка) и gemini-2.5-flash-native-audio-preview-12-2025 (богатое аудиокачество).
- Выбор голоса – выберите из 30 голосов (см. раздел «Библиотека голосов» ниже). Каждый голос сопровождается стилем, полом и описанием.
- Системные инструкции – введите многострочную подсказку, определяющую поведение Gemini. Пример: «Вы — терпеливый и поддерживающий репетитор по математике для незрячих студентов. Объясняйте понятия шаг за шагом».
- Температура (креативность) – ползунок от 0,0 до 2,0. Меньшие значения дают более сфокусированные, фактические ответы. Большие — более креативные, неожиданные ответы.
- Включить поиск Google – позволяет Gemini получать актуальную информацию из интернета. Ответы могут содержать ссылки на источники.
- Включить выполнение кода – позволяет Gemini писать и выполнять код Python в изолированной среде. Полезно для вычислений, обработки данных или проверки логики.
- Ключ(и) API – введите один или несколько ключей Google API, по одному на строку. Дополнение будет пробовать ключи по порядку; если один не срабатывает, оно автоматически переходит к следующему.
Библиотека голосов (30+ естественных голосов)
Gemini Live предлагает широкий выбор высококачественных нейронных голосов. Каждый голос имеет уникальный идентификатор, стиль, пол и краткое описание. Ниже приведён полный список:
Zephyr – Яркий, Женский
Puck – Жизнерадостный, Мужской
Charon – Информативный, Мужской
Kore – Твёрдый, Женский
Fenrir – Возбудимый, Мужской
Leda – Юный, Женский
Orus – Твёрдый, Мужской
Aoede – Беззаботный, Женский
Callirrhoe – Неторопливый, Женский
Autonoe – Яркий, Женский
Enceladus – Дыхательный, Мужской
Iapetus – Чёткий, Мужской
Umbriel – Неторопливый, Мужской
Algieba – Плавный, Мужской
Despina – Плавный, Женский
Erinome – Чёткий, Женский
Algenib – Хриплый, Мужской
Rasalgethi – Информативный, Мужской
Laomedeia – Жизнерадостный, Женский
Achernar – Мягкий, Женский
Alnilam – Твёрдый, Мужской
Schedar – Ровный, Мужской
Gacrux – Зрелый, Женский
Pulcherrima – Прямолинейный, Женский
Achird – Дружелюбный, Мужской
Zubenelgenubi – Непринуждённый, Мужской
Vindemiatrix – Мягкий, Женский
Sadachbia – Живой, Мужской
Sadaltager – Осведомлённый, Мужской
Sulafat – Тёплый, Женский
Все голоса находятся на стороне сервера и не требуют локальной загрузки. Дополнение отправляет идентификатор голоса при каждом запросе сеанса.
Интерфейс живого разговора
Когда сеанс запущен, открывается главное окно разговора со следующими элементами:
- Ваше сообщение (многострочное текстовое поле) – введите сообщение, если предпочитаете текстовый ввод. Нажмите кнопку «Отправить» или просто говорите в микрофон.
- Кнопка «Отправить» – отправляет набранный текст Gemini. Голосовой ввод отправляется автоматически.
- Кнопка «Отключить микрофон» – временно отключает микрофон. ИИ может по-прежнему отвечать на введённые сообщения. Нажмите снова, чтобы включить.
- Кнопка «Завершить сеанс» – корректно завершает живой разговор, закрывает аудиопотоки и возвращает в главное окно.
Во время разговора:
- Говорите естественно. Нет режима «нажми и говори» – микрофон работает непрерывно, пока не отключён.
- Ответы Gemini воспроизводятся через динамики или наушники по умолчанию.
- Вы можете прервать ИИ, снова заговорив или отправив набранное сообщение.
- Все взаимодействия происходят в реальном времени; не нужно вручную переключать страницы или ждать обработки.
Когда вы завершаете сеанс, проигрывается звук SystemExit, и окно закрывается автоматически. История разговоров не сохраняется локально из соображений конфиденциальности.
Управление ключами API (ротация)
Дополнение поддерживает несколько ключей API для резервирования и обработки ограничений частоты запросов. Для настройки:
- Откройте настройки из главного окна.
- В поле «Ключ(и) API» вводите по одному ключу на строку, например:
AIzaSyA1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6q7r8s9t
AIzaSyB2c3d4e5f6g7h8i9j0k1l2m3n4o5p6q7r8s9u
- Сохраните настройки.
При запуске разговора дополнение пробует ключи по порядку. Если ключ не работает (недействителен, истёк, превышена квота или модель недоступна), оно автоматически переходит к следующему ключу с задержкой 0,5 секунды. В диалоговом окне прогресса показывается, какой ключ сейчас используется. Если все ключи не работают, появляется сообщение об ошибке.
Совет: Получите ключи API в
Google AI Studio. Убедитесь, что ключи имеют доступ к «Live API» и выбранной вами модели. Действуют ограничения бесплатного тарифа.
Gemini Live может дополнительно использовать два мощных инструмента:
Поиск Google
При включении этой функции Gemini может выполнять поиск в интернете в реальном времени, чтобы отвечать на вопросы о текущих событиях, свежих данных или фактической информации. Это полезно для новостей, погоды, спортивных результатов, курсов акций или любых запросов, требующих актуальных знаний. ИИ обычно указывает источники в ответе.
Выполнение кода
При включении этой функции Gemini может писать и выполнять код Python в безопасной изолированной среде. Это идеально подходит для:
- Математических вычислений и решения формул
- Анализа данных или обработки CSV
- Тестирования алгоритмов или отладки логики
- Построения графиков или диаграмм (с текстовым описанием)
Код выполняется на стороне сервера в инфраструктуре Google и не имеет доступа к вашим локальным файлам. Результаты возвращаются в виде текста или аудиоописаний. Включайте эту функцию только при необходимости вычислительной помощи; она может увеличить задержку ответа.
Сочетания клавиш
| Сочетание | Действие |
|---|
NVDA+Alt+G | Открыть главное окно Gemini Live (настройки, запуск, о программе) |
NVDA+S | Начать живой разговор напрямую (с сохранёнными настройками) |
Alt+F4 (в окне разговора) | Завершить сеанс и закрыть окно |
Enter (в текстовом поле) | Отправить набранное сообщение (Shift+Enter — новая строка) |
Escape (в любом диалоге) | Отменить или закрыть без применения |
Ctrl+Tab / Ctrl+Shift+Tab | Переключение между вкладками диалога (окно настроек) |
Все кнопки полностью доступны через навигацию по объектам NVDA и стандартную навигацию по клавише Tab.
Устранение неполадок
Нет звука или микрофон не работает: Убедитесь, что в настройках звука Windows правильно заданы устройства ввода и вывода по умолчанию. Дополнение использует PyAudio и обращается к системным микрофону и динамикам по умолчанию.
Не удаётся подключиться ни с одним ключом API: Проверьте, что каждый ключ API действителен, для него включена оплата (или действует бесплатный тариф) и есть доступ к выбранной live-модели. Для некоторых ключей может потребоваться включить Live API в Google Cloud Console.
Высокая задержка или прерывистый звук: Чаще всего это связано с сетью. Используйте стабильное широкополосное соединение. Выберите модель «flash-live-preview» для меньшей задержки.
Голос не соответствует выбранному: Некоторые идентификаторы голосов могут быть устаревшими или недоступными в вашем регионе. Попробуйте другой голос из библиотеки.
NVDA перестаёт отвечать при запуске сеанса: Подождите несколько секунд; дополнение пробует ключи API. Если проблема сохраняется, перезапустите NVDA и убедитесь, что ключи API указаны верно.
Поиск Google или выполнение кода не работают: Убедитесь, что вы включили эти функции в настройках до начала разговора. Их нельзя изменить во время сеанса.
Примечание: Вся аудиообработка (захват с микрофона и воспроизведение через динамики) использует частоту 16 кГц на входе и 24 кГц на выходе. Если возникает эхо или обратная связь, используйте наушники вместо динамиков.
Системные требования
- NVDA 2023.1 или новее
- Windows 10 или Windows 11 (рекомендуется 64-разрядная)
- Работоспособные микрофон и динамики/наушники
- Стабильное интернет-соединение (широкополосное, не менее 1 Мбит/с на загрузку и отдачу)
- Действительный ключ API Google Gemini с доступом к Live API
- Среда Python не требуется — дополнение включает все зависимости (pyaudio, google-genai и т.д.)
Поддержка и сообщество
Для получения помощи, отправки предложений или сообщения о проблемах:
- Присоединяйтесь к Telegram-каналу: https://t.me/blindtechvisionary
- Свяжитесь с автором напрямую через Telegram: @blindtechvisionary
- Проверьте диалог «О программе» внутри дополнения (главное окно → кнопка «О программе») для получения информации о версии и быстрых ссылок.
Ваши отзывы напрямую влияют на будущие обновления. Предложения по новым голосам, дополнительным инструментам или улучшению рабочих процессов всегда приветствуются.
Конфиденциальность и безопасность
Gemini Live для NVDA разработан с учётом конфиденциальности как основного принципа:
- Нет локального хранения разговоров – Аудио и текстовые данные передаются напрямую в API Google и не сохраняются на вашем компьютере после завершения сеанса.
- Ключи API хранятся локально – Ключи сохраняются в виде открытого текста в файле
%APPDATA%\gemini-live-application\settings.ini. Если вы беспокоитесь о раскрытии ключей, защитите компьютер надёжным паролем.
- Нет телеметрии использования – Дополнение не собирает никаких аналитических данных, отчётов о сбоях или статистики использования.
- Обработка данных Google – Аудио и текст, отправляемые в API Google, подпадают под действие политики конфиденциальности Google. Подробнее см. Политику конфиденциальности Google.
- Работа в автономном режиме – Само дополнение не содержит сетевых служб, кроме подключения к API Google. Сторонние серверы не используются.
Для максимальной конфиденциальности избегайте передачи личной или финансовой информации во время разговоров, как и при использовании любого облачного ИИ-сервиса.
Важно: Это дополнение не связано с Google. «Gemini» и «Google» являются товарными знаками Google LLC. Дополнение использует официальные клиентские библиотеки Google Generative AI.
Gemini Live для NVDA – Версия 1.0 – Создано для естественной голосовой ИИ-помощи.
Автор: Sujan Rai | Telegram: @blindtechvisionary