Скилл Живого Голоса и Видеокамеры (Voice & Vision): как разговаривать с ИИ и показывать ему экран
Большинство людей до сих пор только печатают текст в чат с нейросетью. Но один из самых мощных и недооцененных скиллов 2026 года — это живой голосовой видеозвонок с нейросетью (Advanced Voice with Vision в ChatGPT и Gemini Live), когда ИИ одновременно слышит вас, отвечает за доли секунды и видит всё, что происходит перед вашей камерой или на экране.
AM LABТоп-5 ситуаций, где скилл Голос + Камера творит чудеса
- 1Помощь со сложными программами (Excel, Photoshop, 1С, настройки Windows): включите демонстрацию экрана и просто спросите вслух: «Куда мне сейчас нажать, чтобы сделать сводную таблицу?» — нейросеть видит ваш экран и ведет вас голосом шаг за шагом!
- 2Изучение иностранных языков: положите телефон рядом и разговаривайте с ИИ как с носителем английского — попросите его мягко поправлять ваше произношение.
- 3Путешествия и магазины за границей: наведите камеру на меню ресторана или этикетку лекарства на незнакомом языке и спросите вслух: «Какое блюдо тут без острого перца и сколько это стоит в долларах?»
- 4Ремонт и бытовая техника: наведите камеру на роутер, стиральную машину с кодом ошибки или щиток и спросите, что означает мигающий индикатор.
- 5Подготовка к собеседованию или переговорам: проведите 10-минутную голосовую репетицию сложных вопросов.
Вам не нужно ждать, пока ИИ договорит длинный абзац. Просто начните говорить вслух в любой момент — он мгновенно замолчит и переключится на ваш новый вопрос, как живой собеседник.
Как включить этот скилл за 5 секунд?
- В приложении ChatGPT или Gemini на смартфоне: нажмите круглую иконку со звуковыми волнами справа от поля ввода текста.
- Когда начнется голосовой звонок, внизу экрана появится значок Видеокамеры (включить камеру) и значок Демонстрации экрана (показать экран телефона).
Аппаратная верификация и метрики кремния
vllm serve skill-realtime-voice-and-camera-vision-guide --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max-model-len 32768 --kv-cache-dtype fp8
Artur Moiseyev
Founder & AI Editor-in-Chief
Независимый AI-исследователь и архитектор распределенных систем. Разрабатываю мультиагентные системы, открытые reasoning-модели и инфраструктуру реального времени.
Связанные статьи справочника
AM LABРеволюция генерации видео: Sora против Kling 1.5, Runway Gen-3 и Hailuo в 2026 году
Глубокое сравнение архитектур Diffusion Transformers (DiT). Оцениваем временную согласованность кадров, траектории виртуальной 3D-камеры, симуляцию физики и кинематографическое качество.
AM LABКак создать голосового AI-ассистента реального времени: Whisper, ElevenLabs и WebSockets
Разрабатываем голосового помощника с задержкой до 500 мс: двусторонний поток аудио через WebSockets, детекция прерываний голосом (Silero VAD) и генерация речи.
AM LABСоздание мультимодальных визуальных агентов с Playwright и разметкой Set-of-Marks
Забудьте о ломающихся CSS-селекторах. Создаем агентов, которые «видят» сайт глазами человека, кликают по элементам через номера рамок и обходят капризные модалки.