Системы отслеживания в конференц-залах: я буду следить

Системы отслеживания улучшают опыт встреч для всех. Рассмотрим различные типы задействованных технологий.

Мысль о том, что кто-то отслеживает каждое ваше движение или звук вашего голоса, может показаться навязчивой в повседневной жизни, но в конференц-зале это все больше приветствуется. В последние годы наблюдается рост визуальных и голосовых систем отслеживания для улучшения опыта как для находящихся в комнате, так и для удаленных участников.

Визуальное отслеживание следует за движениями тела; голосовое отслеживание фокусируется на звуке. Некоторые компании предоставят одну из них, другие сделают обе через форму партнерства с другим производителем, а третьи предложат полную голосовую/визуальную систему отслеживания самостоятельно. Другие, такие как Q-Sys, купят технологию у специалиста, как это было с покупкой Seervision летом 2023 года, и очень успешно объединят ее в своей собственной платформе. По всем направлениям ИИ играет ключевую роль в автоматизации отслеживания внутри микрофонов и камер.

Мы поговорили с производителями, чтобы понять, как работают эти системы и что должны спрашивать интеграторы, чтобы подобрать правильный продукт под нужды своих клиентов. Jabra стала признанным игроком с программным обеспечением, которое позволяет визуально или голосово отслеживать в своих видеопанелях. Джеймс Спенсер, директор по видеорешениям EMEA North в Jabra, объясняет: «Отслеживание говорящего панорамируется на говорящего человека. Но поверх этого есть еще слой ИИ. Например, если за столом происходит движение вперед и назад, камера обнаруживает это и панорамируется, чтобы вы могли видеть обоих участников, а не переключаться с одного на другого. Наше визуальное отслеживание работает с помощью распознавания лиц и туловища. ИИ на самом деле ищет эти лица и туловища, а затем может определить, есть ли в этой комнате человек».

Микрофоны массива Microflex Advance от Shure используют лепестки захвата для определения местонахождения говорящих, отправляя эти данные в подключенную систему или устройство для дальнейшей обработки, такой как отслеживание камеры или голосовой подъем. Затем эта система использует информацию о местоположении говорящего для настройки аудиозахвата и/или визуальных элементов, таких как фокусировка камеры.

\

Технология «интеллектуального видео» Crestron объединяет различные элементы как голосового, так и визуального отслеживания. Джоэл Малпетер, старший директор по маркетингу продуктов Crestron, объясняет: «Это шесть основных технологий, включая групповое кадрирование, отслеживание говорящего и отслеживание докладчика, которые мы называем основополагающими технологиями, которые мы ожидаем от камер сегодня. Мы добавляем интеллектуальное переключение, которое представляет собой многокамерный подход, перемещающийся между камерами в пространстве. Визуальный ИИ помогает нам центрировать людей в кадре и определять, в каком направлении они смотрят, чтобы принимать более обоснованные решения относительно камеры. Шестая технология называется «Композиция», где мы объединяем несколько снимков в один кадр».

Доступно несколько технологий, и этот список растет с каждым днем. Хотя это не исчерпывающий список, приведенные примеры дают краткий обзор того, что происходит в этом секторе.

Если мы углубимся в саму технологию, как эти системы узнают, какой голос (или тело) следует отдать приоритет, если в комнате разговаривают/движутся несколько человек? «Если мы используем аудио, то обычно мы выстраиваем последнего говорящего в порядке приоритета», — говорит Малпетер, а вы добавляете штрихи вроде «личного приоритета», — добавляет он. «Вы можете назначить личный приоритет, например, дать генеральному директору приоритет в зависимости от того, где он находится. В противном случае это будет последний говорящий. Мы выстраиваем это в порядке и просто продолжаем переписывать этот приоритет на основе данных микрофона».

На встречах мы часто демонстрируем вовлеченность небольшими вербальными или визуальными жестами. Так как же системы отслеживания могут обрабатывать небольшие фразы, такие как «ок» или «хм», или небольшие движения руки, такие как почесывание носа или поправление очков? Может ли она игнорировать их или они становятся «активным» говорящим? «Такие вещи, как «ок» и «хм», будут улавливаться Microsoft Teams в режиме транскрипции, но видеопанель в комнате должна определить правильный фокус», — говорит Спенсер. Системы отслеживания Crestron используют время для принятия этого решения. «С точки зрения звука вам нужно говорить определенное количество времени, вам нужно делать паузы на определенное количество времени. Это настраивается, мы рекомендуем, чтобы люди говорили около двух секунд, прежде чем вы захотите переключиться на них. С визуальной точки зрения мы не отслеживаем небольшие движения. Это то, что мы стремимся сделать в один прекрасный день, но до сих пор мы не видели хорошей реализации этого, которая, по нашему мнению, приводит к хорошему опыту встречи, если что-то и отвлекает, потому что камеры трясутся», — говорит Малпитер.

Популярность PTZ-камер в средних и больших помещениях сдерживается опасениями по поводу чрезмерного движения. PTZ-камеры могут охватывать большую территорию, быстро приближаясь и отдаляясь, но слишком большое масштабирование может вызвать усталость у участников встречи, особенно у тех, кто смотрит удаленно. «Чем меньше комната, тем больше будут двигаться камеры, и возникает опасность, что это превратится в настоящие американские горки, где вы не знаете, где находитесь и на что смотрите. Это становится немного диким», — говорит Малпитер.

«Если у вас есть одна камера, которая постоянно качается слева направо, это не просто утомляет, это вызывает морскую болезнь, поэтому мы хотим этого непременно избежать», — говорит Кирон Сет, директор по маркетингу в Европе компании Lumens, которая использует многокамерную систему (основная PTZ-камера наверху, панорамная камера внизу). «Вы получаете четкое переключение с камеры один на камеру два», — говорит Сет. «Вы вообще не видите качания». VC-TR60A от Lumens — это двухкамерная система со встроенным голосовым отслеживанием, с массивом микрофонов, встроенных в камеру, которые не улавливают звук, а устанавливают местоположение. «Камера слышит, как я говорю, и направляет на меня головку PTZ. Когда вы начинаете говорить, мы переходим к нижней камере (панорамной). Камера поворачивается к вам, а затем мы возвращаемся к камере PTZ, как только этот кадр установлен, поэтому мы делаем все возможное, чтобы не видеть этого поворота», — добавляет Сет. Эта технология и другие явно черпают вдохновение из сектора вещания здесь (подробнее об этом позже).

Камеры EPTZ (e — это electronic), которые могут цифровым способом регулировать поле зрения без необходимости использования каких-либо механических компонентов, помогают решить эту проблему. Панели TeamConnect (TC) от Sennheiser используют технологию ePTZ для устранения рывков камеры и обеспечивают более быстрое, но плавное панорамирование (скорость также можно регулировать в программном обеспечении Sennheiser Control Cockpit). Усталость от PTZ можно преодолеть, введя дополнительные камеры для ввода переходных кадров, говорит Инеш Патель, менеджер по развитию бизнеса (Biz Com) в Sennheiser. «Таким образом, на дальнем конце не видно панорамирования или масштабирования, а скорее плавные переходы от одной камеры к другой после того, как панорамирование было выполнено вне эфира. Мы начинаем видеть эти функции и в веб-камерах для ноутбуков».

Так является ли отслеживание новым стандартом для конференц-залов? «Эти режимы встроены в большинство камер сегодня. Теперь речь идет об улучшении опыта», — говорит Спенсер. Есть и другие факторы, которые делают это неизбежным, как отметил Сет. «Войдя в комнату с установленной Yamaha RMCG (потолочная решетка), мы завершили настройку нашей системы с нуля в течение 15 минут, и это установка системы из четырех камер и принятие во внимание дизайна комнаты, чтобы система знала, где находятся люди. Это быстро, и преимущества для удаленной аудитории огромны, я не вижу никаких препятствий».

ИИ играет центральную роль в этом прогрессе, говорит Патель, подчеркивая функции камеры в TC Bars от Sennheiser. «Однако интеграторы AV не будут чувствовать себя комфортно, просто предоставляя полное решение на основе ИИ», — добавляет он. «Поэтому важно позволить интегратору и пользователю устанавливать свои используемые параметры, такие как скорость отслеживания, области отслеживания и другие полезные настраиваемые пользователем параметры».

Crestron использует ИИ в своей системе Automate VX, которая использует предварительно обученные модели (ИИ на периферии в отличие от облачного ИИ), чтобы избежать любых проблем с безопасностью с моделями обучения видеокамер в помещениях. «В последней версии у нас есть визуальное направление ИИ для определения ориентации чьего-то лица», — говорит Малпитер. «В конференц-зале я могу, например, разговаривать с дальним концом, и у меня есть камера, направленная на меня. Но затем кто-то задает вопрос на другом конце комнаты, и я поворачиваюсь в ту сторону. Внезапно то, что вы получаете на дальнем конце, оказывается кадром чьей-то головы. Поскольку он осознает пространство, мы можем принять осознанное решение, сказав, что камера шесть в заднем левом углу на самом деле имеет более подходящий кадр этого человека в это время, а затем, когда они снова повернутся к дальнему концу, мы снова примем точно такое же решение».

Мы старались не слишком усложнять ИИ внутри, говорит Сет. «Если я нахожусь в комнате, где снаружи шумит дорожный экскаватор, микрофон услышит этот шум, и без ИИ камера будет думать: «Что это за шумы?» Если эта камера посмотрит, откуда доносится шум, и это явно не человек, она просто проигнорирует его. Если у вас есть комната с особенно слабой перегородкой, а из соседней комнаты доносится шум, она его проигнорирует. Если у вас хлопает дверь, она его проигнорирует. Это не самая сексуальная форма ИИ, далеко не так. То, что мы делаем, — это используем его для простых вопросов: это звук от человека?»

Разве конечная цель этих систем отслеживания не заключается в создании «виртуального режиссера», программного обеспечения, которое может имитировать человека, всегда выбирающего лучшие углы обзора камеры и положения микрофона? «Мы берем наши реплики из телевизионного производства. В какой момент мы переходим к общему плану комнаты, чтобы дать установочный план или контекст среды, в которой мы находимся. Это большая часть программирования, которую мы вложили в камеру. Корпоративные компании, благотворительные организации, государственный сектор — все это создатели контента, теперь им нужно улучшить свою игру, потому что в Интернете так много конкуренции, а ожидания аудитории так высоки, переключение между несколькими камерами является ключевым», — говорит Сет.

Чтобы действительно подчеркнуть этот момент, режим голосового отслеживания Jabra даже называется Virtual Director, «потому что это то, что он делает, он выбирает, какой угол лучше? Он распознает необходимость поместить этого человека в центр кадра и дать ему лучший угол», — говорит Спенсер. «Мы определенно движемся к стилю телевизионного режиссера и делаем его максимально гладким».

Для интеграторов правильные вопросы, которые нужно задать, являются ключом к получению наилучших результатов. Патель предлагает спрашивать: «Сколько участников, в каком размере комнаты? Всегда ли пространство используется в одной и той же конфигурации с участниками, находящимися в одних и тех же позициях, или пространство более гибкое и склонно к изменению ориентации? Хотите ли вы избежать панорамирования камер на экране? Должна ли система соответствовать официальным требованиям сертификации Zoom/Teams?»

Один из главных вопросов, когда дело доходит до интеграции, — на какой магистрали это работает, говорит Сет. «Не может быть, чтобы вам пришлось покупать 30/40/50 метров кабеля SDI или удлиненные кабели HDMI, которые стоят целое состояние и означают, что вам придется полностью вырывать инфраструктуру комнаты. Как мы можем использовать существующие локальные сети и существующие установки Cat5, чтобы эта установка прошла невероятно быстро и не мешала нормальной работе компании?»

Пока что переход к системам отслеживания прошел гладко. По мере совершенствования ИИ и более распространенного использования ePTZ прерывистое движение камеры исчезнет. У нас остается то, к чему мы, индустрия, стремились с начала пандемии, — истинное равенство в конференц-зале для тех, кто находится в зале, и тех, кто подключается удаленно. Это кажется слишком хорошим, чтобы быть правдой.