Re: Рулилка на WebRTC
Добавлено: 16 дек 2014, 20:17Результаты некоторых наработок по WebRTC:
С виртурилки шлется поток HD видео, сжатое кодеком h.264 на сервер, который генерирует SDP Offer клиенту. Видео можно смотреть только браузером Firefox (пока) при включенном соответсвующем плагине. На веб-странице написан интерфейс для управления виртурилкой (html+javascript). Т.к. у меня старый андроид, на котором Firefox не поддерживает h264, видео отобразил на ноуте. Задержка видео около 0,2-0,3 сек., что неплохо, учитывая то, что все это дело h264 в браузерах еще не стабильное и большую часть с этой задержки вносит сам плагин h264 для Firefox.
Никаких проблем с NAT'ом нет. Никакого 3G, 4G, - обычный wifi-свисток. Виртурилка при включении стучится к веб серверу, о том, что она готова. Можно управлять откуда угодно (с интернета, естественно). Также с браузера можно отдавать поток с микрофона клиента на саму виртурилку, которая уже не захлебывается, при его приеме (как было с использованием RTMP).
Стоит еще сказать, что все експерименты делаются на последней прошивке с разогнанной частотой процессора. Сам h264 плагин работает не очень стабильно. Заметил, что в темноте начинаются тормоза видео, хотя при штатной частоте процессора такого вроде небыло, но при штатной частоте задержка чуть больше.
Чего еще не хватает, так это стриминга звука с микофона виртурилки на тот же WebRTC. WebRTC поддерживает два аудио кодека: opus и G.711. В спецификации к процессору DM365 (который стоит на v2r) написано, что он может жать звук кодеком G.711. В gstreamer за это отвечает элемент alawenc, который должен входить в состав gst-plugins-good. Но на виртурилке его почему-то нет. Прошу помощи в решении этого вопроса.
С виртурилки шлется поток HD видео, сжатое кодеком h.264 на сервер, который генерирует SDP Offer клиенту. Видео можно смотреть только браузером Firefox (пока) при включенном соответсвующем плагине. На веб-странице написан интерфейс для управления виртурилкой (html+javascript). Т.к. у меня старый андроид, на котором Firefox не поддерживает h264, видео отобразил на ноуте. Задержка видео около 0,2-0,3 сек., что неплохо, учитывая то, что все это дело h264 в браузерах еще не стабильное и большую часть с этой задержки вносит сам плагин h264 для Firefox.
Никаких проблем с NAT'ом нет. Никакого 3G, 4G, - обычный wifi-свисток. Виртурилка при включении стучится к веб серверу, о том, что она готова. Можно управлять откуда угодно (с интернета, естественно). Также с браузера можно отдавать поток с микрофона клиента на саму виртурилку, которая уже не захлебывается, при его приеме (как было с использованием RTMP).
Стоит еще сказать, что все експерименты делаются на последней прошивке с разогнанной частотой процессора. Сам h264 плагин работает не очень стабильно. Заметил, что в темноте начинаются тормоза видео, хотя при штатной частоте процессора такого вроде небыло, но при штатной частоте задержка чуть больше.
Чего еще не хватает, так это стриминга звука с микофона виртурилки на тот же WebRTC. WebRTC поддерживает два аудио кодека: opus и G.711. В спецификации к процессору DM365 (который стоит на v2r) написано, что он может жать звук кодеком G.711. В gstreamer за это отвечает элемент alawenc, который должен входить в состав gst-plugins-good. Но на виртурилке его почему-то нет. Прошу помощи в решении этого вопроса.