Николай Васильчук - Передача видео без потери качества в WebRTC: опыт VK Звонков

Ближайшая конференция - HolyJS 2024 Autumn, 7 ноября (online), 14-15 ноября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/K18Cxd
- -
Николай расскажет, как устроены захват и трансляция экрана по WebRTC, чем отличается трансляция игры или видео от презентации и текста, и почему для передачи видео без потери качества в Звонках ВКонтакте понадобилась собственная реализация.
Будут затронуты WebRTC, WebCodecs, Media Source Extensions, WASM. Также спикер расскажет, как устроен формат видео WebM и чем полезен DataChannel в WebRTC.
Доклад будет полезен, если вы работаете с видео, звонками или конференциями, делаете свой видеоплеер или сервис групповых звонков.
Скачать презентацию: squidex.jugru....

[@fafkaru]

Очень классный доклад! Так подробно и профессионально... Сам сейчас вожусь с подобными вопросами, очень актуально. Спасибо)

[@0id777]

Слушать можно только на 2X)

[@fafkaru]

WebAssembly ❤

[@BoolFalse]

so, if you're sending frame chunks to the server to manage, then what about the end-to-end encryption paradigm and how can you guarantee the security? it means by design and theoretically vk calls can be intercepted by the company..
i mean i knew that, but this is just a clear evidence from the employees themselves.. 🤫
anyway by far this was a good presentation

[@WHEELMANAx]

а почему они вообще должны обеспечивать эту секьюрность ?

[@denderzhavin2664]

32:40. Каким образом отличают ключевой кадр от промежуточного?

[@vasilchuk]

31:56 В каждом чанке есть флаг

[@fprotimaru1944]

А как определить по треку кто сейчас говорить?

[@vasilchuk]

Можно создать AudioContext, из него получить AnalyserNode, срезать частоту по голосу примерно с 200 до 5000 Гц и измерить уровень.

[@fprotimaru1944]

@@vasilchuk спасибо