Português
EnglishUma pequena inovação do DingTalk, partilhada com todos～
Oi pessoal, sou Jun Xiaohong, desenvolvedor iOS de transmissões em direto de áudio e vídeo no DingTalk. No nosso trabalho diário, além de suportar as nossas atividades comerciais, a nossa equipa de áudio e vídeo também acompanha em tempo real as novidades tecnológicas da Apple para iOS, como Picture in Picture, Split View no iPad, Live Activities, efeitos de vídeo, entre outros. Combinamos estas novas funcionalidades e tecnologias com os nossos negócios para criar experiências melhores e produtos mais avançados. Por exemplo, no ano passado, o DingTalk colaborou com a Apple para se adaptar ao Apple Vision Pro (o DingTalk chegou oficialmente ao Apple Vision Pro). Com este novo tipo de dispositivo, avatares virtuais podem participar em reuniões ou assistir a transmissões em ecrã grande. Então, que outras inovações nativas vamos explorar desta vez? Vem comigo e descobre 👀
A necessidade de operação com duas câmaras em cenários de transmissão em direto
Imagina um cenário: numa transmissão em direto de um jogo de basquete, durante a fase de aquecimento, a câmara não só capta o campo de jogo, como o apresentador também entrevista os espectadores presentes no local. Recebemos feedback dos colegas: "Tenho apenas um telemóvel, não consigo transmitir dois ângulos ao mesmo tempo", "Para uma transmissão com múltiplos ângulos e múltiplos ecrãs, precisamos de equipamento profissional".
De facto, em alguns sites de vídeo populares, cada vez mais vídeos de comentários mostram simultaneamente o ângulo do comentador e o ângulo do evento. Os espectadores já não se contentam apenas com o som; também gostam de ver as expressões faciais e os gestos do comentador. Será possível resolver este problema?
Com um único telemóvel, é possível transmitir o evento em direto e, ao mesmo tempo, mostrar o apresentador a fazer o seu comentário com toda a naturalidade.
A resposta é claramente sim.
O desenvolvimento da tecnologia de câmaras de vídeo da Apple
Como desenvolvedor de áudio e vídeo, acompanho de perto as iterações tecnológicas da Apple relacionadas com vídeo, como Picture in Picture, efeitos de vídeo, câmaras, etc. O áudio é fundamental para a comunicação e a transmissão, sendo a prioridade absoluta. Mas, depois de garantido o áudio, a qualidade da imagem pode proporcionar uma experiência ainda melhor, o que nos leva a explorar e investigar esta área. Como sabemos, o processamento com uma única câmara consiste em pré-processar, pré-visualizar e transmitir os fotogramas capturados por essa câmara. Será possível capturar e transmitir múltiplos fluxos de vídeo ao mesmo tempo para proporcionar uma experiência superior em determinados cenários? Exploramos a combinação das câmaras duplas da Apple com as nossas atividades de transmissão em direto.
A combinação tecnológica das câmaras duplas da Apple com as transmissões em direto do DingTalk
Quando se utiliza uma câmara dupla, é necessário usar AVCaptureMultiCamSession para gerir a captura de múltiplos fluxos de vídeo. O princípio de funcionamento é o seguinte:
Como também precisamos de aplicar efeitos como beleza facial e fusão aos fotogramas gravados, precisamos de otimizar o modelo de câmara dupla para o cenário de transmissão em direto de áudio e vídeo. Para isso, escolhemos AVCaptureVideoDataOutput como saída. O fluxo de trabalho do modelo de gravação de câmara otimizado é o seguinte: Este fluxo de trabalho torna a criação e a gravação de sessões múltiplas mais simples. A seguir, vamos explicar como isto é aplicado no contexto das transmissões em direto do DingTalk.
A aplicação da tecnologia de processamento com câmaras duplas nas transmissões em direto
Através do modelo de câmaras duplas, também aplicamos efeitos como beleza facial, fundo virtual e zoom aos fotogramas de vídeo, antes de realizar a fusão e a transmissão final.
Além disso, como as câmaras duplas se baseiam na sessão de múltiplas câmaras AVCaptureMultiCamSession, esta funcionalidade é suportada por dispositivos com iOS 13 e chips A12 ou superiores. Sistemas compatíveis: iOS 13 e versões posteriores. Modelos compatíveis: iPhone: iPhone XR, iPhone XS, iPhone XS Max e modelos posteriores. iPad: iPad Pro de 2019 e modelos posteriores.
Vamos experimentar juntos!
Modos de disposição do ecrã
A vista de pré-visualização das câmaras duplas envia dois fluxos de vídeo para duas vistas separadas, permitindo diferentes combinações: cada fluxo de vídeo é fixado numa vista de pré-visualização, e as duas vistas são trocadas quando se altera a direção da câmara; ou as vistas de pré-visualização mantêm-se fixas, e os fluxos de vídeo correspondentes às duas vistas são trocados quando se altera a câmara.
Quando as câmaras duplas estão a ser utilizadas, o lado do apresentador precisa de enviar as pré-visualizações das duas câmaras frontal e traseira à camada de negócio para exibição. Após discussões com os nossos instrutores interativos e tendo em conta múltiplos fatores, como múltiplos ecrãs de vídeo e interações gestuais existentes, foram finalmente definidos dois esquemas de disposição das vistas de pré-visualização: com base no modo horizontal ou vertical, dividindo o ecrã igualmente à esquerda/direita ou acima/abaixo. Aqui está o primeiro modo de disposição: a câmara frontal fica na parte superior e a câmara traseira na parte inferior.
Experiência interativa fluida
Suportamos a possibilidade de os utilizadores arrastarem o dedo para a esquerda ou direita para ajustar o tamanho do ecrã. Quando soltam o dedo, se o ecrã estiver abaixo de um certo tamanho, as câmaras duplas são automaticamente desativadas e o sistema muda para o modo de ecrã único. Naturalmente, os utilizadores também podem reativar as câmaras duplas nas definições.
Com a funcionalidade de câmaras duplas, quando o departamento de áudio e vídeo organizou o torneio de futebol do departamento no outono, os nossos colegas puderam usar os seus iPhones para fazer comentários antes do jogo, aquecer o evento e tornar a transmissão ainda mais divertida～
Conclusão
Embora as câmaras duplas sejam uma funcionalidade secundária, permitem obter mais efeitos de filmagem nas transmissões em direto. As câmaras duplas são muito úteis em transmissões ao ar livre ou em eventos de pequena escala. Agradecemos aos nossos designers por terem melhorado a experiência da funcionalidade. Atualmente, algumas transmissões ao ar livre já suportam esta funcionalidade, e acreditamos que cada vez mais plataformas de transmissão irão adotá-la no futuro. A funcionalidade de câmaras duplas do DingTalk Live já foi concluída, mas ainda requer melhorias adicionais. Por exemplo, a parte de fusão atualmente usa fusão por CPU, o que consome muitos recursos; no futuro, será necessário otimizar continuamente para utilizar fusão por GPU, o que melhorará ainda mais o desempenho. Atualmente, apenas a disposição em plano foi implementada; a disposição com janelas de tamanhos diferentes ainda precisa de ser desenvolvida.
Além disso... há um bónus!
A equipa técnica do DingTalk também vai explorar a capacidade de Picture in Picture para, ao partilhar conteúdos, criar novas interações visuais através da fusão de múltiplas câmaras, incluindo interações baseadas no reconhecimento AI de imagens e gestos, bem como inovações nas capacidades AI do DingTalk em combinação com um reconhecimento mais avançado de áudio e vídeo.
A pequena e bela exploração de inovações do DingTalk continua em andamento!
DomTech é o fornecedor oficial e designado do DingTalk em Macau, especializado em fornecer serviços DingTalk aos clientes. Se quiser saber mais sobre as aplicações da plataforma DingTalk, pode consultar diretamente o nosso serviço de apoio ao cliente online ou contactar-nos pelo telefone +852 95970612 ou pelo e-mail cs@dingtalk-macau.com. Temos uma excelente equipa de desenvolvimento e operação, com vasta experiência em serviços de mercado, e podemos oferecer-lhe soluções e serviços profissionais de DingTalk!