Como a captura de movimento dá vida a ídolos virtuais

• Captura de movimento refere-se à técnica de registrar e processar o movimento de uma pessoa ou outra entidade,
• A tecnologia de captura de movimento é usada em um grande número de filmes de animação excelentes, como Avatar, Os Vingadores e O Senhor dos Anéis.

NOSSA OPINIÃO
A tecnologia de captura de movimento é amplamente utilizada em muitos campos, na animação cinematográfica e televisiva, no campo dos jogos pode fornecer aos usuários uma experiência interativa mais natural e intuitiva. Ao mesmo tempo, melhora muito a eficiência da produção, reduz o custo, e torna o efeito da animação mais vívido e real. Na era do lazer e entretenimento diversificado, a tecnologia de captura de movimento é uma forma única e eficaz de promover o desenvolvimento da indústria. Além disso, no campo do tratamento médico e reabilitação, treinamento esportivo e pesquisa biomecânica, a tecnologia de captura de movimento desempenha um papel importante.
— Iydia Ding, repórter da BTW

Captura de movimento refere-se à técnica de registrar e processar o movimento de uma pessoa ou outra entidade, combinando técnicas de rastreamento de imagem e novas tecnologias de computação, tornando possível usar filmagens ao vivo e contínuas como base para animação sem precisar passar pelo processo de desenho. Nos últimos anos, a captura de movimento começou a causar impacto nas indústrias de animação cinematográfica e televisiva e de jogos. O verdadeiro avanço ocorreu quando a “Trilogia O Senhor dos Anéis” criou completamente o personagem “Gollum” através da captura de movimento, revolucionando a forma como as pessoas viam a tecnologia.

Além das aplicações em animação cinematográfica e televisiva e jogos, a tecnologia de captura de movimento também é usada em realidade virtual, efeitos homem-máquina, medicina de reabilitação, detecção de postura de navios na medicina e reabilitação, treinamento esportivo e pesquisabiomecânica, etc., e com o contínuo desenvolvimento da ciência e tecnologia, deve haver mais direções de desenvolvimento expansíveis no futuro.

“Se fizermos 200 minutos de animação com captura de movimento, podemos precisar apenas de cerca de 2-3 dias de gravação, provavelmente menos de 1 mês, para alcançar o mesmo efeito, ou ainda mais realista, do que se o animador tivesse feito o movimento manualmente.”

Kevin Wang, Lead Motion Technician, Photonics Technology Centre, Tencent Interactive Entertainment

Conceitos e aplicações da captura de movimento

Conceitos básicos da captura de movimento

A captura de movimento originou-se darotoscopia, que foi usada no início do filme de animação 2D da Disney “Branca de Neve” e no jogo “Prince of Persia“. A captura de movimento atual refere-se mais a tecnologias de captura de movimento vestíveis, como captura de movimento óptica e captura de movimento inercial. Especialistas em captura de movimento instalam vários sensores nos atores. Estes rastreiam e registram seus movimentos para que possam ser mapeados em tempo real como um “esqueleto” virtual na tela do computador.

O uso de equipamentos de captura de movimento vestíveis para obter os dados de movimento do corpo do ator pode construir uma trajetória de movimento tridimensional refinada, e é amplamente utilizado em campos militares, de entretenimento, esportes, médicos, robótica e outros, sendo um importante método de pesquisa em pesquisas relacionadas à ergonomia e biomecânica.

Leia também:Meta planeja levar IA generativa para jogos no metaverso

Quiz

Qual tecnologia a captura de movimento combina?

A) técnicas de rastreamento de imagem e novas tecnologias de computação

B) tecnologia de Senso Integrado de Comunicação (ISAC)

C) Processamento de linguagem natural (PLN)

D) Tecnologia Blockchain e Computação Quântica

A resposta correta está no final do artigo.

História da tecnologia de captura de movimento

À medida que o conceito de “metaverso” se torna mais popular, o valor de longo prazo da captura de movimento para o metaverso também está se tornando claro, está no mesmo nível que as tecnologias de motor, transmissão, computação e exibição, e é uma peça importante no “grande quebra-cabeça” da construção subjacente do metaverso.

A tecnologia semelhante à captura de movimento apareceu pela primeira vez em 1915, quando o animador Max Fleischer construiu um projetor que exibia o conteúdo de um filme em um palco translúcido. Com este projetor, o animador podia desenhar facilmente os movimentos do personagem como eles apareceriam na tela.

Em 1983, Tom Calvert da Universidade Simon Fraser, no Canadá, fez um grande avanço em roupas de captura mecânica física, uma tecnologia que permitia às pessoas ver a captura da classe mecânica mais antiga. Ao mesmo tempo, o MIT também introduziu um sistema de “marionete gráfico” baseado em LED, que foi o protótipo do sistema inicial de captura de movimento óptico.

No final de 1990, as filmagens de “O Senhor dos Anéis” foi a primeira vez a trazer as etapas de filmagem de captura de movimento para o local de gravação, e Andy Serkis, o pioneiro como ator de captura de movimento, pôde interagir com outros atores como “Gollum”, o que foi mais propício para a moldagem do personagem e tornou o personagem mais vívido e real.

Hoje, a captura de movimento é quase padrão em grandes estúdios de jogos. Com a captura de movimento, ação ao vivo e personagens animados são sincronizados, e os personagens do jogo aparecerão mais realistas e vívidos. É por isso que podemos ver performances de ação em nível cinematográfico nos jogos.

“Está no mesmo nível das tecnologias de motor, transmissão, computação e exibição, e é uma peça importante do “grande quebra-cabeça” na construção subjacente do metaverso.”

MetaPost Tencent Metaverse Technology Media

Áreas de aplicação da captura de movimento

Nos últimos anos, a tecnologia de captura de movimento tem sido amplamente utilizada na indústria cinematográfica e de jogos, como os famosos filmes “Avatar”, “Planeta dos Macacos: A Origem”, “Assassin’s Creed”, “Detroit: The Changeling” e assim por diante, todos usados para capturar dados de captura de movimento de atores de captura de movimento para conduzir personagens virtuais.

Como os dados de captura de movimento são baseados completamente no corpo humano na coleta, a reconstrução da ação pode ser maximamente restaurada para a postura do corpo humano e efeitos de movimento, mantendo-se natural e suave, de modo que a tecnologia moderna de captura de movimento pode aumentar muito o poder expressivo dos personagens virtuais.

O filme Avatar, lançado em 2009, pode ser considerado um líder na combinação bem-sucedida de captura de movimento e tecnologia de captura de expressão. O diretor James Cameron e sua equipe usaram câmeras de captura facial montadas na cabeça e construíram o maior estúdio de filmagem e captura de movimento já visto.

A produção de efeitos especiais para cinema e televisão e jogos nunca estiveram separados, e alguém logo trouxe o conceito de captura de movimento para o mundo dos jogos. O mais pioneiro nesse campo foi a Sega, que na época estava em um empate triplo com Nintendo e Sony no campo dos consoles. Além disso, existem alguns grupos de ídolos virtuais, como “Project SEGA”, “Aikatsu”, que também usam essa tecnologia, a combinação de captura de movimento e animação 3D, para criar mais possibilidades no palco, feedback oportuno na interação dos fãs, para aumentar a sensação de experiência.

Além disso, alguns jogos VR permitem que os jogadores se tornem membros do mundo virtual através da tecnologia de captura de movimento, e tenham uma comunicação com personagens não jogáveis (NPC) no “sentido real”.

Além disso, a tecnologia de captura de movimento é amplamente utilizada nos campos militar, de entretenimento, esportes, medicina, robótica e muitos outros, sendo um importante método de pesquisa em pesquisas relacionadas à ergonomia e biomecânica.

Leia também:Nintendo diz que não usará IA generativa para fazer jogos

Captura de movimento vestível vs captura de movimento por vídeo com IA

Com a maturidade da tecnologia, a aplicação da tecnologia de captura de movimento se tornou cada vez mais extensa, desde animação, interação homem-computador, até controle remoto de robôs, treinamento esportivo e assim por diante, todos usarão a tecnologia de captura de movimento.

Diante de diferentes cenários, a tecnologia de captura de movimento também apresentou uma variedade de rotas técnicas, as comuns são a tecnologia de captura de movimento óptica, tecnologia de captura de movimento inercial e tecnologia de captura de movimento visual.

Princípio técnico da captura de movimento vestível

A captura de movimento vestível refere-se principalmente à captura de movimento óptica e captura de movimento inercial.

A captura de movimento óptica é através do rastreamento de marcadores no traje de captura de movimento óptica, sincronizado com os dados de marcação sob a câmera de diferentes pontos de vista, o uso de algoritmos de reconstrução 3D para reconstruir os dados de movimento de diferentes partes do corpo humano; e a captura de movimento inercial é através do registro de sensores inerciais no equipamento vestível para obter os dados de movimento, e finalmente reconstruídos através do software da trajetória de movimento tridimensional e convertidos em animação esquelética, de modo a conduzir o personagem virtual.

A captura de movimento por vídeo com IA é usada para conduzir personagens virtuais.

Princípio técnico da captura de movimento por vídeo com IA

Com o desenvolvimento do aprendizado profundo, a precisão de imagens monoculares para tarefas como detecção de pontos-chave humanos e previsão de postura humana foi grandemente melhorada. Enquanto isso, com o lançamento de modelos humanos paramétricos como SMPL, tornou-se possível prever poses esqueléticas humanas com máscaras diretamente a partir de uma única imagem.

A captura de movimento por vídeo com IA é extrair múltiplas imagens de quadro único do vídeo, usar algoritmos de IA para extrair poses esqueléticas humanas de diferentes quadros de imagem separadamente, e conectar as poses esqueléticas humanas em ordem cronológica para formar dados de animação esquelética, que podem ser usados para conduzir personagens virtuais.

Dois tipos de algoritmos para captura de movimento com IA

Algoritmos de captura de movimento com IA convencionais são baseados em modelos paramétricos do corpo humano, como SMPL/SMPL-X, que são principalmente divididos em duas categorias.

Algoritmos baseados em otimização: Esses algoritmos pré-definem algumas funções objetivo de otimização, que geralmente são compostas por erro de reprojeção, termos regulares a priori para postura humana, etc. Na predição, os pontos-chave 2D, como posições articulares de joelhos, cotovelos, ombros, etc., são detectados por anotação manual ou algoritmos de IA, e então o algoritmo de otimização encontra iterativamente um conjunto de parâmetros do modelo paramétrico do corpo humano com valores ótimos das funções objetivo para representar a pose esquelética humana na imagem atual.

Parâmetros para representar a pose esquelética humana na imagem atual, este tipo de algoritmo é representado por SMPLify, SMPLify-X, etc.

Algoritmos orientados por dados: esses algoritmos requerem um conjunto de dados de treinamento contendo um grande número de imagens e dados de pose esquelética correspondentes obtidos por técnicas modernas de captura de movimento, e na fase de treinamento, uma rede neural profunda é treinada para regredir diretamente os dados verdadeiros do conjunto de dados de treinamento; na fase de predição, a rede neural profunda treinada prevê diretamente um conjunto de parâmetros do modelo paramétrico do corpo humano a partir das características da imagem. São representados por HMR, VIBE, PyMAF e assim por diante.

Esses dois tipos de algoritmos têm suas próprias vantagens e desvantagens. Algoritmos baseados em otimização podem ajustar melhor as poses das extremidades dos membros e outras partes do corpo com maior precisão, mas requerem pontos-chave 2D mais precisos. Além disso, devido ao fato de que existem muitas soluções subótimas para este problema de otimização e é altamente influenciado pela inicialização, é mais fácil ajustar poses humanas distorcidas ou não naturais mesmo com as restrições do a priori da pose humana.

Algoritmos orientados por dados, treinando redes neurais profundas a partir de uma grande quantidade de dados, são menos propensos a gerar poses distorcidas, mas geralmente têm predições piores na extremidade do membro, como o pé, que não correspondem à pose na imagem.

Nos últimos anos, cada vez mais algoritmos usam a combinação dos dois, primeiramente, o algoritmo orientado por dados prevê a pose do corpo humano que está mais próxima da imagem, e a usa como inicialização do algoritmo baseado em otimização, de modo que, ao ajustar a pose para melhorar a precisão, também evita poses humanas distorcidas ou não naturais, e a solução de meta-imagem também adota este algoritmo baseado em combinação. No entanto, se simplesmente combinarmos os dois algoritmos, a qualidade dos dados de animação esquelética capturados ainda é relativamente baixa.

Leia também:Os videogames podem se tornar o entretenimento favorito do mundo?

Algo sobre captura de movimento facial

Antes dos primeiros dias, a captura de movimento facial era feita fazendo o ator sentar em uma cadeira com cerca de 30 ou 40 câmeras na frente dele, e muitas pequenas bolas refletivas eram colocadas no rosto. Esta é a forma como o Expresso do Ártico fez, por exemplo.

Este é um método que consome muito tempo, e à medida que os tempos mudam e a tecnologia cresce, existem agora os chamados capacetes montados na cabeça para fazer captura de movimento facial. Este capacete tem uma pequena câmera na frente que registra todas as expressões do seu rosto, após o que podemos sincronizar com os dados do corpo para alcançar um efeito muito bom de captura de movimento facial e corporal.

Em 2019, a Meta anunciou seu sistema de avatar humano virtual, que apresentava tecnologia de captura de movimento 3D para recriar a imagem de uma pessoa real através de um dispositivo VR, renderizando detalhes como cor da pele, textura, cabelo, microexpressões, etc. A Meta espera que no futuro, as pessoas se encontrem em ambientes virtuais tão reais quanto na realidade.

No Youtube, TikTok e algumas outras plataformas de mídia social, não falta tecnologia de captura de movimento facial em blogueiros, controle de alguns personagens virtuais para fazer expressões e movimentos ricos, o efeito de transmissão ao vivo é bastante bom, e agora há vários aplicativos de celular que conseguem fazer através da câmera, uma captura de movimento facial bastante precisa. Então, teoricamente, todos podem ter múltiplos avatares e viver uma vida no mundo virtual que é completamente diferente da realidade através desse tipo de tecnologia.

A resposta correta é A técnicas de rastreamento de imagem e novas tecnologias de computação.