MetaDreamer gera modelos 3D a partir de texto com uma rapidez incrível

A IA generativa para modelos 3D está progredindo constantemente. O sistema mais recente vem de pesquisadores da China e é o mais rápido até agora.

Pesquisadores da MetaApp AI Research e de várias universidades chinesas desenvolveram o MetaDreamer, uma nova ferramenta para criar rapidamente modelos 3D a partir de descrições de texto. O método foi projetado para superar problemas comuns na criação de modelos 3D, como inconsistências de diferentes ângulos e tempos de processamento lentos.

Para fazer isso, a equipe separa o processo generativo. O MetaDreamer funciona em dois estágios principais: Primeiro, a ferramenta molda o objeto 3D (fase geométrica) para garantir que pareça correto de todos os ângulos. Então, na fase de textura, o MetaDreamer adiciona detalhes e texturas para tornar o objeto mais realista.

MetaDreamer gera um modelo em 20 minutos

Especificamente, na fase de geometria, a equipe MetaDreamer otimiza um modelo 3D bruto em NGP instantâneo com uma imagem de referência gerada por um modelo de difusão e diversas imagens geradas por um modelo de difusão multivisualização de diferentes ângulos. Na segunda fase, o modelo resultante é ainda mais refinado em Instant-NGP com imagens detalhadas adicionais geradas por IA.

Segundo a equipe, esse método resulta em modelos 3D mais rápidos e de maior qualidade. O MetaDreamer pode criar objetos 3D detalhados a partir de texto em apenas 20 minutos em uma GPU Nvidia A100, que é atualmente o tempo mais rápido na área.

MetaDreamer mostra salto de qualidade em comparação com métodos mais antigos

Nos testes, os pesquisadores compararam o MetaDreamer com outros métodos de conversão de texto em 3D, como DreamFusion e Magic3D. O MetaDreamer superou esses métodos em termos de velocidade, qualidade e até que ponto os modelos correspondiam às descrições do texto. O MetaDreamer também obteve a pontuação mais alta nos benchmarks T3Bench, padrão para medir a qualidade de modelos 3D.

Vídeos: MetaApp AI

Contudo, a ferramenta ainda não é perfeita; por exemplo, ele tem dificuldade para criar cenas com vários objetos. A equipe planeja resolver esse problema no futuro, melhorando a compreensão do modelo sobre como os objetos interagem no espaço 3D.

Outros exemplos de modelos generativos de IA para 3D incluem o do Google Dream Fields, Clip Mesh AI, OpenAI Point-E e Shap, Cents Ten, Dream3D ou, mais recentemente, 3D Gaussian. Luma AI também tem uma oferta comercial chamada Genie.

Mais informações e exemplos podem ser encontrados no site Página do projeto MetaDreamer.

from Tecnologico.online https://ift.tt/pcUBRNv