Como a renderização acelerada do PSVR 2 pode transformar VR

A RV já percorreu um longo caminho desde o Oculus Rift original, mas ainda há espaço para melhorias. A renderização Foveated é uma tecnologia avançada encontrada em poucos fones de ouvido, mas há rumores de que o próximo  fone de ouvido PSVR 2 da Sony o tem como padrão.

O que é renderização “Foveated”?

Destacamos a renderização fervorosa em 2018 como uma parte importante do futuro da RV,  mas anos depois ainda é um conceito obscuro. A principal pista para o que é renderização fovida vem de seu nome. A  fóvea  é a parte central da retina. A retina é a parte da anatomia do olho que converte luz em sinais nervosos, processados ​​pelo cérebro nas imagens que você vê.

Só a fóvea oferece uma visão nítida e detalhada. A fóvea representa apenas entre um e dois por cento do seu campo visual, então como é possível que percebamos nosso campo visual com tanta clareza? A resposta é que nossos olhos estão constantemente se movendo em um padrão de varredura conhecido como ” sacada “. Ao escanear a fatia nítida de nossa visão sobre o ambiente, nossos cérebros costuram uma imagem de alta resolução. Você, é claro, não tem consciência desse processo.

É aqui que a renderização foveat (literalmente) entra em cena. Por que renderizar toda a cena na tela com o máximo de detalhes quando o visualizador só pode ver esse detalhe em uma pequena parte da tela a qualquer momento? Ao rastrear para onde a fóvea do visualizador está apontada em um determinado momento, a GPU pode redirecionar recursos para esse local. Isso significa que o visualizador vê uma imagem renderizada de qualidade muito superior do que a capacidade do computador disponível.

A renderização animada ainda é rara

Os fones de ouvido VR são a plataforma perfeita para uma renderização especial. Como a tela é presa à sua cabeça em uma posição fixa, o rastreamento da posição da fóvea é relativamente simples. Dito isso, ainda requer a integração de uma tecnologia de rastreamento ocular relativamente cara no fone de ouvido, a criação de APIs de software (interfaces de programação de aplicativos) e o desenvolvimento de mecanismos de jogo que possam tirar proveito das informações.

Como você pode imaginar, não há muitos headsets de realidade virtual que você pode comprar hoje em dia com rastreamento ocular integrado para renderização especial. Apesar disso, os desenvolvedores de hardware e software de RV estão claramente se preparando para isso.

Por exemplo, o Software Development Kit (SDK) da Oculus Quest oferece suporte a renderização fixa foveated . Esta é uma versão relacionada de renderização especial que não depende do rastreamento ocular, mas reduz os detalhes de renderização na periferia da imagem em geral. Desde que o usuário esteja olhando para a parte central da tela, funciona bem, mas olhar ao redor do mundo VR sem virar a cabeça revelará elementos de imagem de baixa qualidade.

Tirando o máximo proveito do poder do console

Por que esse recurso de última geração no mundo de RV seria apresentado em uma plataforma de RV de console convencional? A principal resposta é que consoles como o PS5 precisam sobreviver por anos com um pool fixo de poder de processamento. Quando se trata de VR para PC, é possível continuar atualizando para um hardware mais poderoso, usando a força bruta para alcançar a qualidade de imagem desejada.

Com o PSVR original para PS4, a Sony já demonstrou que você pode criar experiências de RV AAA triplo com o mínimo de hardware se trabalhar de maneira inteligente. Embora as especificações do PS5 sejam impressionantes hoje, eles serão triviais dentro de um ou dois anos, então construir um multiplicador de desempenho eficiente como renderização fovida no hardware é uma jogada sensata, mesmo que aumente os custos iniciais de hardware.

Se virmos outra atualização de meia geração na mesma linha do PS4 Pro , isso ainda não resolve o problema. Afinal, mesmo que você tenha uma atualização de console mais poderosa, todo o software lançado para a plataforma ainda precisa funcionar bem no modelo original.

Uma nova maneira de interagir em RV

A renderização estimulante que usa rastreamento ocular traz mais para a mesa do que apenas uma renderização mais eficiente e visuais de melhor qualidade. Ele permite uma nova maneira de interagir com mundos de RV. Se o software souber exatamente para onde o usuário está olhando na cena, essa informação pode ser usada como entrada. Por exemplo, pode ajudar os personagens a reagir ao seu olhar ou desencadear eventos, como descobrir uma pista em um jogo de aventura. Essa é certamente apenas a ponta do iceberg quando se trata dos usos potenciais que os desenvolvedores farão. Ainda assim, antes que as experiências e jogos de RV possam integrar essas mecânicas, a renderização fovocada com rastreamento ocular precisa de uma ampla base de instalação.

E se … A renderização animada se tornar popular?

Quando o PSVR 2 é finalmente revelado em sua forma final, e ele de fato tem rastreamento ocular e renderização animada incorporados, isso poderia mudar o VR mainstream de maneiras dramáticas. Os consoles definem efetivamente os requisitos mínimos para o desenvolvimento de plataforma cruzada. O primeiro PSVR representa uma das maiores bases de instalação de VR, e o PS5 está vendendo tão rápido quanto a Sony pode fazer. Se o PSVR 2 vender pelo menos tão bem quanto seu predecessor, há um forte incentivo para os desenvolvedores de jogos de RV tirarem vantagem do suporte em nível de sistema para renderização foveted.

Se todos esses desenvolvimentos se encaixarem perfeitamente, não seria surpreendente se a próxima geração de fones de ouvido autônomos e de VR para PC também incorporasse a renderização com rastreamento ocular como uma coisa natural. Se o PSVR 2 puder levar esse recurso de próxima geração para o mercado, ele beneficiará toda a indústria de RV.