El Fin del Conocimiento - Bóveda 5/78 - CVPR - 2022 - Ref-NeRF: Apariencia Estructurada Dependiente de la Vista para Campos de Radiancia Neurales

graph LR classDef refnerf fill:#f9d4d4, font-weight:bold, font-size:14px classDef mipnerf fill:#d4f9d4, font-weight:bold, font-size:14px classDef reflection fill:#d4d4f9, font-weight:bold, font-size:14px classDef radiance fill:#f9f9d4, font-weight:bold, font-size:14px classDef roughness fill:#f9d4f9, font-weight:bold, font-size:14px classDef normal fill:#d4f9f9, font-weight:bold, font-size:14px classDef rendering fill:#f9d4d4, font-weight:bold, font-size:14px A["Ref-NeRF: Apariencia Estructurada Dependiente
de la Vista para Campos de
Radiancia Neurales"] --> B["Ref-NeRF mejora las
reflexiones especulares de MipNeRF,
apariencia dependiente de la vista. 1"] A --> C["MipNeRF: aproximaciones
de reflexión inconsistentes
y semitransparentes. 2"] B --> D["Ref-NeRF: reflexiones
especulares realistas, síntesis de vista. 3"] C --> E["MipNeRF: emisores brillantes,
reflexiones de superficie
nebulosa. 4"] A --> F["NeRF: radiancia dependiente
de la vista, aproximación
e interpolación desafiantes. 5"] F --> G["Ref-NeRF: normales
reparametrizan radiancia,
simplifican función. 6"] A --> H["Ref-NeRF predice
rugosidad escalar,
mide puntos. 7"] H --> I["Ref-NeRF: distribución de
rugosidad, direcciones de
reflexión, desenfoque. 8"] I --> J["Ref-NeRF codifica direcciones
de reflexión, armónicos
esféricos. 9"] G --> K["Ref-NeRF necesita normales
precisas, NeRF carece. 10"] K --> L["Ref-NeRF regularizador mejora
normales, reduce nebulosidad. 11"] L --> M["Ref-NeRF elimina emisores
ocultos, mejora normales,
renderizados. 12"] D --> N["Ref-NeRF: reflexiones
nítidas, suaves vs
MipNeRF nebulosas. 13"] N --> O["Ref-NeRF beneficia renderizado
en tiempo real de escenas
capturadas. 14"] G --> P["Ref-NeRF captura geometría
a través de vectores normales. 15"] D --> Q["Ref-NeRF permite edición
de apariencia de escena
post-entrenamiento. 16"] class A,B,D,N,O,Q refnerf class C,E mipnerf class F,G,J radiance class H,I roughness class K,L,M,P normal

Resumen:

1.- Ref-NeRF mejora MipNeRF al representar y renderizar con precisión las reflexiones especulares y la apariencia dependiente de la vista.

2.- MipNeRF aproxima mal las reflexiones como nubes semitransparentes que aparecen y desaparecen entre vistas.

3.- Ref-NeRF produce renderizados realistas de reflexiones especulares cruciales para la síntesis de vistas realistas.

4.- MipNeRF representa reflexiones especulares como emisores brillantes que brillan a través de una superficie nebulosa.

5.- NeRF representa la radiancia saliente como una función de la dirección de la vista, lo cual es difícil de aproximar e interpolar.

6.- Ref-NeRF utiliza vectores normales para reparametrizar la radiancia saliente como una función de la dirección de reflexión, simplificando la función.

7.- Ref-NeRF predice la rugosidad escalar en ubicaciones 3D y mide la rugosidad en puntos con diferentes rugosidades.

8.- Ref-NeRF aplica una distribución de rugosidad a las direcciones de reflexión, con materiales más rugosos teniendo distribuciones más amplias y especularidades más borrosas.

9.- Ref-NeRF codifica la distribución de direcciones de reflexión como el valor esperado de armónicos esféricos (codificación direccional integrada).

10.- La reparametrización de la dirección de reflexión de Ref-NeRF depende de vectores normales precisos, de los cuales NeRF carece debido a la geometría nebulosa.

11.- Ref-NeRF aplica un regularizador para producir normales más precisas y reducir la nebulosidad concentrando pesos alrededor de la superficie.

12.- Ref-NeRF elimina emisores ocultos dentro de objetos, resultando en mejores normales y renderizados.

13.- Ref-NeRF renderiza reflexiones nítidas que se mueven suavemente sobre superficies, mientras que MipNeRF renderiza especularidades nebulosas.

14.- Ref-NeRF muestra beneficios en el renderizado en tiempo real de escenas capturadas, con reflexiones nítidas en comparación con las reflexiones nebulosas de MipNeRF.

15.- Ref-NeRF captura con precisión la geometría subyacente a través de vectores normales extraídos.

16.- Ref-NeRF estructura la radiancia saliente para permitir una edición convincente de la apariencia de la escena post-entrenamiento, como modificar la rugosidad y el color.

Bóveda del Conocimiento construida porDavid Vivancos 2024