Conocimiento Bóveda 5 /73 - CVPR 2022
Comprendiendo la Apariencia Visual desde el Micrón hasta la Escala Global
Kavita Bala
< Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4o | Llama 3:

graph LR classDef physbased fill:#f9d4d4, font-weight:bold, font-size:14px classDef discovery fill:#d4f9d4, font-weight:bold, font-size:14px classDef micronres fill:#d4d4f9, font-weight:bold, font-size:14px classDef worldscale fill:#f9f9d4, font-weight:bold, font-size:14px classDef satellites fill:#f9d4f9, font-weight:bold, font-size:14px classDef cornellbox fill:#d4f9f9, font-weight:bold, font-size:14px classDef materials fill:#f9d4d4, font-weight:bold, font-size:14px classDef fabric fill:#d4f9d4, font-weight:bold, font-size:14px classDef challenges fill:#f9f9d4, font-weight:bold, font-size:14px classDef invgraphics fill:#f9d4f9, font-weight:bold, font-size:14px classDef scattering fill:#d4f9f9, font-weight:bold, font-size:14px classDef llms fill:#f9d4d4, font-weight:bold, font-size:14px classDef clothing fill:#d4f9d4, font-weight:bold, font-size:14px classDef responsibility fill:#d4d4f9, font-weight:bold, font-size:14px classDef futuredirs fill:#f9f9d4, font-weight:bold, font-size:14px A["Comprendiendo la Apariencia Visual
desde el Micrón hasta
la Escala Global"] --> B["Modelos físicos capturan la realidad,
permiten transiciones de realidad mixta 1"] A --> C["Descubrimiento visual: tendencias, eventos,
cambios a escala planetaria 2"] A --> D["Imágenes de micrones muestran
detalles ocultos críticos 3"] A --> E["Imágenes a escala mundial registran
vidas humanas sin precedentes 4"] A --> F["Satélites capturan cambios
ecológicos globales 5"] A --> G["Caja de Cornell: prueba de
Turing visual, gráficos físicos 6"] G --> H["Materiales reales complejos vs
simple caja de Cornell 7"] A --> I["Apariencia de tela desde
estructura de hilo/tejido en micrones 8"] I --> J["Tomografías computarizadas proporcionan
estructura de material 3D 9"] I --> K["Media/desviación estándar de fotos
aproximan albedo, brillo 10"] I --> L["Vellón de terciopelo, brillo de
seda desde el tejido 11"] L --> M["Mejores modelos: TC
para estructura, fotos para óptica 12"] I --> N["Control del modelo: cambiar
hilos/tejidos para alterar apariencia 13"] I --> O["Objetivo: diseño virtual de extremo a extremo
que coincida con el real 14"] I --> P["Desafíos persisten haciendo
modelos de tela intuitivos 15"] A --> Q["Gráficos inversos unen
real/virtual con renderizado diferenciable 16"] A --> R["Dispersión clave para
realismo, necesita modelos volumétricos 17"] A --> S["LLMs plausibles pero
la física permite control 18"] A --> T["Fotos revelan estilos de
ropa locales y globales 19"] T --> U["La ropa influenciada por
clima, cultura, eventos 20"] T --> V["Picos de eventos permanecen
después de eliminar el clima 21"] T --> W["Herramientas visuales ayudan
a la antropología, encuentran fenómenos 22"] A --> X["100 TB/día de
1500 satélites, gran oportunidad 23"] X --> Y["Satélites monitorean el ambiente,
ecología, cultivos, incendios, sequía 24"] X --> Z["Se necesita más CV
para detección de eventos no supervisados 25"] A --> AA["Expertos ayudan a encontrar
problemas significativos, impactos 26"] A --> AB["Con gran poder
viene gran responsabilidad 27"] A --> AC["Optica de onda/cuántica para
apariencia a pequeña escala 28"] A --> AD["Más allá de la luz visible
para monitoreo de cultivos 29"] A --> AE["Progreso constante en investigación
en apariencia realista 30"] class B physbased class C discovery class D micronres class E worldscale class F,X,Y,Z,AD satellites class G,H cornellbox class I,J,K,L,M,N,O,P fabric class Q,R,S,AC invgraphics class T,U,V,W clothing class AA,AB responsibility class AE futuredirs

Resumen:

1.- Los modelos basados en física capturan la realidad y permiten transiciones fluidas entre mundos virtuales y reales para aplicaciones de realidad mixta.

2.- El descubrimiento visual a escala planetaria utiliza el reconocimiento visual para descubrir tendencias, eventos culturales, cambios en cultivos y eventos ecológicos en todo el mundo.

3.- Las imágenes de resolución de micrones revelan detalles críticos para la apariencia de objetos y materiales que no son visibles a simple vista.

4.- Las imágenes a escala mundial permiten comprender la cultura y la sociedad al registrar vidas humanas a un ritmo sin precedentes.

5.- Las imágenes satelitales a escala planetaria capturan cambios ecológicos como floraciones de algas y pueden ayudar a comprender y ayudar al planeta cambiante.

6.- La caja de Cornell en 1988 introdujo una prueba de Turing visual y la idea de gráficos basados en física que simulan la luz y la apariencia.

7.- Los materiales del mundo real como tela, piel y alimentos son complejos y desafiantes para hacer que se vean realistas en comparación con la simple caja de Cornell.

8.- La apariencia de la tela proviene de la estructura del hilo y el tejido a nivel de micrones, no solo de las propiedades de la superficie.

9.- Las tomografías computarizadas proporcionan volúmenes 3D de la estructura del material a resolución de micrones para construir modelos de apariencia realista.

10.- Igualar la media y la desviación estándar de una foto aproxima el albedo y el brillo del material, ya que la estructura hace la mayor parte del trabajo.

11.- La apariencia de la tela depende de la estructura: el vello del terciopelo de los hilos/fibras que sobresalen, el brillo de la seda de la urdimbre y la trama entrelazadas.

12.- Los mejores modelos de apariencia de terciopelo y seda hasta la fecha utilizan tomografías computarizadas para la estructura y fotos para parámetros ópticos simples.

13.- La controlabilidad de los modelos es importante: cambiar los parámetros del hilo y los patrones de tejido altera la apariencia de la tela para el prototipado de diseño.

14.- El objetivo es una tubería de prototipado virtual de extremo a extremo que coincida con la tubería de producción real para permitir un diseño eficiente y predecible sin ensayo y error físico.

15.- A pesar del progreso, persisten desafíos en hacer que los modelos de tela realistas sean más intuitivos para que los diseñadores/artistas los usen.

16.- Los gráficos inversos unen los mundos real y virtual al recuperar forma, materiales e iluminación de imágenes utilizando renderizado diferenciable.

17.- La dispersión es crítica para el realismo y requiere ir más allá de los modelos de superficie simples a modelos volumétricos y medios participantes.

18.- Los modelos de lenguaje grande producen imágenes plausibles pero los modelos gráficos con física son complementarios y permiten un control artístico intuitivo.

19.- Analizar millones de fotos de todo el mundo revela estilos locales distintivos y estilos internacionales ubicuos de ropa.

20.- La ropa está influenciada por el clima, la cultura, la ocasión, la moda: el análisis espacio-temporal muestra cambios de estilo estacionales y basados en eventos.

21.- Eliminar los patrones climáticos revela picos que corresponden a eventos culturales como fiestas, protestas, eventos deportivos.

22.- Las herramientas de descubrimiento visual podrían ayudar a los antropólogos a comprender la cultura y encontrar fenómenos globales y locales previamente desconocidos en las fotos.

23.- Los satélites recopilan 100 TB/día de 1500 satélites en comparación con solo 30 satélites hace 10-15 años - enormes oportunidades para aprovechar.

24.- Los datos satelitales pueden monitorear la salud de los cultivos, incendios forestales, sequías, construcción para comprender el cambio ambiental y ecológico.

25.- Se necesita más investigación en visión por computadora para la detección de eventos no supervisados a escala planetaria aprovechando la escala y la resolución temporal de los datos satelitales.

26.- Trabajar con expertos en el dominio es importante para aprender qué problemas son significativos de resolver y para comprender el impacto social.

27.- Con gran poder viene gran responsabilidad - considerar conscientemente el impacto social a medida que la visión por computadora crece en influencia.

28.- Ir más allá de la óptica clásica a la óptica de ondas/cuántica puede ser necesario para la apariencia de materiales a pequeña escala.

29.- Expandirse más allá de la luz visible a otras longitudes de onda puede proporcionar información para aplicaciones como el monitoreo de la salud de los cultivos.

30.- El progreso en la modelación de apariencia realista ha sido constante en la comunidad de investigación con modelos que mejoran en calidad y rendimiento con el tiempo.

Bóveda de Conocimiento construida porDavid Vivancos 2024