Saltar al contenido

NeurIPS 2020: 10 elementos esenciales que no debe perderse

septiembre 23, 2021
0bzU7rdrzzvFbtK J

NeurIPS 2020: 10 elementos esenciales que no debe perderse

1899 ponencias, 20k + asistentes, 62 talleres, 7 charlas invitadas. Elegir a qué prestar atención es clave en un paisaje tan denso, por lo que aquí hay algunas ideas sobre dónde debería estar mirando.

Sergi Castella i Sapé

2 de diciembre de 2020·10 min de lectura

0*bzU7rdrzzvFbtK J
Vancouver, Canada. Foto de Mike Benna en Unsplash

Semi y Auto-Supervisión

1. Bootstrap Your Own Latente, un nuevo enfoque para el aprendizaje auto-supervisado | Cartel virtual

1*S0JgcwtuQ90wXve9OIyrew

Diagrama de alto nivel del procedimiento de entrenamiento. Fuente: https://papers.nips.cc/paper/2020/file/f3ada80d5c4ee70142b17b8192b2958e-Paper.pdf
1*zyMQW1dOeXxyd osvKEIDA

Rendimiento de ImageNet de clasificación lineal. Fuente: https://papers.nips.cc/paper/2020/file/f3ada80d5c4ee70142b17b8192b2958e-Paper.pdf

2. Aumento de datos sin supervisión para el entrenamiento de coherencia | Cartel virtual

1*JtJNPML5F5KUzs 0FzIfcQ

Visión general de alto nivel de la formación de consistencia. Fuente: https://papers.nips.cc/paper/2020/file/44feb0096faa8326192570788b38c1d1-Paper.pdf

3. ¿Qué aporta buenas vistas para el aprendizaje contrastado? | Cartel virtual

1*H9nXbAPg 3bRSu6KTW6KXw

1*5tXtnkqZNjsRFumG Zut7w

Ilustración del conjunto de datos Colorful-Moving-MNIST. Fuente: https://proceedings.neurips.cc/paper/2020/file/4c2e5eaae9152079b9e95845750bb9ab-Paper.pdf

4. Mezcla fuertemente negativa para el aprendizaje contrastivo | Cartel virtual

1*nqSp1qXyOeuMLvtj7v ZsQ

Resultados de clasificación lineal en ImageNet-1k y detección de objetos en PASCAL VOC. Fuente: https://papers.nips.cc/paper/2020/file/f7cade80b7cc92b991cf4d2806d6bd78-Paper.pdf

Transformadores y Atención

5. Desenredar las compensaciones entre la recurrencia y la auto-atención en las redes neuronales | Cartel virtual

1*sVuf52ViCwHAZrYG1miTBQ

Resultados de las tareas Transferir copia y Eliminar ruido. Fuente: https://papers.nips.cc/paper/2020/file/e2065cb56f5533494522c46a72f1dfb0-Paper.pdf

6. Big Bird: Transformadores para secuencias largas | Cartel virtual

Las 3 variantes de atención utilizadas en BigBird. Fuente: https://papers.nips.cc/paper/2020/file/c8512d142a2d849725f31a9a7a361ab9-Paper.pdf

7. Generación aumentada de recuperación para tareas de PNL intensivas en conocimientos | Cartel virtual

1*vnkAVfHNwcsHDj43TjEaAQ

Descripción general del modelo RAG. Fuente: https://proceedings.neurips.cc/paper/2020/file/6b493230205f780e1bc26945df7481e5-Paper.pdf

8. Los modelos lingüísticos son aprendices puntuales | Cartel virtual

1*tvR86B DKdX AmIPs82hmg

SuperGLUE de rendimiento GPT-3 en comparación con líneas de base ajustadas y SOTA. Fuente: https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

Benchmarks y evaluación

9. Aprender a resumir con retroalimentación humana | Cartel virtual

close