mimbeddings de Langlo Mesdel (ELMo) es un poderoso método de integración contextual que encuentra aplicación en una amplia gama de tareas de procesamiento del lenguaje natural. ELMo, junto con otros, inició la tendencia de preentrenamiento de inserciones de palabras contextuales en PNL. La técnica sigue siendo simple e intuitiva, lo que permite agregarla fácilmente a los modelos existentes.

En este artículo, discutiremos cómo entrenar a ELMETROo incrustaciones desde cero con nuestro propio corpus de texto y explicar cómo funciona bajo el capó. Usaremos AllenNLP, un marco de PNL basado en PyTorch que proporciona muchos modelos de última generación listos para usar. Si solo está interesado en utilizar incrustaciones de ELMo previamente capacitadas, no dude en pasar a la última sección: Usar ELMo en tareas posteriores.