Una introducción al modelo de red neuronal Transformer

En los últimos años ha sido notable la popularidad de bots convesacionales basados en grandes modelos de lenguaje como chatGPT, Bard, LLaMA, PaLM, etc. Estos sistemas son capaces de responder a consultas y mantener conversaciones con un desempeño sorprendente. En esta sesión se pretende explicar como es el Transformer, el modelo que hace posible a estos chatbots. Se hará un recorrido por los modelos de lenguaje con redes neuronales, comenzando por redes completamente conectadas hasta llegar al Transfomer, pasando por redes recurrentes, mecanismos de atención y representaciones distribuidas de las palabras.