El nuevo sistema Megabyte de Meta resuelve uno de los mayores obstáculos para modelos GPT
25.05.2023 23:57
© Reuters. El nuevo sistema Megabyte de Meta resuelve uno de los mayores obstáculos para modelos GPT
Meta (NASDAQ:) AI acaba de publicar un preprint en el que se muestra un nuevo y radical marco «Megabyte» para construir sistemas generativos de transformación preentrenados (GPT).
Calificada de «prometedora» por Andrej Karpathy, de OpenAI (antiguo director de IA en Tesla (NASDAQ:)), la nueva arquitectura está diseñada para procesar grandes volúmenes de datos -como imágenes, novelas y archivos de vídeo- sin utilizar un proceso conocido como tokenización.
Promising. Everyone should hope that we can throw away tokenization in LLMs. Doing so naively creates (byte-level) sequences that are too long, so the devil is in the details.Tokenization means that LLMs are not actually fully end-to-end. There is a whole separate stage with… https://t.co/t240ZPxPm7
Lea el artículo completo en Cointelegraph
