Gated DeltaNet
Ai2s StateBench zeigt: Frontier-Modelle scheitern bei der Zustandsverfolgung über lange Eingaben
Ai2 hat StateBench vorgestellt, einen Benchmark, der misst, wie gut Sprachmodelle Entitäten verfolgen, während diese sich in langen Dokumenten verändern. Laut Ai2 können…
Amazons Priming-Methode macht aus Transformern Hybridmodelle für weniger als 0,5 Prozent der Pretraining-Kosten
Forscher von Amazon Web Services haben mit Priming eine Methode vorgestellt, die von vortrainierten Transformer-Gewichten ausgeht, um hybride Architekturen zu bauen.…