In einer Arbeit der Cornell Universität wird ein einzigartiges zweistufiges Modell vorgestellt, das auf einem Sequenz-zu-Sequenz-Paradigma basiert und demonstriert wie ein auf Pretraining basierendes Encoder-Decoder-Framework bei der Textverdichtung eingesetzt werden kann. BERT kann sowohl auf der Encoder- als auch auf der Decoderseite eingesetzt werden und verstärkt die Zielsetzung während des Lernprozesses. Das Modell lieferte anhand einiger Benchmark-Datensätze Ergebnisse, die belegen, dass der Ansatz bei der Textzusammenfassung besser abschneidet,als andere traditionelle Systeme.