resize only if the sequence is too long

data/sample/corpus_1.sample.src

@@ -0,0 +1,30 @@
+It is not acceptable that , with the help of the national bureaucracies , Parliament 's legislative prerogative should be made null and void by means of implementing provisions whose content , purpose and extent are not laid down in advance .
+Federal Master Trainer and Senior Instructor of the Italian Federation of Aerobic Fitness , Group Fitness , Postural Gym , Stretching and Pilates; from 2004 , he has been collaborating with Antiche Terme as personal Trainer and Instructor of Stretching , Pilates and Postural Gym .
+" Two soldiers came up to me and told me that if I refuse to sleep with them , they will kill me . They beat me and ripped my clothes .
+Yes , we also say that the European budget is not about the duplication of national budgets , but about delivering common goals beyond the capacity of nation states where European funds can realise economies of scale or create synergies .
+They would be abiding by the principle of the UN , which precludes military action except in self-defence , which does not apply here .
+rapporteur . - (FR) Mr President , representatives of the Council and the Commission , ladies and gentlemen , I should like to begin by thanking my colleagues , who entrusted me with this report , and the shadow rapporteur for their respective contributions .
+Shortly thereafter , Mårthen Cedergran , who had been responsible for vocals , left Bombshell Rocks to establish himself as a tattoo artist .
+The next item should be the presentation by the Commission of the preliminary draft budget for 2001 .
+This is about as much as we can hope for within the confines of the common fisheries policy .
+Description: ATTENTION PLEASE: WE CHARGE THE COST OF THE FIRST NIGHT AS A DEPOSIT AFTER THE ONLINE CONFIRMATION !
+The Commission itself has given assurances that it will see to it that European seafarers are not put to any disadvantage by this agreement .
+In the next two days we will try , with the Committee on Foreign Affairs , Security and Defence Policy and our distinguished guests , to work out what the framework of a Euro-Mediterranean Parliamentary Forum would look like .
+Discover the most intuitive design for the best image processing tools .
+The problem is , despite the beautiful coast and mountains , if good transparent progress is not made by having environmental assessments , then this beautiful countryside is in danger of being destroyed .
+The Ventura MC processes even this demanding product at a speed of 200 cycles per minute - that is what you call efficient book sewing !
+In everyday life , he works as a process improver at Eiffel .
+If this is conceded , it will be a step forwards; if it is not , none of the rest - not even more effectiveness or better organisation - will make any difference to the European Union 's decision-making process .
+He claimed his actions were justified because the Cardassians were preparing to renew hostilities only a year after peace had been settled with the United Federation of Planets .
+This page was last edited at 10: 59 , on 19 June 2009 by Anonymous user (s) of Wikitravel .
+Some wine-growers are therefore tempted to replant their vineyards before the date on which their right to do so expires .
+To be frank , during the negotiations - and with the support of the Commission moreover - it became very clear to us that we were being troublemakers .
+To be honest , access to them on the part of organisations has been on an arbitrary basis .
+On this page you will find information on the trade fairs we will be exhibiting at this year .
+In many ways the enlargement of the European Union is comparable to the tour de France .
+Some theorists include in this formulation the perceived distance of the moon (how far it appears to be from an observer).
+The quality of all furniture , fixtures and fittings was excellent .
+The Bone Bruise Technique was developed in 1995 . The Bone Bruise Technique can be used anywhere in the body , throughout the skeletal system , for correction of acute and chronic bone and joint pain that may be related to bone bruises .
+Yet , if we really want growth in Europe , then we genuinely need to have a single market in Europe .
+The compromise finally reached by the Council is , broadly speaking , in line with Parliament ' s stance .
+This page was last modified 15: 34 , 11 September 2007 by Red _ marquis .

data/sample/corpus_1.sample.tgt

@@ -0,0 +1,30 @@
+Es geht nicht an , dass über Ausführungsbestimmungen , deren Inhalt , Zweck und Ausmaß vorher nicht bestimmt ist , zusammen mit den nationalen Bürokratien das Gesetzgebungsrecht des Europäischen Parlaments ausgehebelt wird .
+Meistertrainer und leitender Dozent des italienischen Fitnessverbands für Aerobic , Gruppenfitness , Haltungsgymnastik , Stretching und Pilates; arbeitet seit 2004 bei Antiche Terme als Personal Trainer und Lehrer für Stretching , Pilates und Rückengymnastik .
+Also kam ich nach Südafrika " , erzählte eine Frau namens Grace dem Human Rights Watch-Mitarbeiter Gerry Simpson , der die Probleme der zimbabwischen Flüchtlinge in Südafrika untersucht .
+Ja , wir sagen auch , dass es beim europäischen Haushalt nicht um die Vervielfältigung der nationalen Haushalte geht , sondern um das Erreichen gemeinsamer Ziele , die über die Kapazität von Nationalstaaten hinausgehen , wo die europäischen Finanzmittel Rationalisierungseffekte oder Synergieeffekte erzeugen .
+Sie würden an dem Prinzip der UNO festhalten , nach dem militärische Aktionen außer im Falle der Selbstverteidigung , der beim Irak nicht zutrifft , ausgeschlossen sind .
+Berichterstatter . - (FR) Herr Präsident , sehr geehrte Vertreter des Rates und der Kommission , meine Damen und Herren ! Ich möchte gleich eingangs meinen Kollegen , die mich mit diesem Bericht betraut haben , sowie dem Schattenberichterstatter für ihre jeweiligen Beiträge danken .
+Kurze Zeit später verlässt der bis dato für den Gesang verantwortliche Mårthen Cedergran die Bombshell Rocks , um sich als Tätowierer selbständig zu machen .
+Nach der Tagesordnung sollte die Kommission den Vorentwurf des Gesamthaushaltsplans für das Jahr 2001 vorlegen .
+Das ist etwa soviel , wie wir innerhalb der Grenzen der Gemeinsamen Fischereipolitik erwarten können .
+Beschreibung: Schöne und günstige Unterkunft in Paris für junge Reisende und Backpackers !
+Die Kommission hat selbst zugesichert , dass sie darauf achten wird , dass es keine Benachteiligung der europäischen Seeleute durch dieses Abkommen geben wird .
+In den nächsten beiden Tagen werden wir , zusammen mit dem Ausschuß für auswärtige Angelegenheit , Sicherheit und Verteidigungspolitik sowie unseren ehrenwerten Gästen , versuchen , den Rahmen für ein parlamentarisches Mittelmeerforum zu erarbeiten .
+Entdecken Sie die intuitive Bedienung für die besten Werkzeuge der Bildbearbeitung .
+Das Problem , trotz der schönen Küsten und Berge , ist: Wenn keine guten , transparenten Fortschritte in Form von Umweltprüfungen erfolgen , läuft diese schöne Landschaft Gefahr , zerstört zu werden .
+Die Ventura MC verarbeitete selbst dieses anspruchsvolle Produkt mit einer Geschwindigkeit von 200 Takten pro Minute - das ist wirtschaftliches Fadenheften !
+Im täglichen Leben arbeitet er als Prozessverbesserer bei Eiffel .
+Wenn diese erteilt wird , bedeutet das einen Schritt nach vorn; wenn nicht , wird alles Übrige - bessere Effizienz , bessere Organisation usw. nicht ausreichen , um Einfluss auf den Entscheidungsprozess in der Europäischen Union zu nehmen .
+Dort angekommen , zerstört er die wissenschaftliche Station mitsamt ihrer Besatzung . Anschließend beginnt er damit , Jagd auf cardassianische Versorgungsschiffe zu machen .
+Diese Seite wurde zuletzt am 18. Mai 2009 um 21: 30 Uhr von Wikitravel-Benutzer Tatatabot geändert .
+Einige Winzer sind daher versucht , ihre Rebflächen bereits vor Ablauf der Geltungsdauer ihres Bepflanzungsrechts wiederzubepflanzen .
+Offen gesagt , ist uns während der Verhandlungen - übrigens mit Unterstützung der Kommission - sehr deutlich gemacht geworden , dass wir Unruhestifter seien .
+Um ehrlich zu sein , war es dem Zufall überlassen , welche Organisationen dort Eingang fanden .
+Hier erfahren Sie , auf welchen Messen wir in diesem Jahr vertreten sind .
+Die Erweiterung der Europäischen Union ist in mehrfacher Hinsicht mit der Tour de France vergleichbar .
+Einige Wissenschaftler beziehen die wahrgenommene Entfernung des Mondes (d.h. , wie weit entfernt er dem Betrachter zu sein scheint) in diese Formel mit ein .
+Es ist baulich wunderschön und bietet einen hervorragenden Service .
+Diese Technik kann an allen Knochen des Skeletts angewendet werden und eliminiert den Schmerz in Knochen und Gelenken , der oft mit Bone Bruises assoziiert ist .
+Doch wenn wir wirklich Wachstum in Europa wollen , dann muss es einen echten Binnenmarkt in Europa geben .
+Der schließlich im Rat erzielte Kompromiss steht im Großen und Ganzen im Einklang mit dem Standpunkt des Parlaments .
+This page was last modified 15: 34 , 11. Sep 2007 by Red _ marquis .

onmt/modules/multi_headed_attn.py

@@ -464,7 +464,7 @@ def forward(
                     if self.max_relative_positions == -1:  # Rotary Embeddings
                         if seqlen > self.rope.size(0):
 
-                            self.rope, self.cos, self.sin = rotaryembeddings(
+                            self.rope, _, _ = rotaryembeddings(
                                 self.rotary_dim,
                                 maxseqlen=(seqlen + 2048),
                                 base=self.rotary_theta,
@@ -513,11 +513,15 @@ def forward(
                         )
                         if self.max_relative_positions == -1:  # Rotary
                             # Resize rotary embeddings.
-                            self.rope, self.cos, self.sin = rotaryembeddings(
-                                self.rotary_dim,
-                                maxseqlen=(start_pos + 2048),
-                                base=self.rotary_theta,
-                            )
+                            if start_pos + 32 >= self.rope.size(0):
+                                # We take a margin of 32 tokens as the kv_cache
+                                # is incremented by 32 tokens every 32 tokens
+
+                                self.rope, self.cos, self.sin = rotaryembeddings(
+                                    self.rotary_dim,
+                                    maxseqlen=(start_pos + 2048),
+                                    base=self.rotary_theta,
+                                )
                             self.rope = self.rope.to(self.rope.device)
 
                     if sliding_window > 0 and key.size(2) > sliding_window: