diff --git a/scriptshifter/tables/data/panjabi.yml b/scriptshifter/tables/data/panjabi_gurmukhi.yml similarity index 71% rename from scriptshifter/tables/data/panjabi.yml rename to scriptshifter/tables/data/panjabi_gurmukhi.yml index 79281a9..62a4cd2 100644 --- a/scriptshifter/tables/data/panjabi.yml +++ b/scriptshifter/tables/data/panjabi_gurmukhi.yml @@ -1,6 +1,6 @@ --- general: - name: Panjabi + name: Panjabi (Gurmukhi) case_sensitive: false script_to_roman: @@ -8,11 +8,11 @@ script_to_roman: post_config: - - aksharamukha.romanizer.s2r_post_config - - src_script: "Punjabi" + - src_script: "Gurmukhi" roman_to_script: hooks: post_config: - - aksharamukha.romanizer.r2s_post_config - - dest_script: "Punjabi" + - dest_script: "Gurmukhi" diff --git a/scriptshifter/tables/index.yml b/scriptshifter/tables/index.yml index cc3ca11..2e428ce 100644 --- a/scriptshifter/tables/index.yml +++ b/scriptshifter/tables/index.yml @@ -200,9 +200,9 @@ ossetic_cyrillic: pali: marc_code: pli name: Pali -panjabi: +panjabi_gurmukhi: marc_code: pan - name: Panjabi + name: Panjabi (Gurmukhi) persian: marc_code: per name: Persian diff --git a/test/data/script_samples/sea.csv b/test/data/script_samples/sea.csv index b079d0c..b3f4742 100644 --- a/test/data/script_samples/sea.csv +++ b/test/data/script_samples/sea.csv @@ -120,26 +120,26 @@ raṅgamañca digdarśaka jayanta ","संगीत संशय कल्ल "nepali_devanagari","smr̥tibimba : paṇḍita ṭekanātha bhaṭṭarāī / sampādana, ḍā tulasī bhaṭṭarāī","स्मृतिबिम्ब : पण्डित टेकनाथ भट्टराई / सम्पादन, डा तुलसी भट्टराई","r2s" "nepali_devanagari","पल पलको मृत्यु / संस्मरण / सुदन किराती काठमाडौं : घोस्ट राइटिङ नेपाल","pala palako mr̥tyu / saṃsmaraṇa / sudana kirātī kāṭhamāḍauṃ : ghosṭa rāiṭiṅa nepāla","s2r" "nepali_devanagari","स्मृतिबिम्ब : पण्डित टेकनाथ भट्टराई","smr̥tibimba : paṇḍita ṭekanātha bhaṭṭarāī","s2r" -"panjabi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī", -"panjabi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : ‡b māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe", -"panjabi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha", -"panjabi","ਮੁੱਢਲਾ ਪੰਜਾਬੀ ਨਾਵਲ : ਪੁਨਰ-ਮੁਲਾਙ੍ਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ। ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / Ḍā. Rekhā Rāṇī.", -"panjabi","ਨੋ ਮੈਨਜ਼-ਲੈਣ੍ਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā", -"panjabi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ‡b ghum̆madiāṃ phiradiāṃ", -"panjabi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī", -"panjabi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : ‡b jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ", -"panjabi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ", -"panjabi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ", -"panjabi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī", -"panjabi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe", -"panjabi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha", -"panjabi","ਮੁੱਢਲਾ ਸਿੰਘ ਨਾਵਲ : ਪੁਨਰ- ਮੁਲਾਂਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ. ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / ḍā. Rekhā Rāṇī.", -"panjabi","ਨੋ ਮੈਨਜ਼-ਲੈਂਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā", -"panjabi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ghum̆madiāṃ phiradiāṃ", -"panjabi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī", -"panjabi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ", -"panjabi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ", -"panjabi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ", +"panjabi_gurmukhi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī", +"panjabi_gurmukhi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : ‡b māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe", +"panjabi_gurmukhi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha", +"panjabi_gurmukhi","ਮੁੱਢਲਾ ਪੰਜਾਬੀ ਨਾਵਲ : ਪੁਨਰ-ਮੁਲਾਙ੍ਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ। ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / Ḍā. Rekhā Rāṇī.", +"panjabi_gurmukhi","ਨੋ ਮੈਨਜ਼-ਲੈਣ੍ਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā", +"panjabi_gurmukhi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ‡b ghum̆madiāṃ phiradiāṃ", +"panjabi_gurmukhi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī", +"panjabi_gurmukhi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : ‡b jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ", +"panjabi_gurmukhi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ", +"panjabi_gurmukhi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ", +"panjabi_gurmukhi","ਅਨੁਪਮ ਗਾਥਾ ਫਫੜੇ ਭਾਈ ਕੇ ਨਗਰ ਦੀ","Anupama gāthā Phaphaṛe Bhāī Ke nagara dī", +"panjabi_gurmukhi","ਭਾਖਾ ਦੇ ਮਾਮਲਿਆਂ ਬਾਰੇ ਕੌਮਾਨ੍ਤਰੀ ਖੋਜ : ਮਾਤ ਭਾਖਾ ਖੋਲ੍ਹਦੀ ਏ ਸਿੱਖਿਆ, ਗਿਆਨ, ਅਤੇ ਅੰਗਰੇਜੀ ਦੇ ਬੂਹੇ","Bhākhā de māmaliāṃ bāre kaumāntarī khoja : māta bhākhā kholhadī e sikkhiā, giāna, ate Aṅgarejī de būhe", +"panjabi_gurmukhi","ਗੁਰਬਾਣੀ ਦੀਆਂ ਗੁਹਜ ਰਮਜ਼ਾਂ : ਵਿਆਖਿਆ ਤੇ ਵਿਚਾਰ / ਪ੍ਰੋਫ਼ੇਸਰ ਰਾਮ ਸਿੰਘ","Gurabāṇī dīāṃ guhaja ramazāṃ : wiākhiā te wicāra / profesara rāma siṅgha", +"panjabi_gurmukhi","ਮੁੱਢਲਾ ਸਿੰਘ ਨਾਵਲ : ਪੁਨਰ- ਮੁਲਾਂਕਣ : ਪ੍ਰਭਾ, ਪ੍ਰੇਮ ਲਗਨ ਅਤੇ ਵਗਦੀ ਸੀ ਰਾਵੀ ਦੇ ਪ੍ਰਸੰਗ ਵਿਚ / ਡਾ. ਰੇਖਾ ਰਾਣੀ","Muḍḍhalā Pañjābī nāwala : punara-mulāṅkaṇa : Prabhā, Prema lagana ate Wagadī sī Rāwī de prasaṅga wica / ḍā. Rekhā Rāṇī.", +"panjabi_gurmukhi","ਨੋ ਮੈਨਜ਼-ਲੈਂਡ ਤੋਂ ਸ਼ਕੀਲਾ... : ਗਲਪ ਰਚਨਾ","No mainaza-laiṇḍa toṃ Shakīlā... : galapa racanā", +"panjabi_gurmukhi","ਮੈਂ, ਬੱਚਾ ਤੇ ਕੁੱਤਾ : ਘੁੰਮਦਿਆਂ ਫਿਰਦਿਆਂ","Maiṃ, baccā te kuttā : ghum̆madiāṃ phiradiāṃ", +"panjabi_gurmukhi","ਇਤਿਹਾਸ ਬਾਬਾ ਬੁੱਡਾ ਜੀ","Itihāsa Bābā Buḍḍā jī", +"panjabi_gurmukhi","ਆਸ਼ਿਕ ਅਜ਼ਾਦੀ ਦੇ : ਜੁਝਾਰੂਆਂ ਦੀ ਗਾਥਾ : ਪ੍ਰਸੰਗ ਅਤੇ ਵਾਰਾਂ","āshika azādī de : jujhārūāṃ dī gāthā : prasaṅga ate wārāṃ", +"panjabi_gurmukhi","ਗ਼ਦਰੀ ਕਿਰਪਾ ਸਿੰਘ ਲੰਗ ਮਜਾਰੀ (ਮੀਰਪੁਰ) : ਜਿਹੜੇ ਝੁੱਕੇ ਨਹੀਂ","G̲h̲adarī Kirapā Siṅgha Laṅga Majārī (Mīrapura) : jihaṛe jhukke nahīṃ", +"panjabi_gurmukhi","ਜੇਲ੍ਹ ਦੀਆਂ ਭੁੱਲੀਆਂ ਵਿੱਸਰੀਆਂ ਯਾਦਾਂ","Jelha dīāṃ bhullīāṃ wissarīāṃ yādāṃ", "sanskrit_devanagari","अद्वैतवेदान्ते श्री श्री सच्चिदानन्देन्द्रसरस्वतीमहास्वामिनां योगदानम्","advaitavedānte śrī śrī saccidānandendrasarasvatīmahāsvāmināṃ yogadānam", "sanskrit_devanagari","अनुसन्धानसम्पादनप्रविधिः","anusandhānasampādanapravidhiḥ", "sanskrit_devanagari","जयसिंहगुणवर्णनम्, अपरनाम, जयप्रशस्ति","jayasiṃhaguṇavarṇanam, aparanāma, jayapraśasti", @@ -160,19 +160,13 @@ raṅgamañca digdarśaka jayanta ","संगीत संशय कल्ल "sinhalese","අබය මුද්රා ව : ඩබ්ලියු.ඒ. අබේසිoහගේ සමා ජ සා හිත්ය මෙහෙවර","Abaya mudrāva : Ḍabliyu.Ē. Abēsimhagē samāja sāhitya mehevara", "sinhalese","නන්දිකඩා ල් දක්වා පා ර කැ පුවේ කවුරුන්ද?","Nandikaḍāl dakvā pāra kăpuvē kavurunda?", "sinhalese","පුරා විද්යා ස්ථා න නමා වලිය : කෑ ගල්ල දිස්ත්රික්කය","Purāvidyā sthāna namāvaliya : Kâgalla distrikkaya", -"tamil","மணிக்கொடி இதழ் தொகுப்பு -","Maṇikkoṭi ital̲ tokuppu", -"tamil","சுந்தர ராமசாமி சிறுகதைகள் -","Cuntara Rāmacāmi cir̲ukataikaḷ", +"tamil","மணிக்கொடி இதழ் தொகுப்ப","Maṇikkoṭi ital̲ tokuppu", +"tamil","சுந்தர ராமசாமி சிறுகதைகள்","Cuntara Rāmacāmi cir̲ukataikaḷ", "tamil","வானம் வசப்படும்","Vān̲am vacappaṭum", -"tamil","சிவப்புக் கழுத்துடன் ஒரு பச்சைப் பறவை -","Civappuk kal̲uttutan̲ oru paccaip par̲avai", -"tamil","தீண்டப்படாத முத்தம் -","Tīṇṭappaṭāta muttam", -"tamil","ஜி. நாகராஜன்̲ சிறுகதைகள் -","Ji. Nākarājan̲ cir̲ukataikaḷ", -"tamil","அவ்வை மண்ணில் பெண் எழுத்தாளர்கள் : பெண் எழுத்தாளர்கள் சந்திப்பு, 2000 கருத்தரங்கக் கட்டுரைகள் -","Avvai maṇṇil peṇ el̲uttāḷarkaḷ : peṇ el̲uttāḷarkaḷ cantippu, 2000 karuttaraṅkak kaṭṭuraikaḷ", +"tamil","சிவப்புக் கழுத்துடன் ஒரு பச்சைப் பறவை","Civappuk kal̲uttutan̲ oru paccaip par̲avai", +"tamil","தீண்டப்படாத முத்தம்","Tīṇṭappaṭāta muttam", +"tamil","ஜி. நாகராஜன்̲ சிறுகதைகள்","Ji. Nākarājan̲ cir̲ukataikaḷ", +"tamil","அவ்வை மண்ணில் பெண் எழுத்தாளர்கள் : பெண் எழுத்தாளர்கள் சந்திப்பு, 2000 கருத்தரங்கக் கட்டுரைகள்","Avvai maṇṇil peṇ el̲uttāḷarkaḷ : peṇ el̲uttāḷarkaḷ cantippu, 2000 karuttaraṅkak kaṭṭuraikaḷ", "tamil","ஐந்து வருட மௌனம் : சிறுகதைத் தொகுப்பு","Aintu varuṭa maun̲am : cir̲ukatait tokuppu", "tamil","உ. வே. சாமிநாதையர் கடிதக் கருவூலம்","U. Vē. Cāminātaiyar kaṭitak karuvūlam", "tamil","அர்ச்சுனனின் தமிழ்க் காதலிகள் : மகாபாரதம் பற்றிய நாட்டார் கதைகள்","Arccunan̲in̲ Tamil̲k kātalikaḷ : Makāpāratam par̲r̲iya nāṭṭār kataikaḷ", diff --git a/test/integration.py b/test/integration.py index 38e1fce..7b6015c 100644 --- a/test/integration.py +++ b/test/integration.py @@ -28,7 +28,6 @@ def test_sample(dset): i = 1 for row in csv: logger.debug(f"CSV row #{i}") - i += 1 lang, script, rom = row[:3] if not lang: continue @@ -40,6 +39,7 @@ def test_sample(dset): else: _trans(script, lang, "s2r", opts, rom, deltas) _trans(rom, lang, "r2s", opts, script, deltas) + i += 1 with open(log_fpath, "w") as fh: # If no deltas, just truncate the file.