Darija_fastai.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "darija_fastai.ipynb",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pb9BBuI9tgQR"
      },
      "source": [
        "\n",
        "\n",
        "# Moroccan Darija Language Model using fastai"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XObN-0TJjRBi",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "5da4b8e5-f57f-46ad-dc1b-daff1b4f4ef3"
      },
      "source": [
        "!pip install fastai -q --upgrade \n",
        "!pip install -q sentencepiece!=0.1.90,!=0.1.91 "
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[K     |████████████████████████████████| 186 kB 5.4 MB/s \n",
            "\u001b[K     |████████████████████████████████| 56 kB 2.1 MB/s \n",
            "\u001b[K     |████████████████████████████████| 1.2 MB 5.4 MB/s \n",
            "\u001b[?25h"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "v36942sNh36P"
      },
      "source": [
        "import sys\n",
        "from gensim.corpora import WikiCorpus\n",
        "from fastai.text.all import *\n",
        "import torch as torch\n",
        "import pandas as pd\n",
        "import numpy as np"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "yRyzkT0xmsin",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "a2e1625f-dc8a-4032-bf9c-c5cfb2e67874"
      },
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/drive/')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Mounted at /content/drive/\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "zCD9IKJbmKIv"
      },
      "source": [
        "path = Path('/content/drive/MyDrive/ml/projects/darija/')\n",
        "dls_path = path/'dls'\n",
        "model_path = path/'models'\n",
        "spm_path = model_path/'spm'\n",
        "\n",
        "dls_path.mkdir(exist_ok=True, parents=True)\n",
        "model_path.mkdir(exist_ok=True, parents=True)\n",
        "spm_path.mkdir(exist_ok=True, parents=True)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PtyRjPo_YRux"
      },
      "source": [
        "Moroccan Darija Wikipedia data, available in this [link](https://dumps.wikimedia.org/arywiki/20210520/)."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "1Hx9arrolvyZ",
        "outputId": "f2cd4c92-1be4-4a29-cca4-521c240b6583"
      },
      "source": [
        "!wget https://dumps.wikimedia.org/arywiki/latest/arywiki-latest-pages-articles.xml.bz2 -O '/content/drive/MyDrive/ml/projects/darija/arywiki-latest-pages-articles.xml.bz2'"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "--2021-09-15 10:00:11--  https://dumps.wikimedia.org/arywiki/latest/arywiki-latest-pages-articles.xml.bz2\n",
            "Resolving dumps.wikimedia.org (dumps.wikimedia.org)... 208.80.154.7, 2620:0:861:1:208:80:154:7\n",
            "Connecting to dumps.wikimedia.org (dumps.wikimedia.org)|208.80.154.7|:443... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 4346202 (4.1M) [application/octet-stream]\n",
            "Saving to: ‘/content/drive/MyDrive/ml/projects/darija/arywiki-latest-pages-articles.xml.bz2’\n",
            "\n",
            "/content/drive/MyDr 100%[===================>]   4.14M  4.75MB/s    in 0.9s    \n",
            "\n",
            "2021-09-15 10:00:12 (4.75 MB/s) - ‘/content/drive/MyDrive/ml/projects/darija/arywiki-latest-pages-articles.xml.bz2’ saved [4346202/4346202]\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "nMljHST1ZXDR"
      },
      "source": [
        "We make use of [WikiCorpus](https://radimrehurek.com/gensim/corpora/wikicorpus.html) from gensim to convert the XML file we downloaded to a text corpus. \n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "BGtsuYznmTeK",
        "outputId": "22caf076-e26a-400b-d94a-b7e090ac288d"
      },
      "source": [
        "def make_corpus(in_f, out_f):\n",
        "\n",
        "  \"\"\"Convert Wikipedia xml dump file to text corpus\"\"\"\n",
        "\n",
        "  output = open(out_f, 'w')\n",
        "  wiki = WikiCorpus(in_f)\n",
        "\n",
        "  for i, text in enumerate(wiki.get_texts()):\n",
        "    output.write(bytes(' '.join(text), 'utf-8').decode('utf-8') + '\\n')\n",
        "\n",
        "    if (i % 1000 == 0):\n",
        "      print('Processed ' + str(i) + ' articles')\n",
        "    \n",
        "  output.close()\n",
        "  print('Processing complete!')\n",
        "\n",
        "\n",
        "make_corpus(f'{path}/arywiki-latest-pages-articles.xml.bz2', f'{path}/wiki_darija.txt')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Processed 0 articles\n",
            "Processed 1000 articles\n",
            "Processed 2000 articles\n",
            "Processed 3000 articles\n",
            "Processing complete!\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Yb6aVAFfnUv5",
        "outputId": "423af1a1-2494-4625-b5f9-1316b78682ed"
      },
      "source": [
        "path.ls()"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(#4) [Path('/content/drive/MyDrive/ml/projects/darija/arywiki-latest-pages-articles.xml.bz2'),Path('/content/drive/MyDrive/ml/projects/darija/dls'),Path('/content/drive/MyDrive/ml/projects/darija/models'),Path('/content/drive/MyDrive/ml/projects/darija/wiki_darija.txt')]"
            ]
          },
          "metadata": {},
          "execution_count": 7
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 289
        },
        "id": "tGN7LW9lpi7U",
        "outputId": "2e7e0683-9e8e-4b68-d5ee-bc5375908c4f"
      },
      "source": [
        "df = pd.read_csv(path/'wiki_darija.txt', header=None, names=['text'])\n",
        "df.head()"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>آبطح جماعة ترابية قروية كاينة إقليم عمالة طان طان جهة ݣلميم واد نون ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خدمو عيون لكلام تصنيف جهة ݣلميم واد نون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>آسفي بالأمازيغية ⴰⵙⴼⵉ هي مدينة مغربية جات إقليم آسفي جهة مراكش آسفي آسفي معروفة بالفخار والحوت وخصوصا السردين ومكنيين عليها حاضرة المحيط الحطة ديال آسفي جات كاطل على المحيط الأطلسي بين الجديدة والصويرة في آسفي كاين بزاف دالبني لي قديم وتاريخي وهي من بين المدون القديمة في المغرب ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خد...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>آلبرخت دورر بالألمانية albrecht dürer ماي أبريل رسام صانع طباعة وم كاينتامي لعصر النهضة الألمانية تزاد في نورمبرݣ دورر أسس للسمعة والتأثير ديالو عبر أوروبا فالوقت اللي مازالا فالعشرينات من عمرو نتيجة لجودة نقوشاتو الخشبية كان فاتصال مع أكبر الفنانين الإيطاليين فالعصر ديالو بما فيهم رفائيل جيوڤاني بيليني وليوناردو دا ڤينتشي وابتداء من كان كي اخد الدعم من عند الإمبراطور ماكسيميليان الأول تم تشييع دورر فالكنيستين اللوثرية والأسقفية بجوج كتشمل مجموعة أعمال دورر الواسعة النقوش أسلوبو المفضل في طبعاتو الأخيرة الأعمال الفنية فالكنائس altarpieces پورتريهات پورتريهات ذاتية لوحات مائية وك النقوش الخ...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>آمتدي جماعة ترابية قروية كاينة إقليم عمالة ݣلميم جهة ݣلميم واد نون ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خدمو عيون لكلام تصنيف جهة ݣلميم واد نون</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>آنفݣ جماعة ترابية قروية كاينة إقليم عمالة سيدي إيفني جهة ݣلميم واد نون ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خدمو عيون لكلام تصنيف جهة ݣلميم واد نون</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      text\n",
              "0                                                                                                                                                                                   آبطح جماعة ترابية قروية كاينة إقليم عمالة طان طان جهة ݣلميم واد نون ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خدمو عيون لكلام تصنيف جهة ݣلميم واد نون\n",
              "1  آسفي بالأمازيغية ⴰⵙⴼⵉ هي مدينة مغربية جات إقليم آسفي جهة مراكش آسفي آسفي معروفة بالفخار والحوت وخصوصا السردين ومكنيين عليها حاضرة المحيط الحطة ديال آسفي جات كاطل على المحيط الأطلسي بين الجديدة والصويرة في آسفي كاين بزاف دالبني لي قديم وتاريخي وهي من بين المدون القديمة في المغرب ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خد...\n",
              "2  آلبرخت دورر بالألمانية albrecht dürer ماي أبريل رسام صانع طباعة وم كاينتامي لعصر النهضة الألمانية تزاد في نورمبرݣ دورر أسس للسمعة والتأثير ديالو عبر أوروبا فالوقت اللي مازالا فالعشرينات من عمرو نتيجة لجودة نقوشاتو الخشبية كان فاتصال مع أكبر الفنانين الإيطاليين فالعصر ديالو بما فيهم رفائيل جيوڤاني بيليني وليوناردو دا ڤينتشي وابتداء من كان كي اخد الدعم من عند الإمبراطور ماكسيميليان الأول تم تشييع دورر فالكنيستين اللوثرية والأسقفية بجوج كتشمل مجموعة أعمال دورر الواسعة النقوش أسلوبو المفضل في طبعاتو الأخيرة الأعمال الفنية فالكنائس altarpieces پورتريهات پورتريهات ذاتية لوحات مائية وك النقوش الخ...\n",
              "3                                                                                                                                                                                    آمتدي جماعة ترابية قروية كاينة إقليم عمالة ݣلميم جهة ݣلميم واد نون ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خدمو عيون لكلام تصنيف جهة ݣلميم واد نون\n",
              "4                                                                                                                                                                                آنفݣ جماعة ترابية قروية كاينة إقليم عمالة سيدي إيفني جهة ݣلميم واد نون ساكنين فيها واحد على حسب لإحصاء لعام تعليم نسبة لأمية اس ما كايعرفوش يقراو ولا يكتبو نسبة كان قاريين فوق انوي تانوي جامعة اقتصاد نسبة اس شيطين يقدرو يخدمو نسبة لبطالة اس ما خدامينش تايقلبو على خدمة نسبة اس اللي خدامين ولة ولا لعاطلين اللي سبق ليهوم خدمو نسبة اس اللي خدامين في لقطاع لخاص ولا لعاطلين اللي سبق ليهوم خدمو عيون لكلام تصنيف جهة ݣلميم واد نون"
            ]
          },
          "metadata": {},
          "execution_count": 8
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 71
        },
        "id": "tLXupa8klOeg",
        "outputId": "753ff1df-c1ee-48a6-9917-756d76b93554"
      },
      "source": [
        "bs=128\n",
        "\n",
        "tok = SubwordTokenizer(cache_dir=spm_path, max_vocab_sz=1000)\n",
        "\n",
        "dls_lm = DataBlock(blocks=TextBlock.from_df('text', is_lm=True, tok=tok),\n",
        "                   splitter=RandomSplitter(0.1, seed=42),\n",
        "                   get_x=ColReader('text')\n",
        "                   ).dataloaders(df, bs=bs)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              ""
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              ""
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/numpy/core/_asarray.py:83: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray\n",
            "  return array(a, dtype, copy=False, order=order)\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1HZVfQA9nxdK"
      },
      "source": [
        "torch.save(dls_lm, dls_path/'dls_lm.pkl')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 337
        },
        "id": "VzAoCIz5rQ2d",
        "outputId": "065799b8-bd06-4541-fbe1-9aa2fffe010f"
      },
      "source": [
        "dls_lm.show_batch(max_n=6)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>text_</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>▁xxbos ▁ولا د ▁ع يس ى ▁جماع ة ▁ترابية ▁قرو ية ▁كاين ة ▁إقليم ▁عمال ة ▁ خر يب ݣ ة ▁جه ة ▁بني ▁ ملال ▁خنيفرة ▁ساكنين ▁فيها ▁واحد ▁عل ى ▁حسب ▁ل إحصاء ▁لعام ▁تعليم ▁نسبة ▁لأمي ة ▁اس ▁ما ▁كايعرفو ش ▁يقرا و ▁ولا ▁يكتب و ▁نسبة ▁كان ▁ قاريين ▁فوق ▁ انوي ▁تانوي ▁جامع ة ▁اقتصاد ▁نسبة ▁اس ▁شيط ين ▁ يقدرو ▁ يخدمو ▁نسبة ▁لبطال ة ▁اس</td>\n",
              "      <td>▁ولا د ▁ع يس ى ▁جماع ة ▁ترابية ▁قرو ية ▁كاين ة ▁إقليم ▁عمال ة ▁ خر يب ݣ ة ▁جه ة ▁بني ▁ ملال ▁خنيفرة ▁ساكنين ▁فيها ▁واحد ▁عل ى ▁حسب ▁ل إحصاء ▁لعام ▁تعليم ▁نسبة ▁لأمي ة ▁اس ▁ما ▁كايعرفو ش ▁يقرا و ▁ولا ▁يكتب و ▁نسبة ▁كان ▁ قاريين ▁فوق ▁ انوي ▁تانوي ▁جامع ة ▁اقتصاد ▁نسبة ▁اس ▁شيط ين ▁ يقدرو ▁ يخدمو ▁نسبة ▁لبطال ة ▁اس ▁ما</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>ة ▁كات قص ر ▁ف ـ ▁بو طو لا ▁ت أ س س ات ▁ف ـ ▁كت لعب ▁فال ت ير ان ▁ديال ▁ال ش ه يد ▁أ ح م د ▁ ش ك ري ▁اللي ▁كي ه ز ▁م ش ج ع ▁لم در يب ▁ديال ▁لفرق ة ▁هو ▁س ع يد ▁شي ب ة ▁د ات ▁هاد ▁ال فر ق ة ▁ لبو طو لا ▁لوطني ة ▁لح ت ير</td>\n",
              "      <td>▁كات قص ر ▁ف ـ ▁بو طو لا ▁ت أ س س ات ▁ف ـ ▁كت لعب ▁فال ت ير ان ▁ديال ▁ال ش ه يد ▁أ ح م د ▁ ش ك ري ▁اللي ▁كي ه ز ▁م ش ج ع ▁لم در يب ▁ديال ▁لفرق ة ▁هو ▁س ع يد ▁شي ب ة ▁د ات ▁هاد ▁ال فر ق ة ▁ لبو طو لا ▁لوطني ة ▁لح ت ير افي</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>ية ▁ ش اد ▁الشمال ▁الشرق ي ▁ديال ▁ؤ س طر الي ا ▁كان و ▁السكان ▁لأ ص لي ين ▁د ؤ س طر الي ا ▁ هوما ▁اللي ▁جا و ▁لي ها ▁ال لو لين ▁ما ب ين ▁هاد ي ▁ آ لف ▁عام ▁ول ▁ ات ▁من ▁بعد ▁تا بع ة ▁لل ت اج ▁دل م م ل ك ة ▁لم ت حد ة ▁من ▁مورا ▁مات فر ق ات</td>\n",
              "      <td>▁ ش اد ▁الشمال ▁الشرق ي ▁ديال ▁ؤ س طر الي ا ▁كان و ▁السكان ▁لأ ص لي ين ▁د ؤ س طر الي ا ▁ هوما ▁اللي ▁جا و ▁لي ها ▁ال لو لين ▁ما ب ين ▁هاد ي ▁ آ لف ▁عام ▁ول ▁ ات ▁من ▁بعد ▁تا بع ة ▁لل ت اج ▁دل م م ل ك ة ▁لم ت حد ة ▁من ▁مورا ▁مات فر ق ات ▁عل</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>ضر وري ▁ن ف س ▁لك و اي ري ▁ي كون ▁ح ار س ▁فال ت ير ات ▁الت ر جي ح ▁حتى ▁شي ▁كو اي ري ▁ما ع ند و ▁لح ق ▁ي ع ا ود ▁ت ير ▁ آ خ ور ▁حتى ▁ يد وز و ▁ صح اب و ▁كا م لين ▁وم ع ا هوم ▁لح ار س ▁فاش ▁كاي ول ▁ ضر وري ▁باش ▁لك و ا</td>\n",
              "      <td>وري ▁ن ف س ▁لك و اي ري ▁ي كون ▁ح ار س ▁فال ت ير ات ▁الت ر جي ح ▁حتى ▁شي ▁كو اي ري ▁ما ع ند و ▁لح ق ▁ي ع ا ود ▁ت ير ▁ آ خ ور ▁حتى ▁ يد وز و ▁ صح اب و ▁كا م لين ▁وم ع ا هوم ▁لح ار س ▁فاش ▁كاي ول ▁ ضر وري ▁باش ▁لك و ا ير</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>ي و اء ▁ وف اش ▁ال ل رض ▁اللي ▁كاي دو ز ▁من ها ▁خ ط ▁اللي ل ▁كات كون ▁م س ط ▁ح ة ▁م كا ين ين ش ▁ع و ا يق ▁بحال ▁ال ج ب ال ▁كات وصل ▁ال ز ر ب ة ▁ديال ▁هاد ▁لخ ط ▁م يت رو ▁فال ت اني ة ▁هاد ▁الس ر ع ة ▁ت قدر ▁ت ب ان ▁باللي ▁كات ز اد</td>\n",
              "      <td>و اء ▁ وف اش ▁ال ل رض ▁اللي ▁كاي دو ز ▁من ها ▁خ ط ▁اللي ل ▁كات كون ▁م س ط ▁ح ة ▁م كا ين ين ش ▁ع و ا يق ▁بحال ▁ال ج ب ال ▁كات وصل ▁ال ز ر ب ة ▁ديال ▁هاد ▁لخ ط ▁م يت رو ▁فال ت اني ة ▁هاد ▁الس ر ع ة ▁ت قدر ▁ت ب ان ▁باللي ▁كات ز اد ▁فاش</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>دا ▁هي ▁مدين ة ▁أ تر ية ▁ قد يم ة ▁بن ا و ها ▁لم ور ▁لأ ما زي غ ▁لق ر ن ▁تال ت ▁قبل ▁لم يل اد ▁كانت ▁عندها ▁عل اق ات ▁ت ج اري ة ▁معا ▁ قر طا ج ▁لم و ق ع ▁ديال ▁هاد ▁لمدين ة ▁كاين ▁ح دا ▁تطوان ▁غ ال با ▁بن ا و ها ▁كان ▁ديال ▁تا م و دا ▁ ها ج</td>\n",
              "      <td>▁هي ▁مدين ة ▁أ تر ية ▁ قد يم ة ▁بن ا و ها ▁لم ور ▁لأ ما زي غ ▁لق ر ن ▁تال ت ▁قبل ▁لم يل اد ▁كانت ▁عندها ▁عل اق ات ▁ت ج اري ة ▁معا ▁ قر طا ج ▁لم و ق ع ▁ديال ▁هاد ▁لمدين ة ▁كاين ▁ح دا ▁تطوان ▁غ ال با ▁بن ا و ها ▁كان ▁ديال ▁تا م و دا ▁ ها ج رو</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "kDTQsW548cIp"
      },
      "source": [
        "Special tokens in fastai start with letters xx, they are useful to help our model handle the shift from original text to our preprocessed text. For example, `xxunk` is used to replace the tokens that don't exist in our vocab, \n",
        "as it can be useful to help our model learn to deal with missing tokens."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DkQ_0RgCjReb",
        "outputId": "fc406ccc-2052-4085-ac9f-25f1660aef07"
      },
      "source": [
        "print(dls_lm.vocab[:20])"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "['xxunk', 'xxpad', 'xxbos', 'xxeos', 'xxfld', 'xxrep', 'xxwrep', 'xxup', 'xxmaj', '▁', 'ة', 'و', 'ا', '▁ل', '▁ال', 'ش', 'م', 'ت', 'ر', 'ل']\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wbFfdXaproHN"
      },
      "source": [
        "learn = language_model_learner(dls_lm, AWD_LSTM, \n",
        "    metrics=[accuracy, Perplexity()], pretrained=False)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ri2XjJyFEO74",
        "outputId": "f26645ae-2d06-45d8-ee52-3e4c207b5878"
      },
      "source": [
        "awd_lstm_lm_config"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "{'bidir': False,\n",
              " 'emb_sz': 400,\n",
              " 'embed_p': 0.02,\n",
              " 'hidden_p': 0.15,\n",
              " 'input_p': 0.25,\n",
              " 'n_hid': 1152,\n",
              " 'n_layers': 3,\n",
              " 'out_bias': True,\n",
              " 'output_p': 0.1,\n",
              " 'pad_token': 1,\n",
              " 'tie_weights': True,\n",
              " 'weight_p': 0.2}"
            ]
          },
          "metadata": {},
          "execution_count": 14
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        },
        "id": "fB4M1dl1sO7c",
        "outputId": "5d3da327-d63f-4386-e6e8-6f0e0a979c8a"
      },
      "source": [
        "learn.fit_one_cycle(n_epoch=50, lr_max=1e-2)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: left;\">\n",
              "      <th>epoch</th>\n",
              "      <th>train_loss</th>\n",
              "      <th>valid_loss</th>\n",
              "      <th>accuracy</th>\n",
              "      <th>perplexity</th>\n",
              "      <th>time</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <td>0</td>\n",
              "      <td>5.528187</td>\n",
              "      <td>5.505463</td>\n",
              "      <td>0.046693</td>\n",
              "      <td>246.032379</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>1</td>\n",
              "      <td>5.495099</td>\n",
              "      <td>5.506052</td>\n",
              "      <td>0.045627</td>\n",
              "      <td>246.177307</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>2</td>\n",
              "      <td>5.488939</td>\n",
              "      <td>5.501623</td>\n",
              "      <td>0.046768</td>\n",
              "      <td>245.089432</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>3</td>\n",
              "      <td>4.782646</td>\n",
              "      <td>4.250841</td>\n",
              "      <td>0.186230</td>\n",
              "      <td>70.164375</td>\n",
              "      <td>01:59</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>4</td>\n",
              "      <td>4.076362</td>\n",
              "      <td>3.835729</td>\n",
              "      <td>0.241025</td>\n",
              "      <td>46.327183</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>5</td>\n",
              "      <td>3.668439</td>\n",
              "      <td>3.374904</td>\n",
              "      <td>0.316879</td>\n",
              "      <td>29.221491</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>6</td>\n",
              "      <td>3.298805</td>\n",
              "      <td>3.059468</td>\n",
              "      <td>0.367283</td>\n",
              "      <td>21.316210</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>7</td>\n",
              "      <td>3.063714</td>\n",
              "      <td>2.873476</td>\n",
              "      <td>0.395741</td>\n",
              "      <td>17.698427</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>8</td>\n",
              "      <td>2.949825</td>\n",
              "      <td>2.784125</td>\n",
              "      <td>0.409532</td>\n",
              "      <td>16.185646</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>9</td>\n",
              "      <td>2.845166</td>\n",
              "      <td>2.724165</td>\n",
              "      <td>0.420498</td>\n",
              "      <td>15.243683</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>10</td>\n",
              "      <td>2.773011</td>\n",
              "      <td>2.686337</td>\n",
              "      <td>0.428064</td>\n",
              "      <td>14.677819</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>11</td>\n",
              "      <td>2.741193</td>\n",
              "      <td>2.665963</td>\n",
              "      <td>0.432767</td>\n",
              "      <td>14.381795</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>12</td>\n",
              "      <td>2.740459</td>\n",
              "      <td>2.649931</td>\n",
              "      <td>0.433677</td>\n",
              "      <td>14.153065</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>13</td>\n",
              "      <td>2.725673</td>\n",
              "      <td>2.635943</td>\n",
              "      <td>0.436692</td>\n",
              "      <td>13.956467</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>14</td>\n",
              "      <td>2.708586</td>\n",
              "      <td>2.642301</td>\n",
              "      <td>0.438698</td>\n",
              "      <td>14.045486</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>15</td>\n",
              "      <td>2.710972</td>\n",
              "      <td>2.630587</td>\n",
              "      <td>0.439956</td>\n",
              "      <td>13.881914</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>16</td>\n",
              "      <td>2.757403</td>\n",
              "      <td>2.678192</td>\n",
              "      <td>0.428659</td>\n",
              "      <td>14.558753</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>17</td>\n",
              "      <td>2.918368</td>\n",
              "      <td>2.754467</td>\n",
              "      <td>0.418183</td>\n",
              "      <td>15.712660</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>18</td>\n",
              "      <td>2.930027</td>\n",
              "      <td>2.746354</td>\n",
              "      <td>0.417352</td>\n",
              "      <td>15.585697</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>19</td>\n",
              "      <td>2.885770</td>\n",
              "      <td>2.689492</td>\n",
              "      <td>0.430251</td>\n",
              "      <td>14.724191</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>20</td>\n",
              "      <td>2.805384</td>\n",
              "      <td>2.642157</td>\n",
              "      <td>0.437033</td>\n",
              "      <td>14.043468</td>\n",
              "      <td>01:55</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>21</td>\n",
              "      <td>2.771782</td>\n",
              "      <td>2.617493</td>\n",
              "      <td>0.440252</td>\n",
              "      <td>13.701330</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>22</td>\n",
              "      <td>2.714803</td>\n",
              "      <td>2.595792</td>\n",
              "      <td>0.444498</td>\n",
              "      <td>13.407199</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>23</td>\n",
              "      <td>2.680437</td>\n",
              "      <td>2.586403</td>\n",
              "      <td>0.447881</td>\n",
              "      <td>13.281916</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>24</td>\n",
              "      <td>2.644892</td>\n",
              "      <td>2.561180</td>\n",
              "      <td>0.452129</td>\n",
              "      <td>12.951096</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>25</td>\n",
              "      <td>2.622041</td>\n",
              "      <td>2.540227</td>\n",
              "      <td>0.454829</td>\n",
              "      <td>12.682554</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>26</td>\n",
              "      <td>2.573398</td>\n",
              "      <td>2.532622</td>\n",
              "      <td>0.457261</td>\n",
              "      <td>12.586460</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>27</td>\n",
              "      <td>2.554965</td>\n",
              "      <td>2.511387</td>\n",
              "      <td>0.460941</td>\n",
              "      <td>12.322010</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>28</td>\n",
              "      <td>2.513654</td>\n",
              "      <td>2.500985</td>\n",
              "      <td>0.462652</td>\n",
              "      <td>12.194505</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>29</td>\n",
              "      <td>2.467665</td>\n",
              "      <td>2.484342</td>\n",
              "      <td>0.465488</td>\n",
              "      <td>11.993224</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>30</td>\n",
              "      <td>2.462642</td>\n",
              "      <td>2.477474</td>\n",
              "      <td>0.467435</td>\n",
              "      <td>11.911136</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>31</td>\n",
              "      <td>2.416355</td>\n",
              "      <td>2.460843</td>\n",
              "      <td>0.470561</td>\n",
              "      <td>11.714679</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>32</td>\n",
              "      <td>2.410231</td>\n",
              "      <td>2.454176</td>\n",
              "      <td>0.472454</td>\n",
              "      <td>11.636837</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>33</td>\n",
              "      <td>2.409426</td>\n",
              "      <td>2.444984</td>\n",
              "      <td>0.473057</td>\n",
              "      <td>11.530362</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>34</td>\n",
              "      <td>2.357192</td>\n",
              "      <td>2.437381</td>\n",
              "      <td>0.476810</td>\n",
              "      <td>11.443029</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>35</td>\n",
              "      <td>2.340918</td>\n",
              "      <td>2.429973</td>\n",
              "      <td>0.477103</td>\n",
              "      <td>11.358580</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>36</td>\n",
              "      <td>2.317602</td>\n",
              "      <td>2.423698</td>\n",
              "      <td>0.478942</td>\n",
              "      <td>11.287523</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>37</td>\n",
              "      <td>2.295532</td>\n",
              "      <td>2.417614</td>\n",
              "      <td>0.479717</td>\n",
              "      <td>11.219061</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>38</td>\n",
              "      <td>2.284240</td>\n",
              "      <td>2.414124</td>\n",
              "      <td>0.480679</td>\n",
              "      <td>11.179973</td>\n",
              "      <td>01:56</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>39</td>\n",
              "      <td>2.264202</td>\n",
              "      <td>2.409560</td>\n",
              "      <td>0.481040</td>\n",
              "      <td>11.129063</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>40</td>\n",
              "      <td>2.222356</td>\n",
              "      <td>2.407017</td>\n",
              "      <td>0.483260</td>\n",
              "      <td>11.100801</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>41</td>\n",
              "      <td>2.233498</td>\n",
              "      <td>2.403986</td>\n",
              "      <td>0.483231</td>\n",
              "      <td>11.067207</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>42</td>\n",
              "      <td>2.220215</td>\n",
              "      <td>2.403891</td>\n",
              "      <td>0.483692</td>\n",
              "      <td>11.066152</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>43</td>\n",
              "      <td>2.175970</td>\n",
              "      <td>2.403565</td>\n",
              "      <td>0.484174</td>\n",
              "      <td>11.062549</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>44</td>\n",
              "      <td>2.203487</td>\n",
              "      <td>2.400622</td>\n",
              "      <td>0.484964</td>\n",
              "      <td>11.030031</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>45</td>\n",
              "      <td>2.203783</td>\n",
              "      <td>2.400213</td>\n",
              "      <td>0.484958</td>\n",
              "      <td>11.025524</td>\n",
              "      <td>01:58</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>46</td>\n",
              "      <td>2.192977</td>\n",
              "      <td>2.398890</td>\n",
              "      <td>0.484919</td>\n",
              "      <td>11.010950</td>\n",
              "      <td>01:59</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>47</td>\n",
              "      <td>2.180369</td>\n",
              "      <td>2.399050</td>\n",
              "      <td>0.485146</td>\n",
              "      <td>11.012710</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>48</td>\n",
              "      <td>2.164292</td>\n",
              "      <td>2.399042</td>\n",
              "      <td>0.485135</td>\n",
              "      <td>11.012617</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <td>49</td>\n",
              "      <td>2.179979</td>\n",
              "      <td>2.398997</td>\n",
              "      <td>0.485267</td>\n",
              "      <td>11.012121</td>\n",
              "      <td>01:57</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 163
        },
        "id": "xqOIUMc8zlmH",
        "outputId": "29679cbc-9e9a-40c1-d9b5-c9d11240d926"
      },
      "source": [
        "learn.save(model_path/'darija_lm')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "error",
          "ename": "NameError",
          "evalue": "ignored",
          "traceback": [
            "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
            "\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)",
            "\u001b[0;32m<ipython-input-1-466a07192511>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mlearn\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msave\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmodel_path\u001b[0m\u001b[0;34m/\u001b[0m\u001b[0;34m'darija_lm'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
            "\u001b[0;31mNameError\u001b[0m: name 'learn' is not defined"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1tJgN5iEydQI"
      },
      "source": [
        "def decoder(sentence):\n",
        "  s = ''.join(sentence)\n",
        "  return s.split('▁')"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 17
        },
        "id": "a5loWMA9IGPL",
        "outputId": "8dff8d59-c674-4389-da6c-0d13be72002f"
      },
      "source": [
        "text = 'رسام صانع طباعة'\n",
        "n_toks = 100\n",
        "n_sentences = 2\n",
        "preds = [learn.predict(text, n_toks, temperature=0.75, decoder=decoder)\n",
        "        for _ in range(n_sentences)]"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              ""
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              ""
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6Hin4_AAuZaM",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "b761b576-d408-433f-9687-d18c4ce39ff9"
      },
      "source": [
        "preds"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[' xxbos رسام صانع طباعة كبار كلوب وكيفاش ربحات لمريض ديال لملحون لفيلم ديال ميدلت تزاد عام لقبيلة أبريل كان كاتب مكسيك بوكوس اني كان هو هذا نهار دوايات تسمات حيزب واحد رموز ديال مينال ضد لبوطولة لي كاتهبط لملك محمد ساد',\n",
              " ' xxbos رسام صانع طباعة صدرات ديال لكوميديا پريمو جيري نوپنز أرنج هاريمي ماري سيكو هو أكبر عدد ديال الناس من الناحية التسعينات الجينيرالية الجوامع اللي فيها بزاف ديال الناس فعام ديال التعليم والتلت واللي دارو بزاف دلمنشيدات لموغمارية اللي عندها ف']"
            ]
          },
          "metadata": {},
          "execution_count": 19
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 17
        },
        "id": "b2VpwtH5ITiZ",
        "outputId": "ca0440bc-87eb-4d70-b021-1fc12a6a90ed"
      },
      "source": [
        "text = 'رسام صانع طباعة'\n",
        "n_toks = 100\n",
        "n_sentences = 2\n",
        "preds = [learn.predict(text, n_toks, temperature=0.75)\n",
        "        for _ in range(n_sentences)]"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              ""
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/html": [
              ""
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "1yOeIWamJEqk",
        "outputId": "6d32b681-238e-428a-9bf2-ee3be51060a3"
      },
      "source": [
        "preds"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['▁xxbos ▁ ر س ام ▁ ص ان ع ▁ط ب اع ة ▁م ك ع ب ة ▁ت م ▁ ك ل ▁ سم يت و ▁لع ما لق ة ▁م ق اط ع ة ▁م وري طان ية ▁ت ز اد ت ▁عام ▁ ج زي ر ة ▁يو ني و ▁معروف ة ▁بال ش ع ر ية ▁ديال ▁ت ور ة ▁ديال ▁ ص غ ر ها ▁ يت ز اد ▁وت أ س س ات ▁هي ▁ق نا ة ▁ ش ع بي ة ▁ پ ور ت ▁ ري ت ش ار د ▁جو ن ▁بن ▁أ ح م د ▁في ▁ ض هر ▁واحد ▁من ▁ خد',\n",
              " '▁xxbos ▁ ر س ام ▁ ص ان ع ▁ط ب اع ة ▁كت ر ▁من ▁م ليون ▁واحد ▁كاي ت م يز ▁أو لي پ ▁ ين و ية ▁لك ات يب ▁ح ض ة ▁كبير ة ▁بزاف ▁لب دي ة ▁لق ص ة ▁ديال ▁ ض و ▁الن قل ▁الس ع ود ية ▁بين ما ▁ ست ة ▁د ال ن ها ر ▁م لف ▁jp g ▁ت ص غ ير ▁ب ك ▁ ص غ ير ة ▁فال ت اري خ ▁ال ث اني ▁أ ما زي غ ي ▁ديال ▁ ش م ال ▁د ال م ص ا دير ▁ v i e w ▁ b ar b la']"
            ]
          },
          "metadata": {},
          "execution_count": 21
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZZsBxVGcMpzN"
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": []
    }
  ]
}