urdu_sentiment_analysis.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "4bfc3a98",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "1dfa5c88",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین 😎</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>`` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                           urdu_text  is_sarcastic  \\\n",
       "0  🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...           1.0   \n",
       "1  چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2  کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0   \n",
       "3                                       نہیں پائین 😎           0.0   \n",
       "4   `` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...           1.0   \n",
       "\n",
       "   Unnamed: 2  Unnamed: 3  Unnamed: 4  Unnamed: 5 Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "1         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "2         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "3         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "4         NaN         NaN         NaN         NaN        NaN         NaN  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#Dataset\n",
    "\n",
    "df = pd.read_csv('urdu_sarcastic_dataset.csv',header=0)\n",
    "\n",
    "#the NaN are there because there are consecutive commas\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "99420071",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>20055</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20056</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20057</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20058</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20059</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      urdu_text  is_sarcastic  Unnamed: 2  Unnamed: 3  Unnamed: 4  Unnamed: 5  \\\n",
       "20055       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20056       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20057       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20058       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20059       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "\n",
       "      Unnamed: 6  Unnamed: 7  \n",
       "20055        NaN         NaN  \n",
       "20056        NaN         NaN  \n",
       "20057        NaN         NaN  \n",
       "20058        NaN         NaN  \n",
       "20059        NaN         NaN  "
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d139084d",
   "metadata": {},
   "source": [
    "# Data Cleaning"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "0df88862",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>20004</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20005</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20006</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20007</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20008</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20009</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20010</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20011</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20012</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20013</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20014</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20015</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20016</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20017</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20018</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20019</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20020</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20021</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20022</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20023</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20024</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20025</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20026</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20027</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20028</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20029</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20030</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20031</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20032</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20033</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20034</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20035</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20036</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20037</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20038</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20039</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20040</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20041</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20042</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20043</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20044</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20045</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20046</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20047</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20048</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20049</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20050</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20051</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20052</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20053</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20054</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20055</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20056</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20057</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20058</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20059</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      urdu_text  is_sarcastic  Unnamed: 2  Unnamed: 3  Unnamed: 4  Unnamed: 5  \\\n",
       "20004       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20005       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20006       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20007       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20008       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20009       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20010       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20011       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20012       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20013       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20014       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20015       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20016       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20017       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20018       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20019       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20020       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20021       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20022       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20023       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20024       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20025       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20026       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20027       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20028       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20029       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20030       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20031       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20032       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20033       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20034       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20035       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20036       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20037       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20038       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20039       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20040       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20041       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20042       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20043       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20044       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20045       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20046       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20047       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20048       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20049       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20050       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20051       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20052       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20053       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20054       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20055       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20056       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20057       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20058       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "20059       NaN           NaN         NaN         NaN         NaN         NaN   \n",
       "\n",
       "      Unnamed: 6  Unnamed: 7  \n",
       "20004        NaN         NaN  \n",
       "20005        NaN         NaN  \n",
       "20006        NaN         NaN  \n",
       "20007        NaN         NaN  \n",
       "20008        NaN         NaN  \n",
       "20009        NaN         NaN  \n",
       "20010        NaN         NaN  \n",
       "20011        NaN         NaN  \n",
       "20012        NaN         NaN  \n",
       "20013        NaN         NaN  \n",
       "20014        NaN         NaN  \n",
       "20015        NaN         NaN  \n",
       "20016        NaN         NaN  \n",
       "20017        NaN         NaN  \n",
       "20018        NaN         NaN  \n",
       "20019        NaN         NaN  \n",
       "20020        NaN         NaN  \n",
       "20021        NaN         NaN  \n",
       "20022        NaN         NaN  \n",
       "20023        NaN         NaN  \n",
       "20024        NaN         NaN  \n",
       "20025        NaN         NaN  \n",
       "20026        NaN         NaN  \n",
       "20027        NaN         NaN  \n",
       "20028        NaN         NaN  \n",
       "20029        NaN         NaN  \n",
       "20030        NaN         NaN  \n",
       "20031        NaN         NaN  \n",
       "20032        NaN         NaN  \n",
       "20033        NaN         NaN  \n",
       "20034        NaN         NaN  \n",
       "20035        NaN         NaN  \n",
       "20036        NaN         NaN  \n",
       "20037        NaN         NaN  \n",
       "20038        NaN         NaN  \n",
       "20039        NaN         NaN  \n",
       "20040        NaN         NaN  \n",
       "20041        NaN         NaN  \n",
       "20042        NaN         NaN  \n",
       "20043        NaN         NaN  \n",
       "20044        NaN         NaN  \n",
       "20045        NaN         NaN  \n",
       "20046        NaN         NaN  \n",
       "20047        NaN         NaN  \n",
       "20048        NaN         NaN  \n",
       "20049        NaN         NaN  \n",
       "20050        NaN         NaN  \n",
       "20051        NaN         NaN  \n",
       "20052        NaN         NaN  \n",
       "20053        NaN         NaN  \n",
       "20054        NaN         NaN  \n",
       "20055        NaN         NaN  \n",
       "20056        NaN         NaN  \n",
       "20057        NaN         NaN  \n",
       "20058        NaN         NaN  \n",
       "20059        NaN         NaN  "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#see if there are any rows which have all comlumns as NaN\n",
    "empty_rows = df.isna().all(axis=1)\n",
    "\n",
    "#Display the rows that are completely empty\n",
    "empty_records = df[empty_rows]\n",
    "\n",
    "empty_records"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "bc0a9297",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "Empty DataFrame\n",
       "Columns: [urdu_text, is_sarcastic, Unnamed: 2, Unnamed: 3, Unnamed: 4, Unnamed: 5, Unnamed: 6, Unnamed: 7]\n",
       "Index: []"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#dropping all these rows\n",
    "\n",
    "df = df.dropna(how='all')\n",
    "\n",
    "empty_records = df.isna().all(axis=1)\n",
    "\n",
    "#we can see all those rows are dropped\n",
    "df[empty_records]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "f0021bd4",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین 😎</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>`` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                           urdu_text  is_sarcastic  \\\n",
       "0  🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...           1.0   \n",
       "1  چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2  کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0   \n",
       "3                                       نہیں پائین 😎           0.0   \n",
       "4   `` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...           1.0   \n",
       "\n",
       "   Unnamed: 2  Unnamed: 3  Unnamed: 4  Unnamed: 5 Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "1         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "2         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "3         NaN         NaN         NaN         NaN        NaN         NaN  \n",
       "4         NaN         NaN         NaN         NaN        NaN         NaN  "
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "a4385a95",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>20004.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>38.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>0.500050</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0.526316</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>0.500012</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0.506009</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       is_sarcastic  Unnamed: 2  Unnamed: 3  Unnamed: 4  Unnamed: 5  \\\n",
       "count  20004.000000         0.0         0.0         0.0         0.0   \n",
       "mean       0.500050         NaN         NaN         NaN         NaN   \n",
       "std        0.500012         NaN         NaN         NaN         NaN   \n",
       "min        0.000000         NaN         NaN         NaN         NaN   \n",
       "25%        0.000000         NaN         NaN         NaN         NaN   \n",
       "50%        1.000000         NaN         NaN         NaN         NaN   \n",
       "75%        1.000000         NaN         NaN         NaN         NaN   \n",
       "max        1.000000         NaN         NaN         NaN         NaN   \n",
       "\n",
       "       Unnamed: 7  \n",
       "count   38.000000  \n",
       "mean     0.526316  \n",
       "std      0.506009  \n",
       "min      0.000000  \n",
       "25%      0.000000  \n",
       "50%      1.000000  \n",
       "75%      1.000000  \n",
       "max      1.000000  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "87dfdfc3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>count</th>\n",
       "      <td>20004.000000</td>\n",
       "      <td>38.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>mean</th>\n",
       "      <td>0.500050</td>\n",
       "      <td>0.526316</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>std</th>\n",
       "      <td>0.500012</td>\n",
       "      <td>0.506009</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>min</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25%</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>50%</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75%</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>max</th>\n",
       "      <td>1.000000</td>\n",
       "      <td>1.000000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       is_sarcastic  Unnamed: 7\n",
       "count  20004.000000   38.000000\n",
       "mean       0.500050    0.526316\n",
       "std        0.500012    0.506009\n",
       "min        0.000000    0.000000\n",
       "25%        0.000000    0.000000\n",
       "50%        1.000000    1.000000\n",
       "75%        1.000000    1.000000\n",
       "max        1.000000    1.000000"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#dropping all the cols containing all NaN only\n",
    "\n",
    "df = df.dropna(axis=1,how='all')\n",
    "\n",
    "df.describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "f8db1c16",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین 😎</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>`` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                           urdu_text  is_sarcastic Unnamed: 6  \\\n",
       "0  🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...           1.0        NaN   \n",
       "1  چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0        NaN   \n",
       "2  کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0        NaN   \n",
       "3                                       نہیں پائین 😎           0.0        NaN   \n",
       "4   `` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...           1.0        NaN   \n",
       "\n",
       "   Unnamed: 7  \n",
       "0         NaN  \n",
       "1         NaN  \n",
       "2         NaN  \n",
       "3         NaN  \n",
       "4         NaN  "
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "62dd3136",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "Empty DataFrame\n",
       "Columns: [urdu_text, is_sarcastic, Unnamed: 6, Unnamed: 7]\n",
       "Index: []"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Drop rows where the first column contains NaN values\n",
    "df = df.dropna(subset= [df.columns[0]])\n",
    "\n",
    "df[df.isna().all(axis=1)]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3cea7fa9",
   "metadata": {},
   "source": [
    "# Phase 1: Text Preprocessing"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "62e05205",
   "metadata": {},
   "source": [
    "removing stopwords"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "06188ef9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "count                                                 19955\n",
       "unique                                                15813\n",
       "top       جزاک اللہ 🍃🌸🍃 ہمیشہ خوش رہے ۔اللہ تعالٰی ساری ...\n",
       "freq                                                     42\n",
       "Name: urdu_text, dtype: object"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['urdu_text'].describe()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5d8f491d",
   "metadata": {},
   "source": [
    "# Punctuation,emojis and URL Removal"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "55066f2f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'!\"#$%&\\'()*+,-./:;<=>?@[\\\\]^_`{|}~'"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import string\n",
    "string.punctuation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "2ffe9855",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین 😎</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>`` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں 💔🔥</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں کو تھکا دیتا ہے سوچوں کا سفر بھی ... 🍁🥀</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد میر صاحب ویلڈن👏😊</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے😂😂 ت...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے 😂😂😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>تسی لڑاںٔی کروانی ساڈی کی 😂😂😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبارہ فالو کرئیے..؟؟😆🙄</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی ہے الو دوسو روپے درجن کدو 80روپے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>😍عشق جب تم کو راس آۓ گا 💔زخم کھاٶ گے 😊مُسکراٶ گے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہی ہوتا 😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتم_النبیین_محمدﷺ Surat 73 سورة المزمل Ayt 20...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی چیف کا نوٹس۔ اب مجرم اپنے جرائیم پر خود ن...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی دیا بچیا،تیری عزت کیتی اے،تیری قدر کیتی ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>فوج سیاست سے دور رہے۔ بلاول زرداری فوج کراچی و...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی 😍جیتی رہ 😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>یہ ووٹ کی بجائے ووٹر کو عزّت دیں ✌️</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>2004 میں ایک نشئی نے کہا تھا کہ ... .. اگر اسٹ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>تو رہنے دے پھر 😂😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>وھ کوئی بھی ھو بیشک میں ھے ھو وہ 🐕 کیمنا حرام ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین ثمہ آمین 😍</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھے دی کھوتی وتھے آ کھلوتی 😜😜😜</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب بات کی کامران خان صاحب نے۔ پنگا بھی ان سے...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>گڈ ناٸیٹ😁</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے 😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>آپ دلہن کی پھپھو ہیں میری نہیں 😏😏😂🤣🤣🤣</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ 😂😂😂😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی ۔۔اور بلو رانی کے ذلیل ہونے کا وقت ہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ دیکھو کس کی ہے 😂😂😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھے تے سب ہی جج نے۔۔۔😂😂😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا 😂😂🙏🙏🙏🙏 لگدا اے...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>سنا تھا 1 اکیلا ہوتا ہے اور ساتھ 1 ہو تو 11 گ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0   🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...           1.0   \n",
       "1   چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2   کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0   \n",
       "3                                        نہیں پائین 😎           0.0   \n",
       "4    `` مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی...           1.0   \n",
       "5         قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں 💔🔥           1.0   \n",
       "6       انساں کو تھکا دیتا ہے سوچوں کا سفر بھی ... 🍁🥀           0.0   \n",
       "7                               حامد میر صاحب ویلڈن👏😊           0.0   \n",
       "8   یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے😂😂 ت...           1.0   \n",
       "9            یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے 😂😂😂           1.0   \n",
       "10                      تسی لڑاںٔی کروانی ساڈی کی 😂😂😂           0.0   \n",
       "11                       پائن دوبارہ فالو کرئیے..؟؟😆🙄           0.0   \n",
       "12  کتنی مہنگائی ہے الو دوسو روپے درجن کدو 80روپے ...           1.0   \n",
       "13   😍عشق جب تم کو راس آۓ گا 💔زخم کھاٶ گے 😊مُسکراٶ گے           1.0   \n",
       "14                                چونا ایسا ہی ہوتا 😂           0.0   \n",
       "15  خاتم_النبیین_محمدﷺ Surat 73 سورة المزمل Ayt 20...           0.0   \n",
       "16  اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...           1.0   \n",
       "17  پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...           1.0   \n",
       "18  اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...           0.0   \n",
       "19  آرمی چیف کا نوٹس۔ اب مجرم اپنے جرائیم پر خود ن...           0.0   \n",
       "20  کھوتی دیا بچیا،تیری عزت کیتی اے،تیری قدر کیتی ...           1.0   \n",
       "21  فوج سیاست سے دور رہے۔ بلاول زرداری فوج کراچی و...           1.0   \n",
       "22                              شکریہ لڑکی 😍جیتی رہ 😂           0.0   \n",
       "23   صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...           0.0   \n",
       "24                یہ ووٹ کی بجائے ووٹر کو عزّت دیں ✌️           1.0   \n",
       "25  2004 میں ایک نشئی نے کہا تھا کہ ... .. اگر اسٹ...           1.0   \n",
       "26  مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...           0.0   \n",
       "27   میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...           0.0   \n",
       "28                                  تو رہنے دے پھر 😂😂           1.0   \n",
       "29  وھ کوئی بھی ھو بیشک میں ھے ھو وہ 🐕 کیمنا حرام ...           1.0   \n",
       "30   میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...           0.0   \n",
       "31                                    آمین ثمہ آمین 😍           0.0   \n",
       "32                   جیتھے دی کھوتی وتھے آ کھلوتی 😜😜😜           1.0   \n",
       "33  یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...           1.0   \n",
       "34  عجیب بات کی کامران خان صاحب نے۔ پنگا بھی ان سے...           0.0   \n",
       "35                                          گڈ ناٸیٹ😁           0.0   \n",
       "36  دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...           1.0   \n",
       "37    ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے 😂           1.0   \n",
       "38              آپ دلہن کی پھپھو ہیں میری نہیں 😏😏😂🤣🤣🤣           0.0   \n",
       "39        ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ 😂😂😂😂           0.0   \n",
       "40  میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...           1.0   \n",
       "41  قطری نانی ۔۔اور بلو رانی کے ذلیل ہونے کا وقت ہ...           1.0   \n",
       "42  اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...           0.0   \n",
       "43                  موٹی چڑیل ٹویٹ دیکھو کس کی ہے 😂😂😂           0.0   \n",
       "44                         ایتھے تے سب ہی جج نے۔۔۔😂😂😂           1.0   \n",
       "45  اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...           1.0   \n",
       "46  ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا 😂😂🙏🙏🙏🙏 لگدا اے...           0.0   \n",
       "48  ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...           1.0   \n",
       "49   سنا تھا 1 اکیلا ہوتا ہے اور ساتھ 1 ہو تو 11 گ...           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def remove_urls(text):\n",
    "    pattern = re.compile(r'https?://\\S+|www\\.\\S+')\n",
    "    return pattern.sub(r'', text)\n",
    "\n",
    "df['urdu_text'] = df['urdu_text'].apply(remove_urls)\n",
    "\n",
    "df.head(50)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "5afaa2f3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین 😎</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی ت...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں 💔🔥</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں کو تھکا دیتا ہے سوچوں کا سفر بھی  🍁🥀</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد میر صاحب ویلڈن👏😊</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے😂😂 ت...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے 😂😂😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>تسی لڑاںٔی کروانی ساڈی کی 😂😂😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبارہ فالو کرئیے😆🙄</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی ہے الو دوسو روپے درجن کدو 80روپے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>😍عشق جب تم کو راس آۓ گا 💔زخم کھاٶ گے 😊مُسکراٶ گے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہی ہوتا 😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat 73 سورة المزمل Ayt 20 ح...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی چیف کا نوٹس اب مجرم اپنے جرائیم پر خود نو...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>فوج سیاست سے دور رہے بلاول زرداری فوج کراچی وا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی 😍جیتی رہ 😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>یہ ووٹ کی بجائے ووٹر کو عزّت دیں ✌️</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>2004 میں ایک نشئی نے کہا تھا کہ   اگر اسٹیبلشم...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>تو رہنے دے پھر 😂😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>وھ کوئی بھی ھو بیشک میں ھے ھو وہ 🐕 کیمنا حرام ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین ثمہ آمین 😍</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھے دی کھوتی وتھے آ کھلوتی 😜😜😜</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب بات کی کامران خان صاحب نے پنگا بھی ان سے ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>گڈ ناٸیٹ😁</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے 😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>آپ دلہن کی پھپھو ہیں میری نہیں 😏😏😂🤣🤣🤣</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ 😂😂😂😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی اور بلو رانی کے ذلیل ہونے کا وقت ہوا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ دیکھو کس کی ہے 😂😂😂</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھے تے سب ہی جج نے😂😂😂</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا 😂😂🙏🙏🙏🙏 لگدا اے...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>سنا تھا 1 اکیلا ہوتا ہے اور ساتھ 1 ہو تو 11 گ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0   🤣😂😂 ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہ...           1.0   \n",
       "1   چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2   کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0   \n",
       "3                                        نہیں پائین 😎           0.0   \n",
       "4     مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی ت...           1.0   \n",
       "5         قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں 💔🔥           1.0   \n",
       "6          انساں کو تھکا دیتا ہے سوچوں کا سفر بھی  🍁🥀           0.0   \n",
       "7                               حامد میر صاحب ویلڈن👏😊           0.0   \n",
       "8   یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے😂😂 ت...           1.0   \n",
       "9            یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے 😂😂😂           1.0   \n",
       "10                      تسی لڑاںٔی کروانی ساڈی کی 😂😂😂           0.0   \n",
       "11                           پائن دوبارہ فالو کرئیے😆🙄           0.0   \n",
       "12  کتنی مہنگائی ہے الو دوسو روپے درجن کدو 80روپے ...           1.0   \n",
       "13   😍عشق جب تم کو راس آۓ گا 💔زخم کھاٶ گے 😊مُسکراٶ گے           1.0   \n",
       "14                                چونا ایسا ہی ہوتا 😂           0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat 73 سورة المزمل Ayt 20 ح...           0.0   \n",
       "16  اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...           1.0   \n",
       "17  پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...           1.0   \n",
       "18  اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...           0.0   \n",
       "19  آرمی چیف کا نوٹس اب مجرم اپنے جرائیم پر خود نو...           0.0   \n",
       "20  کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...           1.0   \n",
       "21  فوج سیاست سے دور رہے بلاول زرداری فوج کراچی وا...           1.0   \n",
       "22                              شکریہ لڑکی 😍جیتی رہ 😂           0.0   \n",
       "23   صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...           0.0   \n",
       "24                یہ ووٹ کی بجائے ووٹر کو عزّت دیں ✌️           1.0   \n",
       "25  2004 میں ایک نشئی نے کہا تھا کہ   اگر اسٹیبلشم...           1.0   \n",
       "26  مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...           0.0   \n",
       "27   میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...           0.0   \n",
       "28                                  تو رہنے دے پھر 😂😂           1.0   \n",
       "29  وھ کوئی بھی ھو بیشک میں ھے ھو وہ 🐕 کیمنا حرام ...           1.0   \n",
       "30   میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...           0.0   \n",
       "31                                    آمین ثمہ آمین 😍           0.0   \n",
       "32                   جیتھے دی کھوتی وتھے آ کھلوتی 😜😜😜           1.0   \n",
       "33  یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...           1.0   \n",
       "34  عجیب بات کی کامران خان صاحب نے پنگا بھی ان سے ...           0.0   \n",
       "35                                          گڈ ناٸیٹ😁           0.0   \n",
       "36  دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...           1.0   \n",
       "37    ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے 😂           1.0   \n",
       "38              آپ دلہن کی پھپھو ہیں میری نہیں 😏😏😂🤣🤣🤣           0.0   \n",
       "39        ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ 😂😂😂😂           0.0   \n",
       "40  میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...           1.0   \n",
       "41  قطری نانی اور بلو رانی کے ذلیل ہونے کا وقت ہوا...           1.0   \n",
       "42  اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...           0.0   \n",
       "43                  موٹی چڑیل ٹویٹ دیکھو کس کی ہے 😂😂😂           0.0   \n",
       "44                            ایتھے تے سب ہی جج نے😂😂😂           1.0   \n",
       "45  اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...           1.0   \n",
       "46  ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا 😂😂🙏🙏🙏🙏 لگدا اے...           0.0   \n",
       "48  ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...           1.0   \n",
       "49   سنا تھا 1 اکیلا ہوتا ہے اور ساتھ 1 ہو تو 11 گ...           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def remove_punc(text):\n",
    "    punctuation_marks = \"!\\\"#$%&\\'()*+,-./:;<=>?@[\\\\]^_`{|}~۔۔۔؟…،\"\n",
    "    return text.translate(str.maketrans('', '', punctuation_marks))\n",
    "\n",
    "\n",
    "\n",
    "df['urdu_text'] = df['urdu_text'].apply(remove_punc)\n",
    "\n",
    "df.head(50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "21a80fc9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہیں ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی ت...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں کو تھکا دیتا ہے سوچوں کا سفر بھی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد میر صاحب ویلڈن</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے تسی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>تسی لڑاںٔی کروانی ساڈی کی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبارہ فالو کرئیے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی ہے الو دوسو روپے درجن کدو 80روپے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>عشق جب تم کو راس آۓ گا زخم کھاٶ گے مُسکراٶ گے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہی ہوتا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat 73 سورة المزمل Ayt 20 ح...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی چیف کا نوٹس اب مجرم اپنے جرائیم پر خود نو...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>فوج سیاست سے دور رہے بلاول زرداری فوج کراچی وا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی جیتی رہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>یہ ووٹ کی بجائے ووٹر کو عزّت دیں ️</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>2004 میں ایک نشئی نے کہا تھا کہ   اگر اسٹیبلشم...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>تو رہنے دے پھر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>وھ کوئی بھی ھو بیشک میں ھے ھو وہ  کیمنا حرام ز...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین ثمہ آمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھے دی کھوتی وتھے آ کھلوتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب بات کی کامران خان صاحب نے پنگا بھی ان سے ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>گڈ ناٸیٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>آپ دلہن کی پھپھو ہیں میری نہیں</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی اور بلو رانی کے ذلیل ہونے کا وقت ہوا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ دیکھو کس کی ہے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھے تے سب ہی جج نے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا  لگدا اے مینوں...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>سنا تھا 1 اکیلا ہوتا ہے اور ساتھ 1 ہو تو 11 گ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0    ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہیں ...           1.0   \n",
       "1   چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2   کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0   \n",
       "3                                         نہیں پائین            0.0   \n",
       "4     مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی ت...           1.0   \n",
       "5           قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں            1.0   \n",
       "6            انساں کو تھکا دیتا ہے سوچوں کا سفر بھی             0.0   \n",
       "7                                 حامد میر صاحب ویلڈن           0.0   \n",
       "8   یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے تسی...           1.0   \n",
       "9               یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے            1.0   \n",
       "10                         تسی لڑاںٔی کروانی ساڈی کی            0.0   \n",
       "11                             پائن دوبارہ فالو کرئیے           0.0   \n",
       "12  کتنی مہنگائی ہے الو دوسو روپے درجن کدو 80روپے ...           1.0   \n",
       "13      عشق جب تم کو راس آۓ گا زخم کھاٶ گے مُسکراٶ گے           1.0   \n",
       "14                                 چونا ایسا ہی ہوتا            0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat 73 سورة المزمل Ayt 20 ح...           0.0   \n",
       "16  اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...           1.0   \n",
       "17  پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...           1.0   \n",
       "18  اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...           0.0   \n",
       "19  آرمی چیف کا نوٹس اب مجرم اپنے جرائیم پر خود نو...           0.0   \n",
       "20  کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...           1.0   \n",
       "21  فوج سیاست سے دور رہے بلاول زرداری فوج کراچی وا...           1.0   \n",
       "22                                شکریہ لڑکی جیتی رہ            0.0   \n",
       "23   صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...           0.0   \n",
       "24                 یہ ووٹ کی بجائے ووٹر کو عزّت دیں ️           1.0   \n",
       "25  2004 میں ایک نشئی نے کہا تھا کہ   اگر اسٹیبلشم...           1.0   \n",
       "26  مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...           0.0   \n",
       "27   میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...           0.0   \n",
       "28                                    تو رہنے دے پھر            1.0   \n",
       "29  وھ کوئی بھی ھو بیشک میں ھے ھو وہ  کیمنا حرام ز...           1.0   \n",
       "30   میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...           0.0   \n",
       "31                                     آمین ثمہ آمین            0.0   \n",
       "32                      جیتھے دی کھوتی وتھے آ کھلوتی            1.0   \n",
       "33  یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...           1.0   \n",
       "34  عجیب بات کی کامران خان صاحب نے پنگا بھی ان سے ...           0.0   \n",
       "35                                           گڈ ناٸیٹ           0.0   \n",
       "36  دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...           1.0   \n",
       "37     ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے            1.0   \n",
       "38                    آپ دلہن کی پھپھو ہیں میری نہیں            0.0   \n",
       "39            ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ            0.0   \n",
       "40  میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...           1.0   \n",
       "41  قطری نانی اور بلو رانی کے ذلیل ہونے کا وقت ہوا...           1.0   \n",
       "42  اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...           0.0   \n",
       "43                     موٹی چڑیل ٹویٹ دیکھو کس کی ہے            0.0   \n",
       "44                               ایتھے تے سب ہی جج نے           1.0   \n",
       "45  اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...           1.0   \n",
       "46  ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا  لگدا اے مینوں...           0.0   \n",
       "48  ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...           1.0   \n",
       "49   سنا تھا 1 اکیلا ہوتا ہے اور ساتھ 1 ہو تو 11 گ...           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "def remove_emoji(text):\n",
    "    emoji_pattern = re.compile(\n",
    "        \"[\"\n",
    "        u\"\\U0001F600-\\U0001F64F\"  # emoticons\n",
    "        u\"\\U0001F300-\\U0001F5FF\"  # symbols & pictographs\n",
    "        u\"\\U0001F680-\\U0001F6FF\"  # transport & map symbols\n",
    "        u\"\\U0001F1E0-\\U0001F1FF\"  # flags (iOS)\n",
    "        u\"\\U00002500-\\U00002BEF\"  # Chinese characters\n",
    "        u\"\\U00002702-\\U000027B0\"  # dingbats\n",
    "        u\"\\U00002702-\\U000027B0\"  # miscellaneous symbols\n",
    "        u\"\\U0001F900-\\U0001F9FF\"  # supplemental symbols and pictographs\n",
    "        u\"\\U0001FA70-\\U0001FAFF\"  # symbols and pictographs extended-A\n",
    "        u\"\\U00002600-\\U000026FF\"  # miscellaneous symbols\n",
    "        u\"\\U0001F018-\\U0001F270\"  # various emoji\n",
    "        u\"\\U0001F1E6-\\U0001F1FF\"  # flags\n",
    "        \"]+\", flags=re.UNICODE\n",
    "    )\n",
    "    return emoji_pattern.sub(r'', text)\n",
    "\n",
    "\n",
    "\n",
    "df['urdu_text'] = df['urdu_text'].apply(remove_emoji)\n",
    "\n",
    "df.head(50)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f340521e",
   "metadata": {},
   "source": [
    "# Remove Digits"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "7bbeadca",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہیں ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی ت...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں کو تھکا دیتا ہے سوچوں کا سفر بھی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد میر صاحب ویلڈن</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے تسی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>تسی لڑاںٔی کروانی ساڈی کی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبارہ فالو کرئیے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی ہے الو دوسو روپے درجن کدو روپے گز...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>عشق جب تم کو راس آۓ گا زخم کھاٶ گے مُسکراٶ گے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہی ہوتا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat  سورة المزمل Ayt  حصہ ت...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی چیف کا نوٹس اب مجرم اپنے جرائیم پر خود نو...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>فوج سیاست سے دور رہے بلاول زرداری فوج کراچی وا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی جیتی رہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>یہ ووٹ کی بجائے ووٹر کو عزّت دیں ️</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>میں ایک نشئی نے کہا تھا کہ   اگر اسٹیبلشمنٹ چ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>تو رہنے دے پھر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>وھ کوئی بھی ھو بیشک میں ھے ھو وہ  کیمنا حرام ز...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین ثمہ آمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھے دی کھوتی وتھے آ کھلوتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب بات کی کامران خان صاحب نے پنگا بھی ان سے ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>گڈ ناٸیٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>آپ دلہن کی پھپھو ہیں میری نہیں</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی اور بلو رانی کے ذلیل ہونے کا وقت ہوا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ دیکھو کس کی ہے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھے تے سب ہی جج نے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا  لگدا اے مینوں...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>سنا تھا  اکیلا ہوتا ہے اور ساتھ  ہو تو  گیارہ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0    ہو لینے دے میری شادی فسادن ٹھیک ہے کوجی نہیں ...           1.0   \n",
       "1   چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2   کامران خان آپکی دن بھریہ زمہ داری لگائی گئی اپ...           0.0   \n",
       "3                                         نہیں پائین            0.0   \n",
       "4     مراد علی شاہ کے بھیس میں ڈی جی آئی ایس آئی ت...           1.0   \n",
       "5           قابل اعتبار ہی اکثر قاتل اعتبار ہوتے ہیں            1.0   \n",
       "6            انساں کو تھکا دیتا ہے سوچوں کا سفر بھی             0.0   \n",
       "7                                 حامد میر صاحب ویلڈن           0.0   \n",
       "8   یار وچارہ ویلا ہوندا ہے اس آرے لگا ہویا ہے تسی...           1.0   \n",
       "9               یہ سمجھتے ہیں سارا پاکستان بیوقوف ھے            1.0   \n",
       "10                         تسی لڑاںٔی کروانی ساڈی کی            0.0   \n",
       "11                             پائن دوبارہ فالو کرئیے           0.0   \n",
       "12  کتنی مہنگائی ہے الو دوسو روپے درجن کدو روپے گز...           1.0   \n",
       "13      عشق جب تم کو راس آۓ گا زخم کھاٶ گے مُسکراٶ گے           1.0   \n",
       "14                                 چونا ایسا ہی ہوتا            0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat  سورة المزمل Ayt  حصہ ت...           0.0   \n",
       "16  اب بس بھی کرو بیچارے کی پہلے ہی دو بیویاں ہیے ...           1.0   \n",
       "17  پتہ نہیں کیا ہورہا ہے سی سی کی بورڈ کو زنگ لگ ...           1.0   \n",
       "18  اللہ آپ کو اپنی رحمتوں کے سائے میں رکھے اور مک...           0.0   \n",
       "19  آرمی چیف کا نوٹس اب مجرم اپنے جرائیم پر خود نو...           0.0   \n",
       "20  کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...           1.0   \n",
       "21  فوج سیاست سے دور رہے بلاول زرداری فوج کراچی وا...           1.0   \n",
       "22                                شکریہ لڑکی جیتی رہ            0.0   \n",
       "23   صدائیں درودوں کی آتی رہینگی جنہیں سن کر دل شا...           0.0   \n",
       "24                 یہ ووٹ کی بجائے ووٹر کو عزّت دیں ️           1.0   \n",
       "25   میں ایک نشئی نے کہا تھا کہ   اگر اسٹیبلشمنٹ چ...           1.0   \n",
       "26  مشکل ہے لیکن ناممکن نہیں اگر کامران صاحب کوشش ...           0.0   \n",
       "27   میں نے پورے دو ہفتے سے سالن روٹی نہیں کھایا ہ...           0.0   \n",
       "28                                    تو رہنے دے پھر            1.0   \n",
       "29  وھ کوئی بھی ھو بیشک میں ھے ھو وہ  کیمنا حرام ز...           1.0   \n",
       "30   میں ماضی کی انتہائی بے وقوف اور حال کی سمجھدا...           0.0   \n",
       "31                                     آمین ثمہ آمین            0.0   \n",
       "32                      جیتھے دی کھوتی وتھے آ کھلوتی            1.0   \n",
       "33  یہ اسمبلی بغیر ڈیزل کے چل رہی ہے کیونکہ اِسکو ...           1.0   \n",
       "34  عجیب بات کی کامران خان صاحب نے پنگا بھی ان سے ...           0.0   \n",
       "35                                           گڈ ناٸیٹ           0.0   \n",
       "36  دروازے پر بہت اتارتے تھے پہلے اب تو خود کو ہی ...           1.0   \n",
       "37     ویسے اپنے پیر پر کلہاڑی مارنا کوئ ان سے سیکھے            1.0   \n",
       "38                    آپ دلہن کی پھپھو ہیں میری نہیں            0.0   \n",
       "39            ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ            0.0   \n",
       "40  میں محمد ندیم ملک بطور ایک عام پاکستانی بلاول ...           1.0   \n",
       "41  قطری نانی اور بلو رانی کے ذلیل ہونے کا وقت ہوا...           1.0   \n",
       "42  اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...           0.0   \n",
       "43                     موٹی چڑیل ٹویٹ دیکھو کس کی ہے            0.0   \n",
       "44                               ایتھے تے سب ہی جج نے           1.0   \n",
       "45  اک محترمہ سارا دن پاک فوج کے خلاف بکواس کر کے ...           1.0   \n",
       "46  ان کو لگتا ہے کہ انکے دیوتا کی طرح پورا پاکستا...           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا  لگدا اے مینوں...           0.0   \n",
       "48  ضرورت ہی نہیں اس کو الٹی کھوپڑی کی بات ایک کان...           1.0   \n",
       "49   سنا تھا  اکیلا ہوتا ہے اور ساتھ  ہو تو  گیارہ...           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "urdu_digits = ['۶', '۴', '۵', '۸', '۲', '۰', '۷', '۹', '۳', '۱']\n",
    "\n",
    "english_digits=['1','2','3','4','5','6','7','8','9','0']\n",
    "\n",
    "def remove_numbers(text):\n",
    "    for letter in text:\n",
    "        if letter in urdu_digits or letter in english_digits :\n",
    "            text = text.replace(letter, '')\n",
    "    return text\n",
    "\n",
    "df['urdu_text'] = df['urdu_text'].apply(remove_numbers)\n",
    "\n",
    "df.head(50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "9cadf675",
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "\n",
    "# Load stopwords from a JSON file\n",
    "with open('urdu_stopwords.json', 'r', encoding='utf-8') as f:\n",
    "    urdu_stopwords = json.load(f)\n",
    "\n",
    "\n",
    "    \n",
    "def remove_stopwords(text):\n",
    "    temp=[]\n",
    "\n",
    "    words=text.split()\n",
    "    for letter in words:\n",
    "        if letter not in urdu_stopwords:\n",
    "            if letter !='':\n",
    "                temp.append(letter)\n",
    "            \n",
    "    return (' '.join(temp) )\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "b6aead20",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>لینے میری شادی فسادن کوجی نہیں چاہیے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران خان آپکی دن بھریہ زمہ داری لگائی اپوزیش...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد علی شاہ بھیس میں ڈی جی ایس حامد میر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبار قاتل اعتبار</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں کو تھکا دیتا سوچوں کا سفر بھی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد میر صاحب ویلڈن</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>یار وچارہ ویلا ہوندا اس آرے لگا ہویا تسی تے پک...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>سمجھتے سارا پاکستان بیوقوف ھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>تسی لڑاںٔی کروانی ساڈی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبارہ فالو کرئیے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی الو دوسو روپے درجن کدو روپے گز ISPR</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>عشق جب تم کو راس آۓ گا زخم کھاٶ مُسکراٶ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہوتا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat سورة المزمل Ayt حصہ ترج...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>اب بس بھی بیچارے پہلے بیویاں ہیے کیا اپ نے تیس...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>پتہ نہیں کیا ہورہا سی سی بورڈ کو زنگ لگ گیا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ آپ کو اپنی رحمتوں سائے میں مکمل صحت یاب ف...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی چیف کا نوٹس اب مجرم اپنے جرائیم خود نوٹس ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>فوج سیاست سے بلاول زرداری فوج کراچی واقعے کا ن...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی جیتی رہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائیں درودوں آتی رہینگی جنہیں سن کر دل شاد ہو...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>ووٹ بجائے ووٹر کو عزّت دیں ️</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>میں نشئی نے کہا تھا اگر اسٹیبلشمنٹ چاہیے کتا ب...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل لیکن ناممکن نہیں اگر کامران صاحب کوشش</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>میں نے پورے ہفتے سے سالن روٹی نہیں کھایا حال ن...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>رہنے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>وھ بھی ھو بیشک میں ھے ھو وہ کیمنا حرام زیادہ ھ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>میں ماضی انتہائی بے وقوف حال سمجھدار لڑکی مریم...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین ثمہ آمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھے کھوتی وتھے آ کھلوتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>اسمبلی بغیر ڈیزل چل کیونکہ اِسکو گدھا رہا ھے گ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب بات کامران خان صاحب نے پنگا بھی ان سے جن ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>گڈ ناٸیٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازے بہت اتارتے پہلے اب خود کو تھپڑ لگاتے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسے اپنے پیر کلہاڑی مارنا کوئ ان سے سیکھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>آپ دلہن پھپھو میری نہیں</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>میں محمد ندیم ملک بطور عام پاکستانی بلاول زردا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی بلو رانی ذلیل ہونے کا وقت چاہتا قطری...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ کس</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھے تے سب جج نے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>اک محترمہ سارا دن پاک فوج خلاف بکواس کر رات کو...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>ان کو لگتا انکے دیوتا طرح پاکستان لکیروں سہارے...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا اے مینوں ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>نہیں اس کو الٹی کھوپڑی بات کان سے سنو دوسرے سے...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>سنا تھا ہوتا ساتھ گیارہ بن جاتا مگر تاریخ میں ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0                لینے میری شادی فسادن کوجی نہیں چاہیے           1.0   \n",
       "1   چل مہمانوں میں کھانا سرو کر چڑیل چاچی نوں دسدی...           1.0   \n",
       "2   کامران خان آپکی دن بھریہ زمہ داری لگائی اپوزیش...           0.0   \n",
       "3                                          نہیں پائین           0.0   \n",
       "4            مراد علی شاہ بھیس میں ڈی جی ایس حامد میر           1.0   \n",
       "5                             قابل اعتبار قاتل اعتبار           1.0   \n",
       "6                 انساں کو تھکا دیتا سوچوں کا سفر بھی           0.0   \n",
       "7                                 حامد میر صاحب ویلڈن           0.0   \n",
       "8   یار وچارہ ویلا ہوندا اس آرے لگا ہویا تسی تے پک...           1.0   \n",
       "9                       سمجھتے سارا پاکستان بیوقوف ھے           1.0   \n",
       "10                             تسی لڑاںٔی کروانی ساڈی           0.0   \n",
       "11                             پائن دوبارہ فالو کرئیے           0.0   \n",
       "12   کتنی مہنگائی الو دوسو روپے درجن کدو روپے گز ISPR           1.0   \n",
       "13            عشق جب تم کو راس آۓ گا زخم کھاٶ مُسکراٶ           1.0   \n",
       "14                                     چونا ایسا ہوتا           0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat سورة المزمل Ayt حصہ ترج...           0.0   \n",
       "16  اب بس بھی بیچارے پہلے بیویاں ہیے کیا اپ نے تیس...           1.0   \n",
       "17        پتہ نہیں کیا ہورہا سی سی بورڈ کو زنگ لگ گیا           1.0   \n",
       "18  اللہ آپ کو اپنی رحمتوں سائے میں مکمل صحت یاب ف...           0.0   \n",
       "19  آرمی چیف کا نوٹس اب مجرم اپنے جرائیم خود نوٹس ...           0.0   \n",
       "20  کھوتی دیا بچیاتیری عزت کیتی اےتیری قدر کیتی اے...           1.0   \n",
       "21  فوج سیاست سے بلاول زرداری فوج کراچی واقعے کا ن...           1.0   \n",
       "22                                 شکریہ لڑکی جیتی رہ           0.0   \n",
       "23  صدائیں درودوں آتی رہینگی جنہیں سن کر دل شاد ہو...           0.0   \n",
       "24                       ووٹ بجائے ووٹر کو عزّت دیں ️           1.0   \n",
       "25  میں نشئی نے کہا تھا اگر اسٹیبلشمنٹ چاہیے کتا ب...           1.0   \n",
       "26         مشکل لیکن ناممکن نہیں اگر کامران صاحب کوشش           0.0   \n",
       "27  میں نے پورے ہفتے سے سالن روٹی نہیں کھایا حال ن...           0.0   \n",
       "28                                               رہنے           1.0   \n",
       "29  وھ بھی ھو بیشک میں ھے ھو وہ کیمنا حرام زیادہ ھ...           1.0   \n",
       "30  میں ماضی انتہائی بے وقوف حال سمجھدار لڑکی مریم...           0.0   \n",
       "31                                      آمین ثمہ آمین           0.0   \n",
       "32                          جیتھے کھوتی وتھے آ کھلوتی           1.0   \n",
       "33  اسمبلی بغیر ڈیزل چل کیونکہ اِسکو گدھا رہا ھے گ...           1.0   \n",
       "34  عجیب بات کامران خان صاحب نے پنگا بھی ان سے جن ...           0.0   \n",
       "35                                           گڈ ناٸیٹ           0.0   \n",
       "36        دروازے بہت اتارتے پہلے اب خود کو تھپڑ لگاتے           1.0   \n",
       "37         ویسے اپنے پیر کلہاڑی مارنا کوئ ان سے سیکھے           1.0   \n",
       "38                            آپ دلہن پھپھو میری نہیں           0.0   \n",
       "39             ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ           0.0   \n",
       "40  میں محمد ندیم ملک بطور عام پاکستانی بلاول زردا...           1.0   \n",
       "41  قطری نانی بلو رانی ذلیل ہونے کا وقت چاہتا قطری...           1.0   \n",
       "42  اچھا بھائیوں کو زیادہ ویلکم کر سکتی تم لڑکی بہ...           0.0   \n",
       "43                                  موٹی چڑیل ٹویٹ کس           0.0   \n",
       "44                                  ایتھے تے سب جج نے           1.0   \n",
       "45  اک محترمہ سارا دن پاک فوج خلاف بکواس کر رات کو...           1.0   \n",
       "46  ان کو لگتا انکے دیوتا طرح پاکستان لکیروں سہارے...           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا اے مینوں ...           0.0   \n",
       "48  نہیں اس کو الٹی کھوپڑی بات کان سے سنو دوسرے سے...           1.0   \n",
       "49  سنا تھا ہوتا ساتھ گیارہ بن جاتا مگر تاریخ میں ...           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['urdu_text']= df['urdu_text'].apply(remove_stopwords)\n",
    "\n",
    "df.head(50)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "db3fa7ff",
   "metadata": {},
   "source": [
    "# Filter short words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "6b0f2195",
   "metadata": {},
   "outputs": [],
   "source": [
    "def short_words(text):\n",
    "    temp = []\n",
    "    for word in text.split():\n",
    "        if len(word) > 3:\n",
    "            if word !='':\n",
    "                temp.append(word)\n",
    "                \n",
    "    return ' '.join(temp)\n",
    "            \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "96348651",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>لینے میری شادی فسادن کوجی نہیں چاہیے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>مہمانوں کھانا چڑیل چاچی دسدی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران آپکی بھریہ داری لگائی اپوزیشن کردار اور...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہیں پائین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد بھیس حامد</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبار قاتل اعتبار</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں تھکا دیتا سوچوں</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد صاحب ویلڈن</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>وچارہ ویلا ہوندا ہویا نجومی منندے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>سمجھتے سارا پاکستان بیوقوف</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>لڑاںٔی کروانی ساڈی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبارہ فالو کرئیے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی دوسو روپے درجن روپے ISPR</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>کھاٶ مُسکراٶ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہوتا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat سورة المزمل ترجمہ اللہ ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>بیچارے پہلے بیویاں تیسری ٹرائ کرنا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>نہیں ہورہا بورڈ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ اپنی رحمتوں سائے مکمل فرمائے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی نوٹس مجرم اپنے جرائیم نوٹس کرےگا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی بچیاتیری کیتی اےتیری کیتی اےشکر تیری بون...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>سیاست بلاول زرداری کراچی واقعے نوٹس بلاول زرداری</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی جیتی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائیں درودوں رہینگی جنہیں ہوتا اہلسنت آباد مح...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>بجائے ووٹر عزّت</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>نشئی اسٹیبلشمنٹ چاہیے وزیراعظم سکتا PMبنتے دیکھ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل لیکن ناممکن نہیں کامران صاحب کوشش</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>پورے ہفتے سالن روٹی نہیں کھایا نہیں میرا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>رہنے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>بیشک کیمنا حرام زیادہ نہیں کرتا کامران کتنا پیسا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>ماضی انتہائی وقوف سمجھدار لڑکی مریم نواز بزدار...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین آمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھے کھوتی وتھے کھلوتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>اسمبلی بغیر ڈیزل کیونکہ اِسکو گدھا گدھے ڈیزل ن...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب کامران صاحب پنگا ابھی گولیاں انہیں ہونا چ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>ناٸیٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازے اتارتے پہلے تھپڑ لگاتے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسے اپنے کلہاڑی مارنا سیکھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>دلہن پھپھو میری نہیں</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>محمد ندیم بطور پاکستانی بلاول زرداری عزیز وزیر...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی رانی ذلیل ہونے چاہتا قطری نانی پھنس ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیوں زیادہ ویلکم سکتی لڑکی بہنوں نہیںب...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>محترمہ سارا خلاف بکواس فوجی ساتھ جاتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>لگتا انکے دیوتا پاکستان لکیروں سہارے سوچتا بولتا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا مینوں قرب...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>نہیں الٹی کھوپڑی دوسرے نکال</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>ہوتا ساتھ گیارہ جاتا تاریخ برباد کردیا صاحب</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0                لینے میری شادی فسادن کوجی نہیں چاہیے           1.0   \n",
       "1                        مہمانوں کھانا چڑیل چاچی دسدی           1.0   \n",
       "2   کامران آپکی بھریہ داری لگائی اپوزیشن کردار اور...           0.0   \n",
       "3                                          نہیں پائین           0.0   \n",
       "4                                      مراد بھیس حامد           1.0   \n",
       "5                             قابل اعتبار قاتل اعتبار           1.0   \n",
       "6                               انساں تھکا دیتا سوچوں           0.0   \n",
       "7                                     حامد صاحب ویلڈن           0.0   \n",
       "8                   وچارہ ویلا ہوندا ہویا نجومی منندے           1.0   \n",
       "9                          سمجھتے سارا پاکستان بیوقوف           1.0   \n",
       "10                                 لڑاںٔی کروانی ساڈی           0.0   \n",
       "11                             پائن دوبارہ فالو کرئیے           0.0   \n",
       "12              کتنی مہنگائی دوسو روپے درجن روپے ISPR           1.0   \n",
       "13                                       کھاٶ مُسکراٶ           1.0   \n",
       "14                                     چونا ایسا ہوتا           0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat سورة المزمل ترجمہ اللہ ...           0.0   \n",
       "16                 بیچارے پہلے بیویاں تیسری ٹرائ کرنا           1.0   \n",
       "17                                    نہیں ہورہا بورڈ           1.0   \n",
       "18                  اللہ اپنی رحمتوں سائے مکمل فرمائے           0.0   \n",
       "19              آرمی نوٹس مجرم اپنے جرائیم نوٹس کرےگا           0.0   \n",
       "20  کھوتی بچیاتیری کیتی اےتیری کیتی اےشکر تیری بون...           1.0   \n",
       "21   سیاست بلاول زرداری کراچی واقعے نوٹس بلاول زرداری           1.0   \n",
       "22                                    شکریہ لڑکی جیتی           0.0   \n",
       "23  صدائیں درودوں رہینگی جنہیں ہوتا اہلسنت آباد مح...           0.0   \n",
       "24                                    بجائے ووٹر عزّت           1.0   \n",
       "25    نشئی اسٹیبلشمنٹ چاہیے وزیراعظم سکتا PMبنتے دیکھ           1.0   \n",
       "26             مشکل لیکن ناممکن نہیں کامران صاحب کوشش           0.0   \n",
       "27           پورے ہفتے سالن روٹی نہیں کھایا نہیں میرا           0.0   \n",
       "28                                               رہنے           1.0   \n",
       "29   بیشک کیمنا حرام زیادہ نہیں کرتا کامران کتنا پیسا           1.0   \n",
       "30  ماضی انتہائی وقوف سمجھدار لڑکی مریم نواز بزدار...           0.0   \n",
       "31                                          آمین آمین           0.0   \n",
       "32                            جیتھے کھوتی وتھے کھلوتی           1.0   \n",
       "33  اسمبلی بغیر ڈیزل کیونکہ اِسکو گدھا گدھے ڈیزل ن...           1.0   \n",
       "34  عجیب کامران صاحب پنگا ابھی گولیاں انہیں ہونا چ...           0.0   \n",
       "35                                              ناٸیٹ           0.0   \n",
       "36                      دروازے اتارتے پہلے تھپڑ لگاتے           1.0   \n",
       "37                       ویسے اپنے کلہاڑی مارنا سیکھے           1.0   \n",
       "38                               دلہن پھپھو میری نہیں           0.0   \n",
       "39             ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ           0.0   \n",
       "40  محمد ندیم بطور پاکستانی بلاول زرداری عزیز وزیر...           1.0   \n",
       "41  قطری نانی رانی ذلیل ہونے چاہتا قطری نانی پھنس ...           1.0   \n",
       "42  اچھا بھائیوں زیادہ ویلکم سکتی لڑکی بہنوں نہیںب...           0.0   \n",
       "43                                     موٹی چڑیل ٹویٹ           0.0   \n",
       "44                                              ایتھے           1.0   \n",
       "45              محترمہ سارا خلاف بکواس فوجی ساتھ جاتی           1.0   \n",
       "46   لگتا انکے دیوتا پاکستان لکیروں سہارے سوچتا بولتا           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا مینوں قرب...           0.0   \n",
       "48                        نہیں الٹی کھوپڑی دوسرے نکال           1.0   \n",
       "49        ہوتا ساتھ گیارہ جاتا تاریخ برباد کردیا صاحب           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['urdu_text'] = df['urdu_text'].apply(short_words)\n",
    "\n",
    "df.head(50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "aad4a56d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>19954</th>\n",
       "      <td></td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19955</th>\n",
       "      <td>چاپلوسی نہیں اگلے الیکشن کھڑے بغیر کیسے محترمہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19956</th>\n",
       "      <td>چھوڑ نہیں سکتی دیکھنا کیونکہ تجسسس لیکن بڈھے س...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19957</th>\n",
       "      <td>ابھرتے سورج دیکھ مجھے یقین آزادی کشمیر سورج ای...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19958</th>\n",
       "      <td>ھاھاھاھاھا بیچارے پرندے ساتھ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19959</th>\n",
       "      <td>بائیٹ اتنا الزام</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19960</th>\n",
       "      <td>ملتان روٹی پکانے پابندی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19961</th>\n",
       "      <td>کیسے بدلتے رشتے پٹواری جیالا لگتاہے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19962</th>\n",
       "      <td>پنکھے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19963</th>\n",
       "      <td>گائے بھرنا نہیں چاہئیے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19964</th>\n",
       "      <td>میری خواہش خوبصورت لڑکی عدالت میری بیوی ہونے ک...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19965</th>\n",
       "      <td>سارے نرالے ہلکا نہیں</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19966</th>\n",
       "      <td>ماشااللہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19967</th>\n",
       "      <td>مجھے تمہاری عادت محبت</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19968</th>\n",
       "      <td>چاہتا کرتا چاہتا اندر خامشی نکلے</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19969</th>\n",
       "      <td>ہمیشہ ایسے رہیں پیارے بھیا آمــــین العالمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19970</th>\n",
       "      <td>صحیح</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19971</th>\n",
       "      <td>صاحب گالی فرسٹریشن آخری دیکھتے انصاف بالا کرنا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19972</th>\n",
       "      <td>کتنے آدمی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19973</th>\n",
       "      <td>مریم اگنور یقین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19974</th>\n",
       "      <td>مولا علیہ السلام حیدر</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19975</th>\n",
       "      <td>چلنا وہیں رہنا مجھے دائرے ہیں️ اردوزبان</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19976</th>\n",
       "      <td>فیسبک کرتا اوووو وہاں چلتے طلاق</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19977</th>\n",
       "      <td>دوشیزہ میرے جالے اتار</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19978</th>\n",
       "      <td>میرے کیونکہ کمیشن دیتا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19979</th>\n",
       "      <td>لاری</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19980</th>\n",
       "      <td>جزاک اللہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19981</th>\n",
       "      <td>لگایا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19982</th>\n",
       "      <td></td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19983</th>\n",
       "      <td>فیسبک کرتا اوووو وہاں چلتے طلاق</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19984</th>\n",
       "      <td>جیسا تایا شریف ویسے شریف</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19985</th>\n",
       "      <td>کتابیں دونوں پڑھنا ھولندی فرانک مارتیز کتاب بے...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19986</th>\n",
       "      <td>اسلامیہ یونیورسٹی بہاولپور وائس چانسلر گزارش س...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19987</th>\n",
       "      <td>کوشش نہیں بننا نہیں چاہتی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19988</th>\n",
       "      <td>پیار نہیں پیار پانے اُمید انتظار بخیر Syeda</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19989</th>\n",
       "      <td>شبنم ٹھنڈا میری ٹویٹ آپکا تصور جھلکے گا⁦️⁩</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19990</th>\n",
       "      <td>نوازشریف دینے غفور کرنل حمید شامل کرنل نوازشری...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19991</th>\n",
       "      <td>مستقبل نواز شریف کیسا ہوگا وڈیو دیکھ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19992</th>\n",
       "      <td>مجھے نہیں</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19993</th>\n",
       "      <td>اللہ زبان مبارک</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19994</th>\n",
       "      <td>سارا سامان بریانی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19995</th>\n",
       "      <td>شبنم ٹھنڈا میری ٹویٹ آپکا تصور جھلکے گا⁦️⁩</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19996</th>\n",
       "      <td>اچھا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19997</th>\n",
       "      <td>شعور جتنی آنکھیں سکتی اتنی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19998</th>\n",
       "      <td>بلکل سبکرائبر علاوہ طبقہ ڈسکشن والا احمد بھائی...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19999</th>\n",
       "      <td>راجہ صاحب چھڈیا آواز یوتھیئے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20000</th>\n",
       "      <td>بےبی پرائم منسٹر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20001</th>\n",
       "      <td>اتنا بونگا وزیر اعظم ڈھونڈنے نہیں</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20002</th>\n",
       "      <td>کاکا عِدت پوری نہیں ہونے عوام کیسے تیری پوری ہونے</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20003</th>\n",
       "      <td>جتنا مرضی بلیک نہیں گاجتنے مرضی جلسے کرلیںقانو...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               urdu_text  is_sarcastic  \\\n",
       "19954                                                              0.0   \n",
       "19955     چاپلوسی نہیں اگلے الیکشن کھڑے بغیر کیسے محترمہ           1.0   \n",
       "19956  چھوڑ نہیں سکتی دیکھنا کیونکہ تجسسس لیکن بڈھے س...           0.0   \n",
       "19957  ابھرتے سورج دیکھ مجھے یقین آزادی کشمیر سورج ای...           0.0   \n",
       "19958                       ھاھاھاھاھا بیچارے پرندے ساتھ           0.0   \n",
       "19959                                   بائیٹ اتنا الزام           0.0   \n",
       "19960                            ملتان روٹی پکانے پابندی           1.0   \n",
       "19961                کیسے بدلتے رشتے پٹواری جیالا لگتاہے           0.0   \n",
       "19962                                              پنکھے           0.0   \n",
       "19963                             گائے بھرنا نہیں چاہئیے           0.0   \n",
       "19964  میری خواہش خوبصورت لڑکی عدالت میری بیوی ہونے ک...           0.0   \n",
       "19965                               سارے نرالے ہلکا نہیں           1.0   \n",
       "19966                                           ماشااللہ           0.0   \n",
       "19967                              مجھے تمہاری عادت محبت           0.0   \n",
       "19968                   چاہتا کرتا چاہتا اندر خامشی نکلے           0.0   \n",
       "19969       ہمیشہ ایسے رہیں پیارے بھیا آمــــین العالمین           0.0   \n",
       "19970                                               صحیح           0.0   \n",
       "19971  صاحب گالی فرسٹریشن آخری دیکھتے انصاف بالا کرنا...           1.0   \n",
       "19972                                          کتنے آدمی           0.0   \n",
       "19973                                    مریم اگنور یقین           0.0   \n",
       "19974                              مولا علیہ السلام حیدر           0.0   \n",
       "19975            چلنا وہیں رہنا مجھے دائرے ہیں️ اردوزبان           0.0   \n",
       "19976                    فیسبک کرتا اوووو وہاں چلتے طلاق           0.0   \n",
       "19977                              دوشیزہ میرے جالے اتار           0.0   \n",
       "19978                             میرے کیونکہ کمیشن دیتا           1.0   \n",
       "19979                                               لاری           0.0   \n",
       "19980                                          جزاک اللہ           0.0   \n",
       "19981                                              لگایا           0.0   \n",
       "19982                                                              0.0   \n",
       "19983                    فیسبک کرتا اوووو وہاں چلتے طلاق           0.0   \n",
       "19984                           جیسا تایا شریف ویسے شریف           1.0   \n",
       "19985  کتابیں دونوں پڑھنا ھولندی فرانک مارتیز کتاب بے...           0.0   \n",
       "19986  اسلامیہ یونیورسٹی بہاولپور وائس چانسلر گزارش س...           0.0   \n",
       "19987                          کوشش نہیں بننا نہیں چاہتی           0.0   \n",
       "19988        پیار نہیں پیار پانے اُمید انتظار بخیر Syeda           0.0   \n",
       "19989         شبنم ٹھنڈا میری ٹویٹ آپکا تصور جھلکے گا⁦️⁩           0.0   \n",
       "19990  نوازشریف دینے غفور کرنل حمید شامل کرنل نوازشری...           1.0   \n",
       "19991               مستقبل نواز شریف کیسا ہوگا وڈیو دیکھ           0.0   \n",
       "19992                                          مجھے نہیں           0.0   \n",
       "19993                                    اللہ زبان مبارک           0.0   \n",
       "19994                                  سارا سامان بریانی           0.0   \n",
       "19995         شبنم ٹھنڈا میری ٹویٹ آپکا تصور جھلکے گا⁦️⁩           0.0   \n",
       "19996                                               اچھا           1.0   \n",
       "19997                         شعور جتنی آنکھیں سکتی اتنی           0.0   \n",
       "19998  بلکل سبکرائبر علاوہ طبقہ ڈسکشن والا احمد بھائی...           0.0   \n",
       "19999                       راجہ صاحب چھڈیا آواز یوتھیئے           1.0   \n",
       "20000                                   بےبی پرائم منسٹر           1.0   \n",
       "20001                  اتنا بونگا وزیر اعظم ڈھونڈنے نہیں           1.0   \n",
       "20002  کاکا عِدت پوری نہیں ہونے عوام کیسے تیری پوری ہونے           1.0   \n",
       "20003  جتنا مرضی بلیک نہیں گاجتنے مرضی جلسے کرلیںقانو...           1.0   \n",
       "\n",
       "      Unnamed: 6  Unnamed: 7  \n",
       "19954        NaN         NaN  \n",
       "19955        NaN         NaN  \n",
       "19956        NaN         NaN  \n",
       "19957        NaN         NaN  \n",
       "19958        NaN         NaN  \n",
       "19959        NaN         NaN  \n",
       "19960        NaN         NaN  \n",
       "19961        NaN         NaN  \n",
       "19962        NaN         NaN  \n",
       "19963        NaN         NaN  \n",
       "19964        NaN         NaN  \n",
       "19965        NaN         NaN  \n",
       "19966        NaN         NaN  \n",
       "19967        NaN         NaN  \n",
       "19968        NaN         NaN  \n",
       "19969        NaN         NaN  \n",
       "19970        NaN         NaN  \n",
       "19971        NaN         NaN  \n",
       "19972        NaN         NaN  \n",
       "19973        NaN         NaN  \n",
       "19974        NaN         NaN  \n",
       "19975        NaN         NaN  \n",
       "19976        NaN         NaN  \n",
       "19977        NaN         NaN  \n",
       "19978        NaN         NaN  \n",
       "19979        NaN         NaN  \n",
       "19980        NaN         NaN  \n",
       "19981        NaN         NaN  \n",
       "19982        NaN         NaN  \n",
       "19983        NaN         NaN  \n",
       "19984        NaN         NaN  \n",
       "19985        NaN         NaN  \n",
       "19986        NaN         NaN  \n",
       "19987        NaN         NaN  \n",
       "19988        NaN         NaN  \n",
       "19989        NaN         NaN  \n",
       "19990        NaN         NaN  \n",
       "19991        NaN         NaN  \n",
       "19992        NaN         NaN  \n",
       "19993        NaN         NaN  \n",
       "19994        NaN         NaN  \n",
       "19995        NaN         NaN  \n",
       "19996        NaN         NaN  \n",
       "19997        NaN         NaN  \n",
       "19998        NaN         NaN  \n",
       "19999        NaN         NaN  \n",
       "20000        NaN         NaN  \n",
       "20001        NaN         NaN  \n",
       "20002        NaN         NaN  \n",
       "20003        NaN         NaN  "
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.tail(50)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c7166b25",
   "metadata": {},
   "source": [
    "# Phase 2: Stemming and Lemmatization"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "fa8c99cf",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: lughaatNLP in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (1.0.6)Note: you may need to restart the kernel to use updated packages.\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "[notice] A new release of pip is available: 23.1.2 -> 24.3.1\n",
      "[notice] To update, run: python.exe -m pip install --upgrade pip\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "Requirement already satisfied: python-Levenshtein in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (0.26.0)\n",
      "Requirement already satisfied: tensorflow in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (2.15.0)\n",
      "Requirement already satisfied: numpy in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (1.25.0)\n",
      "Requirement already satisfied: scikit-learn in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (1.4.2)\n",
      "Requirement already satisfied: scipy in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (1.12.0)\n",
      "Requirement already satisfied: gtts in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (2.5.3)\n",
      "Requirement already satisfied: SpeechRecognition in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (3.10.4)\n",
      "Requirement already satisfied: pydub in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from lughaatNLP) (0.25.1)\n",
      "Requirement already satisfied: requests<3,>=2.27 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from gtts->lughaatNLP) (2.31.0)\n",
      "Requirement already satisfied: click<8.2,>=7.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from gtts->lughaatNLP) (8.1.4)\n",
      "Requirement already satisfied: Levenshtein==0.26.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from python-Levenshtein->lughaatNLP) (0.26.0)\n",
      "Requirement already satisfied: rapidfuzz<4.0.0,>=3.9.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from Levenshtein==0.26.0->python-Levenshtein->lughaatNLP) (3.10.0)\n",
      "Requirement already satisfied: joblib>=1.2.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from scikit-learn->lughaatNLP) (1.4.0)\n",
      "Requirement already satisfied: threadpoolctl>=2.0.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from scikit-learn->lughaatNLP) (3.5.0)\n",
      "Requirement already satisfied: typing-extensions in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from SpeechRecognition->lughaatNLP) (4.10.0)\n",
      "Requirement already satisfied: tensorflow-intel==2.15.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow->lughaatNLP) (2.15.0)\n",
      "Requirement already satisfied: absl-py>=1.0.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.1.0)\n",
      "Requirement already satisfied: astunparse>=1.6.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (1.6.3)\n",
      "Requirement already satisfied: flatbuffers>=23.5.26 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (23.5.26)\n",
      "Requirement already satisfied: gast!=0.5.0,!=0.5.1,!=0.5.2,>=0.2.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.5.4)\n",
      "Requirement already satisfied: google-pasta>=0.1.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.2.0)\n",
      "Requirement already satisfied: h5py>=2.9.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (3.10.0)\n",
      "Requirement already satisfied: libclang>=13.0.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (16.0.6)\n",
      "Requirement already satisfied: ml-dtypes~=0.2.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.2.0)\n",
      "Requirement already satisfied: opt-einsum>=2.3.2 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (3.3.0)\n",
      "Requirement already satisfied: packaging in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (23.2)\n",
      "Requirement already satisfied: protobuf!=4.21.0,!=4.21.1,!=4.21.2,!=4.21.3,!=4.21.4,!=4.21.5,<5.0.0dev,>=3.20.3 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (4.23.4)\n",
      "Requirement already satisfied: setuptools in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (65.5.0)\n",
      "Requirement already satisfied: six>=1.12.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (1.16.0)\n",
      "Requirement already satisfied: termcolor>=1.1.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.4.0)\n",
      "Requirement already satisfied: wrapt<1.15,>=1.11.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (1.14.1)\n",
      "Requirement already satisfied: tensorflow-io-gcs-filesystem>=0.23.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.31.0)\n",
      "Requirement already satisfied: grpcio<2.0,>=1.24.3 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (1.62.0)\n",
      "Requirement already satisfied: tensorboard<2.16,>=2.15 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.15.2)\n",
      "Requirement already satisfied: tensorflow-estimator<2.16,>=2.15.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.15.0)\n",
      "Requirement already satisfied: keras<2.16,>=2.15.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.15.0)\n",
      "Requirement already satisfied: colorama in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from click<8.2,>=7.1->gtts->lughaatNLP) (0.4.6)\n",
      "Requirement already satisfied: charset-normalizer<4,>=2 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests<3,>=2.27->gtts->lughaatNLP) (3.1.0)\n",
      "Requirement already satisfied: idna<4,>=2.5 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests<3,>=2.27->gtts->lughaatNLP) (3.4)\n",
      "Requirement already satisfied: urllib3<3,>=1.21.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests<3,>=2.27->gtts->lughaatNLP) (2.0.2)\n",
      "Requirement already satisfied: certifi>=2017.4.17 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests<3,>=2.27->gtts->lughaatNLP) (2023.5.7)\n",
      "Requirement already satisfied: wheel<1.0,>=0.23.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from astunparse>=1.6.0->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.42.0)\n",
      "Requirement already satisfied: google-auth<3,>=1.6.3 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.28.1)\n",
      "Requirement already satisfied: google-auth-oauthlib<2,>=0.5 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (1.2.0)\n",
      "Requirement already satisfied: markdown>=2.6.8 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (3.5.2)\n",
      "Requirement already satisfied: tensorboard-data-server<0.8.0,>=0.7.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.7.2)\n",
      "Requirement already satisfied: werkzeug>=1.0.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (3.0.1)\n",
      "Requirement already satisfied: cachetools<6.0,>=2.0.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from google-auth<3,>=1.6.3->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (5.3.1)\n",
      "Requirement already satisfied: pyasn1-modules>=0.2.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from google-auth<3,>=1.6.3->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.3.0)\n",
      "Requirement already satisfied: rsa<5,>=3.1.4 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from google-auth<3,>=1.6.3->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (4.9)\n",
      "Requirement already satisfied: requests-oauthlib>=0.7.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from google-auth-oauthlib<2,>=0.5->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (1.3.1)\n",
      "Requirement already satisfied: MarkupSafe>=2.1.1 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from werkzeug>=1.0.1->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (2.1.2)\n",
      "Requirement already satisfied: pyasn1<0.6.0,>=0.4.6 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from pyasn1-modules>=0.2.1->google-auth<3,>=1.6.3->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (0.5.1)\n",
      "Requirement already satisfied: oauthlib>=3.0.0 in c:\\users\\dell\\appdata\\local\\programs\\python\\python311\\lib\\site-packages (from requests-oauthlib>=0.7.0->google-auth-oauthlib<2,>=0.5->tensorboard<2.16,>=2.15->tensorflow-intel==2.15.0->tensorflow->lughaatNLP) (3.2.2)\n"
     ]
    }
   ],
   "source": [
    "pip install lughaatNLP"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "18ca7df9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "WARNING:tensorflow:From C:\\Users\\dell\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\keras\\src\\losses.py:2976: The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead.\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\dell\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\pydub\\utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work\n",
      "  warn(\"Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work\", RuntimeWarning)\n"
     ]
    }
   ],
   "source": [
    "from LughaatNLP import LughaatNLP\n",
    "urdu_text_processing = LughaatNLP()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "f68d11f5",
   "metadata": {},
   "outputs": [],
   "source": [
    "df['urdu_text'] = df['urdu_text'].apply(urdu_text_processing.urdu_stemmer)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "a1855733",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>لینہ میری شادی فسادن کوجی نہا چاہیہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>مہمانا کھانا چڑیل چاچی دسدی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران آپکی بھریہ داری لگائی اپوزیشن کردار اور...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہا پائین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد بھیس حامد</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبر قاتل اعتبر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں تھکا دیت سوچا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد صاحب ویلڈن</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>وچارہ ویلا ہوندا ہویا نجومی منندہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>سمجھتہ سارا پاکستن بیوقوف</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>لڑاںٔی کروانی ساڈی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبرہ فالو کرئیہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنی مہنگائی دوسو روپہ درجن روپہ ISPR</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>کھاٶ مُسکراٶ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہوت</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat سوره المزمل ترجمہ اللہ ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>بیچارہ پہلہ بیوی تیسری ٹرائ کرنا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>نہا ہورہا بورڈ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ اپنی رحمت سائہ مکمل فرمائہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی نوٹس مجرم اپنہ جرائیم نوٹس کرےگا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھوتی بچیاتیری کیتی اےتیری کیتی اےشکر تیری بون...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>سیاست بلاول زرداری کراچی واقعہ نوٹس بلاول زرداری</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی جیتی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائا درودا رہینگی جنہا ہوت اہلسنت آبد محمد می...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>بجائہ ووٹر عزّت</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>نشئی اسٹیبلشمنٹ چاہیہ وزیراعظم سکت PMبنتہ دیکھ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل لیکن ناممکن نہا کامران صاحب کوشش</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>پورہ ہفتہ سالن روٹی نہا کھایا نہا میرا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>رہنہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>بیشک کیمنا حرام زیادہ نہا کرت کامران کتنا پیسا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>ماضی انتہائی وقوف سمجھدار لڑکی مریم نواز بزدار...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین آمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھہ کھوتی وتھہ کھلوتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>اسمبلی بغیر ڈیزل کیونکہ اِسکو گدھا گدھہ ڈیزل ن...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب کامران صاحب پنگا ابھی گولی انہا ہونا چاہی...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>ناٸیٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازہ اترتہ پہلہ تھپڑ لگاتہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسہ اپنہ کلہاڑی مارنا سیکھہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>دلہن پھپھو میری نہا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>محمد ندیم بطور پاکستنی بلاول زرداری عزیز وزیر ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی رانی ذلیل ہونہ چاہت قطری نانی پھنس ص...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیا زیادہ ویلکم سکتی لڑکی بہنا نہیںبلی...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>محترمہ سارا خلاف بکواس فوجی ساتھ جاتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>لگت انکہ دیوت پاکستن لکیرا سہارہ سوچت بولت</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا مینا قربن...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>نہا الٹی کھوپڑی دوسرہ نکال</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>ہوت ساتھ گیارہ جات تریخ بربد کردیا صاحب</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0                 لینہ میری شادی فسادن کوجی نہا چاہیہ           1.0   \n",
       "1                         مہمانا کھانا چڑیل چاچی دسدی           1.0   \n",
       "2   کامران آپکی بھریہ داری لگائی اپوزیشن کردار اور...           0.0   \n",
       "3                                           نہا پائین           0.0   \n",
       "4                                      مراد بھیس حامد           1.0   \n",
       "5                               قابل اعتبر قاتل اعتبر           1.0   \n",
       "6                                 انساں تھکا دیت سوچا           0.0   \n",
       "7                                     حامد صاحب ویلڈن           0.0   \n",
       "8                   وچارہ ویلا ہوندا ہویا نجومی منندہ           1.0   \n",
       "9                           سمجھتہ سارا پاکستن بیوقوف           1.0   \n",
       "10                                 لڑاںٔی کروانی ساڈی           0.0   \n",
       "11                              پائن دوبرہ فالو کرئیہ           0.0   \n",
       "12              کتنی مہنگائی دوسو روپہ درجن روپہ ISPR           1.0   \n",
       "13                                       کھاٶ مُسکراٶ           1.0   \n",
       "14                                      چونا ایسا ہوت           0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat سوره المزمل ترجمہ اللہ ...           0.0   \n",
       "16                   بیچارہ پہلہ بیوی تیسری ٹرائ کرنا           1.0   \n",
       "17                                     نہا ہورہا بورڈ           1.0   \n",
       "18                    اللہ اپنی رحمت سائہ مکمل فرمائہ           0.0   \n",
       "19              آرمی نوٹس مجرم اپنہ جرائیم نوٹس کرےگا           0.0   \n",
       "20  کھوتی بچیاتیری کیتی اےتیری کیتی اےشکر تیری بون...           1.0   \n",
       "21   سیاست بلاول زرداری کراچی واقعہ نوٹس بلاول زرداری           1.0   \n",
       "22                                    شکریہ لڑکی جیتی           0.0   \n",
       "23  صدائا درودا رہینگی جنہا ہوت اہلسنت آبد محمد می...           0.0   \n",
       "24                                    بجائہ ووٹر عزّت           1.0   \n",
       "25     نشئی اسٹیبلشمنٹ چاہیہ وزیراعظم سکت PMبنتہ دیکھ           1.0   \n",
       "26              مشکل لیکن ناممکن نہا کامران صاحب کوشش           0.0   \n",
       "27             پورہ ہفتہ سالن روٹی نہا کھایا نہا میرا           0.0   \n",
       "28                                               رہنہ           1.0   \n",
       "29     بیشک کیمنا حرام زیادہ نہا کرت کامران کتنا پیسا           1.0   \n",
       "30  ماضی انتہائی وقوف سمجھدار لڑکی مریم نواز بزدار...           0.0   \n",
       "31                                          آمین آمین           0.0   \n",
       "32                            جیتھہ کھوتی وتھہ کھلوتی           1.0   \n",
       "33  اسمبلی بغیر ڈیزل کیونکہ اِسکو گدھا گدھہ ڈیزل ن...           1.0   \n",
       "34  عجیب کامران صاحب پنگا ابھی گولی انہا ہونا چاہی...           0.0   \n",
       "35                                              ناٸیٹ           0.0   \n",
       "36                       دروازہ اترتہ پہلہ تھپڑ لگاتہ           1.0   \n",
       "37                       ویسہ اپنہ کلہاڑی مارنا سیکھہ           1.0   \n",
       "38                                دلہن پھپھو میری نہا           0.0   \n",
       "39             ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ           0.0   \n",
       "40  محمد ندیم بطور پاکستنی بلاول زرداری عزیز وزیر ...           1.0   \n",
       "41  قطری نانی رانی ذلیل ہونہ چاہت قطری نانی پھنس ص...           1.0   \n",
       "42  اچھا بھائیا زیادہ ویلکم سکتی لڑکی بہنا نہیںبلی...           0.0   \n",
       "43                                     موٹی چڑیل ٹویٹ           0.0   \n",
       "44                                              ایتھہ           1.0   \n",
       "45              محترمہ سارا خلاف بکواس فوجی ساتھ جاتی           1.0   \n",
       "46         لگت انکہ دیوت پاکستن لکیرا سہارہ سوچت بولت           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا مینا قربن...           0.0   \n",
       "48                         نہا الٹی کھوپڑی دوسرہ نکال           1.0   \n",
       "49            ہوت ساتھ گیارہ جات تریخ بربد کردیا صاحب           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "d80d2322",
   "metadata": {},
   "outputs": [],
   "source": [
    "df['urdu_text'] = df['urdu_text'].apply(urdu_text_processing.lemmatize_sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "73db84c6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>urdu_text</th>\n",
       "      <th>is_sarcastic</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>لینہ میرا شادی فسادن کوجی نہانا چاہیہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>مہمانا کھا چڑیل چاچی دسدی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>کامران میرا بھریہ داری لگنا اپوزیشن کردار اورا...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>نہانا پائین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>مراد بھیس حامد</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>قابل اعتبر قاتل اعتبر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>انساں تھکنا دیت سوچنا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>حامد صاحب ویلڈن</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>وچارہ ویلا ہوندا ہویا نجومی منندہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>سمجھتہ سارا پاکستن بیوقوف</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>لڑاںٔی کروانی ساڈی</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>پائن دوبرہ فالو کرئیہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>کتنا مہنگائی دوسو روپہ درجن روپہ ISPR</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>کھاٶ مُسکراٶ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>چونا ایسا ہوت</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>خاتمالنبیینمحمدﷺ Surat سوره المزمل ترجمہ اللہ ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>بیچارہ پہلہ بیوی تیسری ٹرائ کر</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>نہانا ہورہا بورڈ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>اللہ اپنی رحمت سائہ مکمل فرمائہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>آرمی نوٹس مجرم اپنہ جرائیم نوٹس کرےگا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>کھونا بچیاتیری کیتی اےتیری کیتی اےشکر تیرنا بو...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>سیاست بلاول زرداری کراچی واقعہ نوٹس بلاول زرداری</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>شکریہ لڑکی جینا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>صدائا درودا رہینگی جنہا ہوت اہلسنت آبد محمد می...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>بجائہ ووٹر عزّت</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>نشئی اسٹیبلشمنٹ چاہیہ وزیراعظم سکت PMبنتہ دیکھ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>مشکل لیکن ناممکن نہانا کامران صاحب کوشش</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>پورہ ہفتہ سالن روٹی نہانا کھانا نہانا میرا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>رہنہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>بیشک کیمنا حرام زیادہ نہانا کرت کامران کتنا پیسا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>ماضی انتہائی وقوف سمجھدار لڑکی مریم نواز بزدار...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>آمین آمین</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>جیتھہ کھونا وتھہ کھلوتی</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>اسمبلی بغیر ڈیزل کیونکہ اِسکو گدھا گدھہ ڈیزل ن...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>عجیب کامران صاحب پنگا ابھی گولی انہا ہونا چاہی...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>ناٸیٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>دروازہ اترتہ پہلہ تھپڑ لگاتہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>ویسہ اپنہ کلہاڑی مرْنا سیکھہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>دلہن پھپھو میرا نہانا</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>محمد ندیم بطور پاکستنی بلاول زرداری عزیز وزیر ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>قطری نانی رانی ذلیل ہونہ چاہت قطری نانی پھنسنا...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>اچھا بھائیا زیادہ ویلکم سکنا لڑکی بہنا نہیںبلی...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>موٹی چڑیل ٹویٹ</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>ایتھہ</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>45</th>\n",
       "      <td>محترمہ سارا خلاف بکواس فوجی ساتھ جا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46</th>\n",
       "      <td>لگت انکہ دیوت پاکستن لکیرا سہارہ سوچت بولت</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا مینا قربن...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>48</th>\n",
       "      <td>نہانا الٹنا کھوپڑی دوسرہ نکلنا</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>ہوت ساتھ گیارہ جات تریخ بربد کردینا صاحب</td>\n",
       "      <td>1.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            urdu_text  is_sarcastic  \\\n",
       "0               لینہ میرا شادی فسادن کوجی نہانا چاہیہ           1.0   \n",
       "1                           مہمانا کھا چڑیل چاچی دسدی           1.0   \n",
       "2   کامران میرا بھریہ داری لگنا اپوزیشن کردار اورا...           0.0   \n",
       "3                                         نہانا پائین           0.0   \n",
       "4                                      مراد بھیس حامد           1.0   \n",
       "5                               قابل اعتبر قاتل اعتبر           1.0   \n",
       "6                               انساں تھکنا دیت سوچنا           0.0   \n",
       "7                                     حامد صاحب ویلڈن           0.0   \n",
       "8                   وچارہ ویلا ہوندا ہویا نجومی منندہ           1.0   \n",
       "9                           سمجھتہ سارا پاکستن بیوقوف           1.0   \n",
       "10                                 لڑاںٔی کروانی ساڈی           0.0   \n",
       "11                              پائن دوبرہ فالو کرئیہ           0.0   \n",
       "12              کتنا مہنگائی دوسو روپہ درجن روپہ ISPR           1.0   \n",
       "13                                       کھاٶ مُسکراٶ           1.0   \n",
       "14                                      چونا ایسا ہوت           0.0   \n",
       "15  خاتمالنبیینمحمدﷺ Surat سوره المزمل ترجمہ اللہ ...           0.0   \n",
       "16                     بیچارہ پہلہ بیوی تیسری ٹرائ کر           1.0   \n",
       "17                                   نہانا ہورہا بورڈ           1.0   \n",
       "18                    اللہ اپنی رحمت سائہ مکمل فرمائہ           0.0   \n",
       "19              آرمی نوٹس مجرم اپنہ جرائیم نوٹس کرےگا           0.0   \n",
       "20  کھونا بچیاتیری کیتی اےتیری کیتی اےشکر تیرنا بو...           1.0   \n",
       "21   سیاست بلاول زرداری کراچی واقعہ نوٹس بلاول زرداری           1.0   \n",
       "22                                    شکریہ لڑکی جینا           0.0   \n",
       "23  صدائا درودا رہینگی جنہا ہوت اہلسنت آبد محمد می...           0.0   \n",
       "24                                    بجائہ ووٹر عزّت           1.0   \n",
       "25     نشئی اسٹیبلشمنٹ چاہیہ وزیراعظم سکت PMبنتہ دیکھ           1.0   \n",
       "26            مشکل لیکن ناممکن نہانا کامران صاحب کوشش           0.0   \n",
       "27         پورہ ہفتہ سالن روٹی نہانا کھانا نہانا میرا           0.0   \n",
       "28                                               رہنہ           1.0   \n",
       "29   بیشک کیمنا حرام زیادہ نہانا کرت کامران کتنا پیسا           1.0   \n",
       "30  ماضی انتہائی وقوف سمجھدار لڑکی مریم نواز بزدار...           0.0   \n",
       "31                                          آمین آمین           0.0   \n",
       "32                            جیتھہ کھونا وتھہ کھلوتی           1.0   \n",
       "33  اسمبلی بغیر ڈیزل کیونکہ اِسکو گدھا گدھہ ڈیزل ن...           1.0   \n",
       "34  عجیب کامران صاحب پنگا ابھی گولی انہا ہونا چاہی...           0.0   \n",
       "35                                              ناٸیٹ           0.0   \n",
       "36                       دروازہ اترتہ پہلہ تھپڑ لگاتہ           1.0   \n",
       "37                       ویسہ اپنہ کلہاڑی مرْنا سیکھہ           1.0   \n",
       "38                              دلہن پھپھو میرا نہانا           0.0   \n",
       "39             ہاہاہاہاہاہاہاہاہاہاہاہاہاہاہاہا کمینہ           0.0   \n",
       "40  محمد ندیم بطور پاکستنی بلاول زرداری عزیز وزیر ...           1.0   \n",
       "41  قطری نانی رانی ذلیل ہونہ چاہت قطری نانی پھنسنا...           1.0   \n",
       "42  اچھا بھائیا زیادہ ویلکم سکنا لڑکی بہنا نہیںبلی...           0.0   \n",
       "43                                     موٹی چڑیل ٹویٹ           0.0   \n",
       "44                                              ایتھہ           1.0   \n",
       "45                محترمہ سارا خلاف بکواس فوجی ساتھ جا           1.0   \n",
       "46         لگت انکہ دیوت پاکستن لکیرا سہارہ سوچت بولت           0.0   \n",
       "47  ہاہاہاہاہاہاہاہاہاہاہااہاہاہاہا لگدا مینا قربن...           0.0   \n",
       "48                     نہانا الٹنا کھوپڑی دوسرہ نکلنا           1.0   \n",
       "49           ہوت ساتھ گیارہ جات تریخ بربد کردینا صاحب           1.0   \n",
       "\n",
       "   Unnamed: 6  Unnamed: 7  \n",
       "0         NaN         NaN  \n",
       "1         NaN         NaN  \n",
       "2         NaN         NaN  \n",
       "3         NaN         NaN  \n",
       "4         NaN         NaN  \n",
       "5         NaN         NaN  \n",
       "6         NaN         NaN  \n",
       "7         NaN         NaN  \n",
       "8         NaN         NaN  \n",
       "9         NaN         NaN  \n",
       "10        NaN         NaN  \n",
       "11        NaN         NaN  \n",
       "12        NaN         NaN  \n",
       "13        NaN         NaN  \n",
       "14        NaN         NaN  \n",
       "15        NaN         NaN  \n",
       "16        NaN         NaN  \n",
       "17        NaN         NaN  \n",
       "18        NaN         NaN  \n",
       "19        NaN         NaN  \n",
       "20        NaN         NaN  \n",
       "21        NaN         NaN  \n",
       "22        NaN         NaN  \n",
       "23        NaN         NaN  \n",
       "24        NaN         NaN  \n",
       "25        NaN         NaN  \n",
       "26        NaN         NaN  \n",
       "27        NaN         NaN  \n",
       "28        NaN         NaN  \n",
       "29        NaN         NaN  \n",
       "30        NaN         NaN  \n",
       "31        NaN         NaN  \n",
       "32        NaN         NaN  \n",
       "33        NaN         NaN  \n",
       "34        NaN         NaN  \n",
       "35        NaN         NaN  \n",
       "36        NaN         NaN  \n",
       "37        NaN         NaN  \n",
       "38        NaN         NaN  \n",
       "39        NaN         NaN  \n",
       "40        NaN         NaN  \n",
       "41        NaN         NaN  \n",
       "42        NaN         NaN  \n",
       "43        NaN         NaN  \n",
       "44        NaN         NaN  \n",
       "45        NaN         NaN  \n",
       "46        NaN         NaN  \n",
       "47        NaN         NaN  \n",
       "48        NaN         NaN  \n",
       "49        NaN         NaN  "
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(50)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1fea7b61",
   "metadata": {},
   "source": [
    "# Phase 3: Feature Extraction"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "cf03852a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0            [لینہ, میرا, شادی, فسادن, کوجی, نہانا, چاہیہ]\n",
       "1                          [مہمانا, کھا, چڑیل, چاچی, دسدی]\n",
       "2        [کامران, میرا, بھریہ, داری, لگنا, اپوزیشن, کرد...\n",
       "3                                           [نہانا, پائین]\n",
       "4                                       [مراد, بھیس, حامد]\n",
       "                               ...                        \n",
       "19999                   [راجہ, صاحب, چھڈیا, آواز, یوتھیئہ]\n",
       "20000                                 [بےبی, پرائم, منسٹر]\n",
       "20001            [اتنا, بونگا, وزیر, اعظم, ڈھونڈنہ, نہانا]\n",
       "20002    [کاکا, عِدت, پوری, نہانا, ہونہ, عوام, کیسہ, تی...\n",
       "20003    [جتنا, مرضی, بلیک, نہانا, گاجتنہ, مرضی, جلسہ, ...\n",
       "Name: urdu_text, Length: 19955, dtype: object"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokens = df['urdu_text'].apply(urdu_text_processing.urdu_tokenize)\n",
    "tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "70edd1ea",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "c126cfc3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>اعتبر</th>\n",
       "      <th>انساں</th>\n",
       "      <th>اوراس</th>\n",
       "      <th>اپوزیشن</th>\n",
       "      <th>بدبوآپ</th>\n",
       "      <th>بھریہ</th>\n",
       "      <th>بھیس</th>\n",
       "      <th>بیوقوف</th>\n",
       "      <th>تھکنا</th>\n",
       "      <th>حامد</th>\n",
       "      <th>...</th>\n",
       "      <th>چڑیل</th>\n",
       "      <th>کامران</th>\n",
       "      <th>کردار</th>\n",
       "      <th>کماناچاہتےہا</th>\n",
       "      <th>کوجی</th>\n",
       "      <th>کھا</th>\n",
       "      <th>کےسفرما</th>\n",
       "      <th>ہوندا</th>\n",
       "      <th>ہویا</th>\n",
       "      <th>ہےہما</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.399177</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.447214</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.447214</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.198906</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.198906</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.606043</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.515192</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>0.816497</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.5</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.5</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.515192</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.408248</td>\n",
       "      <td>0.408248</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.5</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>...</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10 rows × 59 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      اعتبر  انساں     اوراس   اپوزیشن    بدبوآپ     بھریہ      بھیس  بیوقوف  \\\n",
       "0  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "1  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "2  0.000000    0.0  0.198906  0.198906  0.198906  0.198906  0.000000     0.0   \n",
       "3  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "4  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.606043     0.0   \n",
       "5  0.816497    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "6  0.000000    0.5  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "7  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "8  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.0   \n",
       "9  0.000000    0.0  0.000000  0.000000  0.000000  0.000000  0.000000     0.5   \n",
       "\n",
       "   تھکنا      حامد  ...      چڑیل    کامران     کردار  کماناچاہتےہا      کوجی  \\\n",
       "0    0.0  0.000000  ...  0.000000  0.000000  0.000000      0.000000  0.399177   \n",
       "1    0.0  0.000000  ...  0.447214  0.000000  0.000000      0.000000  0.000000   \n",
       "2    0.0  0.000000  ...  0.000000  0.198906  0.198906      0.198906  0.000000   \n",
       "3    0.0  0.000000  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "4    0.0  0.515192  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "5    0.0  0.000000  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "6    0.5  0.000000  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "7    0.0  0.515192  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "8    0.0  0.000000  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "9    0.0  0.000000  ...  0.000000  0.000000  0.000000      0.000000  0.000000   \n",
       "\n",
       "        کھا   کےسفرما     ہوندا      ہویا     ہےہما  \n",
       "0  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "1  0.447214  0.000000  0.000000  0.000000  0.000000  \n",
       "2  0.000000  0.198906  0.000000  0.000000  0.198906  \n",
       "3  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "4  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "5  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "6  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "7  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "8  0.000000  0.000000  0.408248  0.408248  0.000000  \n",
       "9  0.000000  0.000000  0.000000  0.000000  0.000000  \n",
       "\n",
       "[10 rows x 59 columns]"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vectorizer = TfidfVectorizer()\n",
    "\n",
    "tfidf_vectors = vectorizer.fit_transform(df['urdu_text'][:10])\n",
    "\n",
    "# Convert the TF-IDF vectors to a DataFrame\n",
    "tfidf_df = pd.DataFrame(tfidf_vectors.toarray(), columns=vectorizer.get_feature_names_out())\n",
    "\n",
    "# Print the TF-IDF DataFrame\n",
    "tfidf_df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "67f91f2c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>نہانا</th>\n",
       "      <td>3.416219</td>\n",
       "      <td>1.321064</td>\n",
       "      <td>4.906890</td>\n",
       "      <td>-2.999023</td>\n",
       "      <td>-0.671047</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>میرا</th>\n",
       "      <td>2.474938</td>\n",
       "      <td>2.697515</td>\n",
       "      <td>3.755540</td>\n",
       "      <td>-3.753396</td>\n",
       "      <td>-0.181537</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>اللہ</th>\n",
       "      <td>2.709821</td>\n",
       "      <td>2.484616</td>\n",
       "      <td>4.540586</td>\n",
       "      <td>-5.886301</td>\n",
       "      <td>-7.439035</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>صاحب</th>\n",
       "      <td>1.340916</td>\n",
       "      <td>-0.335377</td>\n",
       "      <td>5.094649</td>\n",
       "      <td>-4.360559</td>\n",
       "      <td>-0.053183</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>سندھ</th>\n",
       "      <td>0.605115</td>\n",
       "      <td>4.714535</td>\n",
       "      <td>6.849089</td>\n",
       "      <td>-2.732483</td>\n",
       "      <td>3.490943</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>پاکستن</th>\n",
       "      <td>0.914264</td>\n",
       "      <td>0.669867</td>\n",
       "      <td>5.644705</td>\n",
       "      <td>-4.324653</td>\n",
       "      <td>0.695528</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>والا</th>\n",
       "      <td>1.502854</td>\n",
       "      <td>4.203449</td>\n",
       "      <td>3.924950</td>\n",
       "      <td>-4.174159</td>\n",
       "      <td>-0.110684</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>کرنہ</th>\n",
       "      <td>2.612968</td>\n",
       "      <td>3.226404</td>\n",
       "      <td>4.423012</td>\n",
       "      <td>-4.177242</td>\n",
       "      <td>0.786045</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>️</th>\n",
       "      <td>-2.850546</td>\n",
       "      <td>6.124665</td>\n",
       "      <td>2.687757</td>\n",
       "      <td>-10.056393</td>\n",
       "      <td>-1.100048</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>نواز</th>\n",
       "      <td>2.222471</td>\n",
       "      <td>-2.427465</td>\n",
       "      <td>8.010687</td>\n",
       "      <td>-4.135088</td>\n",
       "      <td>3.169136</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0         1         2          3         4\n",
       "نہانا   3.416219  1.321064  4.906890  -2.999023 -0.671047\n",
       "میرا    2.474938  2.697515  3.755540  -3.753396 -0.181537\n",
       "اللہ    2.709821  2.484616  4.540586  -5.886301 -7.439035\n",
       "صاحب    1.340916 -0.335377  5.094649  -4.360559 -0.053183\n",
       "سندھ    0.605115  4.714535  6.849089  -2.732483  3.490943\n",
       "پاکستن  0.914264  0.669867  5.644705  -4.324653  0.695528\n",
       "والا    1.502854  4.203449  3.924950  -4.174159 -0.110684\n",
       "کرنہ    2.612968  3.226404  4.423012  -4.177242  0.786045\n",
       "️      -2.850546  6.124665  2.687757 -10.056393 -1.100048\n",
       "نواز    2.222471 -2.427465  8.010687  -4.135088  3.169136"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from gensim.models import Word2Vec\n",
    "\n",
    "model_cbow = Word2Vec(sentences=tokens, min_count=1, window=4,sg=0,vector_size=5)\n",
    "\n",
    "cbow_vectors = model_cbow.wv\n",
    "\n",
    "#creating a data frame for cbow word2vec\n",
    "\n",
    "df_cbow = pd.DataFrame(cbow_vectors.vectors, index = cbow_vectors.index_to_key)\n",
    "\n",
    "df_cbow.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "3e37560a",
   "metadata": {},
   "outputs": [],
   "source": [
    "similar_words = model_cbow.wv.most_similar(\"اچھا\", topn=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "d25e1e5b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('بولئہ', 0.999354898929596),\n",
       " ('بیوقوف', 0.9988667964935303),\n",
       " ('فائدہ', 0.9985321760177612),\n",
       " ('مذہبی', 0.9981155395507812),\n",
       " ('گالی', 0.9980341792106628)]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "similar_words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "2894cd62",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>نہانا</th>\n",
       "      <td>0.771271</td>\n",
       "      <td>1.038960</td>\n",
       "      <td>1.886552</td>\n",
       "      <td>-0.754217</td>\n",
       "      <td>0.057614</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>میرا</th>\n",
       "      <td>1.362549</td>\n",
       "      <td>1.236548</td>\n",
       "      <td>1.505917</td>\n",
       "      <td>-0.799155</td>\n",
       "      <td>0.227722</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>اللہ</th>\n",
       "      <td>1.841931</td>\n",
       "      <td>0.187674</td>\n",
       "      <td>0.741421</td>\n",
       "      <td>-1.937345</td>\n",
       "      <td>-1.884491</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>صاحب</th>\n",
       "      <td>0.493784</td>\n",
       "      <td>-0.458750</td>\n",
       "      <td>1.884800</td>\n",
       "      <td>-1.195364</td>\n",
       "      <td>0.155398</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>سندھ</th>\n",
       "      <td>-0.810010</td>\n",
       "      <td>1.496649</td>\n",
       "      <td>2.796462</td>\n",
       "      <td>-1.550992</td>\n",
       "      <td>1.488128</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>پاکستن</th>\n",
       "      <td>-0.029442</td>\n",
       "      <td>-0.183883</td>\n",
       "      <td>1.895952</td>\n",
       "      <td>-1.396320</td>\n",
       "      <td>0.537332</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>والا</th>\n",
       "      <td>0.376829</td>\n",
       "      <td>1.985472</td>\n",
       "      <td>1.707943</td>\n",
       "      <td>-0.849060</td>\n",
       "      <td>-0.277413</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>کرنہ</th>\n",
       "      <td>0.088573</td>\n",
       "      <td>1.516109</td>\n",
       "      <td>1.630515</td>\n",
       "      <td>-1.125776</td>\n",
       "      <td>0.465819</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>️</th>\n",
       "      <td>-0.693844</td>\n",
       "      <td>2.075157</td>\n",
       "      <td>0.332344</td>\n",
       "      <td>-3.428743</td>\n",
       "      <td>-0.929718</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>نواز</th>\n",
       "      <td>1.970098</td>\n",
       "      <td>-1.227998</td>\n",
       "      <td>2.781157</td>\n",
       "      <td>-1.329027</td>\n",
       "      <td>0.837791</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0         1         2         3         4\n",
       "نہانا   0.771271  1.038960  1.886552 -0.754217  0.057614\n",
       "میرا    1.362549  1.236548  1.505917 -0.799155  0.227722\n",
       "اللہ    1.841931  0.187674  0.741421 -1.937345 -1.884491\n",
       "صاحب    0.493784 -0.458750  1.884800 -1.195364  0.155398\n",
       "سندھ   -0.810010  1.496649  2.796462 -1.550992  1.488128\n",
       "پاکستن -0.029442 -0.183883  1.895952 -1.396320  0.537332\n",
       "والا    0.376829  1.985472  1.707943 -0.849060 -0.277413\n",
       "کرنہ    0.088573  1.516109  1.630515 -1.125776  0.465819\n",
       "️      -0.693844  2.075157  0.332344 -3.428743 -0.929718\n",
       "نواز    1.970098 -1.227998  2.781157 -1.329027  0.837791"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from gensim.models import Word2Vec\n",
    "\n",
    "model_skipgram = Word2Vec(sentences=tokens, min_count=1, window=4,sg=1, vector_size=5)\n",
    "\n",
    "sk_vectors = model_skipgram.wv\n",
    "\n",
    "#creating a data frame for skipgram word2vec\n",
    "\n",
    "df_sk = pd.DataFrame(sk_vectors.vectors, index = sk_vectors.index_to_key)\n",
    "\n",
    "df_sk.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "3bda781b",
   "metadata": {},
   "outputs": [],
   "source": [
    "similar_words_sk = model_skipgram.wv.most_similar(\"اچھا\", topn=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "f8d59c05",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('وَاٰلِہٖ', 0.9973012208938599),\n",
       " ('مــن', 0.9958191514015198),\n",
       " ('یوٹیوبر', 0.9955233335494995),\n",
       " ('نانسینس', 0.995385468006134),\n",
       " ('چاہیےجسما', 0.9942165613174438)]"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "similar_words_sk"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "68441613",
   "metadata": {},
   "source": [
    "# Phase 5 : N-gram Analysis"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "5b8a3506",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import CountVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "647eed7f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>اعتبر</th>\n",
       "      <th>انساں</th>\n",
       "      <th>اوراس</th>\n",
       "      <th>اپوزیشن</th>\n",
       "      <th>بدبوآپ</th>\n",
       "      <th>بھریہ</th>\n",
       "      <th>بھیس</th>\n",
       "      <th>بیوقوف</th>\n",
       "      <th>تھکنا</th>\n",
       "      <th>حامد</th>\n",
       "      <th>...</th>\n",
       "      <th>چڑیل</th>\n",
       "      <th>کامران</th>\n",
       "      <th>کردار</th>\n",
       "      <th>کماناچاہتےہا</th>\n",
       "      <th>کوجی</th>\n",
       "      <th>کھا</th>\n",
       "      <th>کےسفرما</th>\n",
       "      <th>ہوندا</th>\n",
       "      <th>ہویا</th>\n",
       "      <th>ہےہما</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10 rows × 59 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   اعتبر  انساں  اوراس  اپوزیشن  بدبوآپ  بھریہ  بھیس  بیوقوف  تھکنا  حامد  \\\n",
       "0      0      0      0        0       0      0     0       0      0     0   \n",
       "1      0      0      0        0       0      0     0       0      0     0   \n",
       "2      0      0      1        1       1      1     0       0      0     0   \n",
       "3      0      0      0        0       0      0     0       0      0     0   \n",
       "4      0      0      0        0       0      0     1       0      0     1   \n",
       "5      2      0      0        0       0      0     0       0      0     0   \n",
       "6      0      1      0        0       0      0     0       0      1     0   \n",
       "7      0      0      0        0       0      0     0       0      0     1   \n",
       "8      0      0      0        0       0      0     0       0      0     0   \n",
       "9      0      0      0        0       0      0     0       1      0     0   \n",
       "\n",
       "   ...  چڑیل  کامران  کردار  کماناچاہتےہا  کوجی  کھا  کےسفرما  ہوندا  ہویا  \\\n",
       "0  ...     0       0      0             0     1    0        0      0     0   \n",
       "1  ...     1       0      0             0     0    1        0      0     0   \n",
       "2  ...     0       1      1             1     0    0        1      0     0   \n",
       "3  ...     0       0      0             0     0    0        0      0     0   \n",
       "4  ...     0       0      0             0     0    0        0      0     0   \n",
       "5  ...     0       0      0             0     0    0        0      0     0   \n",
       "6  ...     0       0      0             0     0    0        0      0     0   \n",
       "7  ...     0       0      0             0     0    0        0      0     0   \n",
       "8  ...     0       0      0             0     0    0        0      1     1   \n",
       "9  ...     0       0      0             0     0    0        0      0     0   \n",
       "\n",
       "   ہےہما  \n",
       "0      0  \n",
       "1      0  \n",
       "2      1  \n",
       "3      0  \n",
       "4      0  \n",
       "5      0  \n",
       "6      0  \n",
       "7      0  \n",
       "8      0  \n",
       "9      0  \n",
       "\n",
       "[10 rows x 59 columns]"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Initialize the CountVectorizer with desired unigram-gram range\n",
    "unigram_vectorizer = CountVectorizer()\n",
    "\n",
    "# Fit and transform the text data\n",
    "unigram_vectors = unigram_vectorizer.fit_transform(df['urdu_text'][:10])\n",
    "\n",
    "# Convert the unigram vectors to a DataFrame\n",
    "unigram_df = pd.DataFrame(unigram_vectors.toarray(), columns=unigram_vectorizer.get_feature_names_out())\n",
    "\n",
    "# Print the uni-gram DataFrame\n",
    "unigram_df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "1a406c6b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "نہانا         3\n",
       "اعتبر         2\n",
       "میرا          2\n",
       "حامد          2\n",
       "پاکستن        1\n",
       "مراد          1\n",
       "منندہ         1\n",
       "موٹرسائیکل    1\n",
       "مہمانا        1\n",
       "نجومی         1\n",
       "dtype: int64"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Sum the trigram counts across all rows\n",
    "unigram_counts = unigram_df.sum(axis=0)\n",
    "\n",
    "# Sort the trigrams by frequency in descending order and get the top 10\n",
    "top_10_unigrams = unigram_counts.sort_values(ascending=False).head(10)\n",
    "\n",
    "top_10_unigrams"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "124a73dd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>اعتبر قاتل</th>\n",
       "      <th>انساں تھکنا</th>\n",
       "      <th>اوراس پربھونکناہےآپ</th>\n",
       "      <th>اپوزیشن کردار</th>\n",
       "      <th>بدبوآپ نہانا</th>\n",
       "      <th>بھریہ داری</th>\n",
       "      <th>بھیس حامد</th>\n",
       "      <th>تھکنا دیت</th>\n",
       "      <th>حامد صاحب</th>\n",
       "      <th>خوشامدگری وچاپلوسی</th>\n",
       "      <th>...</th>\n",
       "      <th>چڑیل چاچی</th>\n",
       "      <th>کامران میرا</th>\n",
       "      <th>کردار اوراس</th>\n",
       "      <th>کماناچاہتےہا موٹرسائیکل</th>\n",
       "      <th>کوجی نہانا</th>\n",
       "      <th>کھا چڑیل</th>\n",
       "      <th>کےسفرما ضمیرکی</th>\n",
       "      <th>ہوندا ہویا</th>\n",
       "      <th>ہویا نجومی</th>\n",
       "      <th>ہےہما فالوکرا</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10 rows × 54 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   اعتبر قاتل  انساں تھکنا  اوراس پربھونکناہےآپ  اپوزیشن کردار  بدبوآپ نہانا  \\\n",
       "0           0            0                    0              0             0   \n",
       "1           0            0                    0              0             0   \n",
       "2           0            0                    1              1             1   \n",
       "3           0            0                    0              0             0   \n",
       "4           0            0                    0              0             0   \n",
       "5           1            0                    0              0             0   \n",
       "6           0            1                    0              0             0   \n",
       "7           0            0                    0              0             0   \n",
       "8           0            0                    0              0             0   \n",
       "9           0            0                    0              0             0   \n",
       "\n",
       "   بھریہ داری  بھیس حامد  تھکنا دیت  حامد صاحب  خوشامدگری وچاپلوسی  ...  \\\n",
       "0           0          0          0          0                   0  ...   \n",
       "1           0          0          0          0                   0  ...   \n",
       "2           1          0          0          0                   1  ...   \n",
       "3           0          0          0          0                   0  ...   \n",
       "4           0          1          0          0                   0  ...   \n",
       "5           0          0          0          0                   0  ...   \n",
       "6           0          0          1          0                   0  ...   \n",
       "7           0          0          0          1                   0  ...   \n",
       "8           0          0          0          0                   0  ...   \n",
       "9           0          0          0          0                   0  ...   \n",
       "\n",
       "   چڑیل چاچی  کامران میرا  کردار اوراس  کماناچاہتےہا موٹرسائیکل  کوجی نہانا  \\\n",
       "0          0            0            0                        0           1   \n",
       "1          1            0            0                        0           0   \n",
       "2          0            1            1                        1           0   \n",
       "3          0            0            0                        0           0   \n",
       "4          0            0            0                        0           0   \n",
       "5          0            0            0                        0           0   \n",
       "6          0            0            0                        0           0   \n",
       "7          0            0            0                        0           0   \n",
       "8          0            0            0                        0           0   \n",
       "9          0            0            0                        0           0   \n",
       "\n",
       "   کھا چڑیل  کےسفرما ضمیرکی  ہوندا ہویا  ہویا نجومی  ہےہما فالوکرا  \n",
       "0         0               0           0           0              0  \n",
       "1         1               0           0           0              0  \n",
       "2         0               1           0           0              1  \n",
       "3         0               0           0           0              0  \n",
       "4         0               0           0           0              0  \n",
       "5         0               0           0           0              0  \n",
       "6         0               0           0           0              0  \n",
       "7         0               0           0           0              0  \n",
       "8         0               0           1           1              0  \n",
       "9         0               0           0           0              0  \n",
       "\n",
       "[10 rows x 54 columns]"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Initialize the CountVectorizer with desired unigram-gram range\n",
    "bigram_vectorizer = CountVectorizer(ngram_range=(2,2))\n",
    "\n",
    "# Fit and transform the text data\n",
    "bigram_vectors = bigram_vectorizer.fit_transform(df['urdu_text'][:10])\n",
    "\n",
    "# Convert the unigram vectors to a DataFrame\n",
    "bigram_df = pd.DataFrame(bigram_vectors.toarray(), columns=bigram_vectorizer.get_feature_names_out())\n",
    "\n",
    "# Print the uni-gram DataFrame\n",
    "bigram_df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "b6a2d0a0",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "اعتبر قاتل             1\n",
       "پاکستن بیوقوف          1\n",
       "موٹرسائیکل سےپیجارو    1\n",
       "مہمانا کھا             1\n",
       "میرا بھریہ             1\n",
       "میرا شادی              1\n",
       "نجومی منندہ            1\n",
       "نہانا سےالتجاگزارش     1\n",
       "نہانا پائین            1\n",
       "نہانا چاہیہ            1\n",
       "dtype: int64"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Sum the trigram counts across all rows\n",
    "bigram_counts = bigram_df.sum(axis=0)\n",
    "\n",
    "# Sort the trigrams by frequency in descending order and get the top 10\n",
    "top_10_bigrams = bigram_counts.sort_values(ascending=False).head(10)\n",
    "\n",
    "top_10_bigrams"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "90a12ffc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>اعتبر قاتل اعتبر</th>\n",
       "      <th>انساں تھکنا دیت</th>\n",
       "      <th>اوراس پربھونکناہےآپ خوشامدگری</th>\n",
       "      <th>اپوزیشن کردار اوراس</th>\n",
       "      <th>بدبوآپ نہانا سےالتجاگزارش</th>\n",
       "      <th>بھریہ داری لگنا</th>\n",
       "      <th>تھکنا دیت سوچنا</th>\n",
       "      <th>حامد صاحب ویلڈن</th>\n",
       "      <th>خوشامدگری وچاپلوسی سےاورکتنی</th>\n",
       "      <th>داری لگنا اپوزیشن</th>\n",
       "      <th>...</th>\n",
       "      <th>چڑیل چاچی دسدی</th>\n",
       "      <th>کامران میرا بھریہ</th>\n",
       "      <th>کردار اوراس پربھونکناہےآپ</th>\n",
       "      <th>کماناچاہتےہا موٹرسائیکل سےپیجارو</th>\n",
       "      <th>کوجی نہانا چاہیہ</th>\n",
       "      <th>کھا چڑیل چاچی</th>\n",
       "      <th>کےسفرما ضمیرکی سےاٹھتی</th>\n",
       "      <th>ہوندا ہویا نجومی</th>\n",
       "      <th>ہویا نجومی منندہ</th>\n",
       "      <th>ہےہما فالوکرا شکریہ</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>10 rows × 44 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   اعتبر قاتل اعتبر  انساں تھکنا دیت  اوراس پربھونکناہےآپ خوشامدگری  \\\n",
       "0                 0                0                              0   \n",
       "1                 0                0                              0   \n",
       "2                 0                0                              1   \n",
       "3                 0                0                              0   \n",
       "4                 0                0                              0   \n",
       "5                 1                0                              0   \n",
       "6                 0                1                              0   \n",
       "7                 0                0                              0   \n",
       "8                 0                0                              0   \n",
       "9                 0                0                              0   \n",
       "\n",
       "   اپوزیشن کردار اوراس  بدبوآپ نہانا سےالتجاگزارش  بھریہ داری لگنا  \\\n",
       "0                    0                          0                0   \n",
       "1                    0                          0                0   \n",
       "2                    1                          1                1   \n",
       "3                    0                          0                0   \n",
       "4                    0                          0                0   \n",
       "5                    0                          0                0   \n",
       "6                    0                          0                0   \n",
       "7                    0                          0                0   \n",
       "8                    0                          0                0   \n",
       "9                    0                          0                0   \n",
       "\n",
       "   تھکنا دیت سوچنا  حامد صاحب ویلڈن  خوشامدگری وچاپلوسی سےاورکتنی  \\\n",
       "0                0                0                             0   \n",
       "1                0                0                             0   \n",
       "2                0                0                             1   \n",
       "3                0                0                             0   \n",
       "4                0                0                             0   \n",
       "5                0                0                             0   \n",
       "6                1                0                             0   \n",
       "7                0                1                             0   \n",
       "8                0                0                             0   \n",
       "9                0                0                             0   \n",
       "\n",
       "   داری لگنا اپوزیشن  ...  چڑیل چاچی دسدی  کامران میرا بھریہ  \\\n",
       "0                  0  ...               0                  0   \n",
       "1                  0  ...               1                  0   \n",
       "2                  1  ...               0                  1   \n",
       "3                  0  ...               0                  0   \n",
       "4                  0  ...               0                  0   \n",
       "5                  0  ...               0                  0   \n",
       "6                  0  ...               0                  0   \n",
       "7                  0  ...               0                  0   \n",
       "8                  0  ...               0                  0   \n",
       "9                  0  ...               0                  0   \n",
       "\n",
       "   کردار اوراس پربھونکناہےآپ  کماناچاہتےہا موٹرسائیکل سےپیجارو  \\\n",
       "0                          0                                 0   \n",
       "1                          0                                 0   \n",
       "2                          1                                 1   \n",
       "3                          0                                 0   \n",
       "4                          0                                 0   \n",
       "5                          0                                 0   \n",
       "6                          0                                 0   \n",
       "7                          0                                 0   \n",
       "8                          0                                 0   \n",
       "9                          0                                 0   \n",
       "\n",
       "   کوجی نہانا چاہیہ  کھا چڑیل چاچی  کےسفرما ضمیرکی سےاٹھتی  ہوندا ہویا نجومی  \\\n",
       "0                 1              0                       0                 0   \n",
       "1                 0              1                       0                 0   \n",
       "2                 0              0                       1                 0   \n",
       "3                 0              0                       0                 0   \n",
       "4                 0              0                       0                 0   \n",
       "5                 0              0                       0                 0   \n",
       "6                 0              0                       0                 0   \n",
       "7                 0              0                       0                 0   \n",
       "8                 0              0                       0                 1   \n",
       "9                 0              0                       0                 0   \n",
       "\n",
       "   ہویا نجومی منندہ  ہےہما فالوکرا شکریہ  \n",
       "0                 0                    0  \n",
       "1                 0                    0  \n",
       "2                 0                    1  \n",
       "3                 0                    0  \n",
       "4                 0                    0  \n",
       "5                 0                    0  \n",
       "6                 0                    0  \n",
       "7                 0                    0  \n",
       "8                 1                    0  \n",
       "9                 0                    0  \n",
       "\n",
       "[10 rows x 44 columns]"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Initialize the CountVectorizer with desired unigram-gram range\n",
    "trigram_vectorizer = CountVectorizer(ngram_range=(3,3))\n",
    "\n",
    "# Fit and transform the text data\n",
    "trigram_vectors = trigram_vectorizer.fit_transform(df['urdu_text'][:10])\n",
    "\n",
    "# Convert the unigram vectors to a DataFrame\n",
    "trigram_df = pd.DataFrame(trigram_vectors.toarray(), columns=trigram_vectorizer.get_feature_names_out())\n",
    "\n",
    "# Print the uni-gram DataFrame\n",
    "trigram_df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "3caf0d28",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "اعتبر قاتل اعتبر             1\n",
       "انساں تھکنا دیت              1\n",
       "موٹرسائیکل سےپیجارو پراڈو    1\n",
       "مہمانا کھا چڑیل              1\n",
       "میرا بھریہ داری              1\n",
       "میرا شادی فسادن              1\n",
       "نہانا سےالتجاگزارش ہےہما     1\n",
       "وچارہ ویلا ہوندا             1\n",
       "وچاپلوسی سےاورکتنی دولت      1\n",
       "ویلا ہوندا ہویا              1\n",
       "dtype: int64"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Sum the trigram counts across all rows\n",
    "trigram_counts = trigram_df.sum(axis=0)\n",
    "\n",
    "# Sort the trigrams by frequency in descending order and get the top 10\n",
    "top_10_trigrams = trigram_counts.sort_values(ascending=False).head(10)\n",
    "\n",
    "top_10_trigrams"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d2aeffd5",
   "metadata": {},
   "source": [
    "# Phase 5 and 6: Sentiment and Classification Model and Evaluation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "33e4b768",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.naive_bayes import MultinomialNB\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.model_selection import train_test_split\n",
    "# Model Evaluation Libraries\n",
    "from sklearn.metrics import classification_report, confusion_matrix"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "843d5d21",
   "metadata": {},
   "outputs": [],
   "source": [
    "#splitting data into test and train\n",
    "\n",
    "X_train, X_test, Y_train, Y_test = train_test_split(df['urdu_text'], df['is_sarcastic'], test_size = 0.20, random_state = 7)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "a0354b89",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Shape of X_train (15964,)\n",
      "Shape of X_test (3991,)\n",
      "Shape of Y_train (15964,)\n",
      "Shape of Y_test (3991,)\n"
     ]
    }
   ],
   "source": [
    "print('Shape of X_train', X_train.shape)\n",
    "print('Shape of X_test', X_test.shape)\n",
    "print('Shape of Y_train', Y_train.shape)\n",
    "print('Shape of Y_test', Y_test.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "aeefdb48",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\dell\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\sklearn\\feature_extraction\\text.py:1381: UserWarning: Upper case characters found in vocabulary while 'lowercase' is True. These entries will not be matched with any documents\n",
      "  warnings.warn(\n"
     ]
    }
   ],
   "source": [
    "max_feature_num = 50000\n",
    "vectorizer = TfidfVectorizer(max_features=max_feature_num)\n",
    "train_vecs = vectorizer.fit_transform(X_train)\n",
    "test_vecs = TfidfVectorizer(max_features=max_feature_num, vocabulary=vectorizer.vocabulary_).fit_transform(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "7ac11ffb",
   "metadata": {},
   "outputs": [],
   "source": [
    "def LR_classifier(train_vecs, Y_train, test_vecs, Y_test):\n",
    "    # Training\n",
    "    LR = LogisticRegression()\n",
    "    LR.fit(train_vecs, Y_train)\n",
    "\n",
    "    # testing\n",
    "    test_predictionLR = LR.predict(test_vecs)\n",
    "    return classification_report(test_predictionLR, Y_test) , confusion_matrix(test_predictionLR, Y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "04f43f4e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Results of Logistic Regression Classifier on Tf idf Vectorizer\n",
      "              precision    recall  f1-score   support\n",
      "\n",
      "         0.0       0.79      0.80      0.79      1969\n",
      "         1.0       0.80      0.79      0.79      2022\n",
      "\n",
      "    accuracy                           0.79      3991\n",
      "   macro avg       0.79      0.79      0.79      3991\n",
      "weighted avg       0.79      0.79      0.79      3991\n",
      "\n",
      "[[1566  403]\n",
      " [ 425 1597]]\n"
     ]
    }
   ],
   "source": [
    "class_report , conf_matrix = LR_classifier(train_vecs, Y_train, test_vecs, Y_test)\n",
    "print('Results of Logistic Regression Classifier on Tf idf Vectorizer')\n",
    "print(class_report)\n",
    "print(conf_matrix)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "db4ad258",
   "metadata": {},
   "outputs": [],
   "source": [
    "def MNB_classifier(train_vecs, Y_train, test_vecs, Y_test):\n",
    "    # Training\n",
    "    MNB = MultinomialNB()\n",
    "    MNB.fit(train_vecs, Y_train)\n",
    "\n",
    "    # testing\n",
    "    test_predictionMNB = MNB.predict(test_vecs)\n",
    "    return classification_report(test_predictionMNB, Y_test) , confusion_matrix(test_predictionMNB, Y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "id": "7c634565",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Results of Multi nomial Naive Bayes Classifier on Tf idf Vectorizer\n",
      "              precision    recall  f1-score   support\n",
      "\n",
      "         0.0       0.67      0.83      0.74      1609\n",
      "         1.0       0.86      0.72      0.79      2382\n",
      "\n",
      "    accuracy                           0.76      3991\n",
      "   macro avg       0.76      0.78      0.76      3991\n",
      "weighted avg       0.78      0.76      0.77      3991\n",
      "\n",
      "[[1331  278]\n",
      " [ 660 1722]]\n"
     ]
    }
   ],
   "source": [
    "class_report , conf_matrix = MNB_classifier(train_vecs, Y_train, test_vecs, Y_test)\n",
    "print('Results of Multi nomial Naive Bayes Classifier on Tf idf Vectorizer')\n",
    "print(class_report)\n",
    "print(conf_matrix)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "50f4c0b3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"\\nUsing the above two reports, we can see that there is not a huge difference in the accuracy, macro and micro\\naverage of both the models. However, Logistic Regression performs slightly better than the Bayesian Classifier.\\n\\nPrecision and Recall are used as the evaluation metrics. \\nPrecision is the % of items the system detected (i.e., items the\\nsystem labeled as positive) that are in fact positive\\n(according to the human gold labels)\\n\\n--> Logistic Regression has a 79% precision as compared to NB's 67% for the 0's\\n--> Logistic Regression has an 80% precision as compared to NB's 86% for the 1's.\\n\\nLogistic Regression has better precision for class 0.0 (negative) compared to Multinomial Naive Bayes, \\nwhich means Logistic Regression is making fewer false positives when predicting class 0.0.\\nFor class 1.0 (positive), Naive Bayes has a higher precision, indicating that \\nNaive Bayes is slightly better at minimizing false positives when predicting class 1.0.\\n\\nRecall is the % of items actually present in the input that were\\ncorrectly identified by the system.\\n\\n--> Logistic Regression has a recall of 80% as compared to NB's 83% for the 0's\\n--> Logistic Regression has a recall of 79% as compared to NB's 80% for the 1's\\n\\nNaive Bayes has a better recall for class 0.0, meaning it correctly identifies \\nmore of the negative class compared to Logistic Regression.\\nLogistic Regression, however, has better recall for class 1.0, indicating \\nit identifies more of the positive class compared to Naive Bayes.\\n\\n\\nf-score is a single number that combines Precision and Recall\\n\\n--> Logistic Regression has 79% f1-score as compared to NB's 74% for the 0's\\n--> Logistic Regression has 79% f1-score as compared to NB's 79% for the 0's\\n\\nLogistic Regression has a higher F1-score for class 0.0, indicating a better\\nbalance between precision and recall for the negative class.\\nFor class 1.0, both models perform equally well in terms of the F1-score (0.79).\\n\""
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#evaluation\n",
    "\"\"\"\n",
    "Using the above two reports, we can see that there is not a huge difference in the accuracy, macro and micro\n",
    "average of both the models. However, Logistic Regression performs slightly better than the Bayesian Classifier.\n",
    "\n",
    "Precision and Recall are used as the evaluation metrics. \n",
    "Precision is the % of items the system detected (i.e., items the\n",
    "system labeled as positive) that are in fact positive\n",
    "(according to the human gold labels)\n",
    "\n",
    "--> Logistic Regression has a 79% precision as compared to NB's 67% for the 0's\n",
    "--> Logistic Regression has an 80% precision as compared to NB's 86% for the 1's.\n",
    "\n",
    "Logistic Regression has better precision for class 0.0 (negative) compared to Multinomial Naive Bayes, \n",
    "which means Logistic Regression is making fewer false positives when predicting class 0.0.\n",
    "For class 1.0 (positive), Naive Bayes has a higher precision, indicating that \n",
    "Naive Bayes is slightly better at minimizing false positives when predicting class 1.0.\n",
    "\n",
    "Recall is the % of items actually present in the input that were\n",
    "correctly identified by the system.\n",
    "\n",
    "--> Logistic Regression has a recall of 80% as compared to NB's 83% for the 0's\n",
    "--> Logistic Regression has a recall of 79% as compared to NB's 80% for the 1's\n",
    "\n",
    "Naive Bayes has a better recall for class 0.0, meaning it correctly identifies \n",
    "more of the negative class compared to Logistic Regression.\n",
    "Logistic Regression, however, has better recall for class 1.0, indicating \n",
    "it identifies more of the positive class compared to Naive Bayes.\n",
    "\n",
    "\n",
    "f-score is a single number that combines Precision and Recall\n",
    "\n",
    "--> Logistic Regression has 79% f1-score as compared to NB's 74% for the 0's\n",
    "--> Logistic Regression has 79% f1-score as compared to NB's 79% for the 0's\n",
    "\n",
    "Logistic Regression has a higher F1-score for class 0.0, indicating a better\n",
    "balance between precision and recall for the negative class.\n",
    "For class 1.0, both models perform equally well in terms of the F1-score (0.79).\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "41c17514",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Multinomial Naive Bayes Report:\\nClass 0.0 (Negative class):\\n\\nPrecision: 0.67 (Out of all instances predicted as 0.0, 67% were correct)\\nRecall: 0.83 (Out of all actual 0.0 instances, the model identified 83%)\\nF1-Score: 0.74 (This is the harmonic mean of precision and recall; it balances both metrics)\\nSupport: 1609 (Number of actual instances of class 0.0)\\nClass 1.0 (Positive class):\\n\\nPrecision: 0.86 (Out of all instances predicted as 1.0, 86% were correct)\\nRecall: 0.72 (Out of all actual 1.0 instances, the model identified 72%)\\nF1-Score: 0.79\\nSupport: 2382\\nOverall Metrics:\\n\\nAccuracy: 0.76 (76% of the total predictions were correct)\\nMacro Average:\\nPrecision: 0.76\\nRecall: 0.78\\nF1-Score: 0.76\\nWeighted Average (takes into account class imbalance):\\nPrecision: 0.78\\nRecall: 0.76\\nF1-Score: 0.77\\n\\n\\n[[1331  278]  ->  Class 0.0: 1331 correctly classified as 0.0, 278 misclassified as 1.0\\n [ 660 1722]] ->  Class 1.0: 1722 correctly classified as 1.0, 660 misclassified as 0.0\\n\\n'"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"Multinomial Naive Bayes Report:\n",
    "Class 0.0 (Negative class):\n",
    "\n",
    "Precision: 0.67 (Out of all instances predicted as 0.0, 67% were correct)\n",
    "Recall: 0.83 (Out of all actual 0.0 instances, the model identified 83%)\n",
    "F1-Score: 0.74 (This is the harmonic mean of precision and recall; it balances both metrics)\n",
    "Support: 1609 (Number of actual instances of class 0.0)\n",
    "Class 1.0 (Positive class):\n",
    "\n",
    "Precision: 0.86 (Out of all instances predicted as 1.0, 86% were correct)\n",
    "Recall: 0.72 (Out of all actual 1.0 instances, the model identified 72%)\n",
    "F1-Score: 0.79\n",
    "Support: 2382\n",
    "Overall Metrics:\n",
    "\n",
    "Accuracy: 0.76 (76% of the total predictions were correct)\n",
    "Macro Average:\n",
    "Precision: 0.76\n",
    "Recall: 0.78\n",
    "F1-Score: 0.76\n",
    "Weighted Average (takes into account class imbalance):\n",
    "Precision: 0.78\n",
    "Recall: 0.76\n",
    "F1-Score: 0.77\n",
    "\n",
    "\n",
    "[[1331  278]  ->  Class 0.0: 1331 correctly classified as 0.0, 278 misclassified as 1.0\n",
    " [ 660 1722]] ->  Class 1.0: 1722 correctly classified as 1.0, 660 misclassified as 0.0\n",
    "\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "9d6b5b5f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Class 0.0 (Negative class):\\n\\nPrecision: 0.79 (Out of all instances predicted as 0.0, 79% were correct)\\nRecall: 0.80 (Out of all actual 0.0 instances, the model identified 80%)\\nF1-Score: 0.79\\nSupport: 1969\\nClass 1.0 (Positive class):\\n\\nPrecision: 0.80 (Out of all instances predicted as 1.0, 80% were correct)\\nRecall: 0.79 (Out of all actual 1.0 instances, the model identified 79%)\\nF1-Score: 0.79\\nSupport: 2022\\nOverall Metrics:\\n\\nAccuracy: 0.79 (79% of the total predictions were correct)\\nMacro Average:\\nPrecision: 0.79\\nRecall: 0.79\\nF1-Score: 0.79\\nWeighted Average:\\nPrecision: 0.79\\nRecall: 0.79\\nF1-Score: 0.79\\n\\n[[1566  403]  ->  Class 0.0: 1566 correctly classified as 0.0, 403 misclassified as 1.0\\n [ 425 1597]] ->  Class 1.0: 1597 correctly classified as 1.0, 425 misclassified as 0.0\\n\\n\\n'"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"\"\"Class 0.0 (Negative class):\n",
    "\n",
    "Precision: 0.79 (Out of all instances predicted as 0.0, 79% were correct)\n",
    "Recall: 0.80 (Out of all actual 0.0 instances, the model identified 80%)\n",
    "F1-Score: 0.79\n",
    "Support: 1969\n",
    "Class 1.0 (Positive class):\n",
    "\n",
    "Precision: 0.80 (Out of all instances predicted as 1.0, 80% were correct)\n",
    "Recall: 0.79 (Out of all actual 1.0 instances, the model identified 79%)\n",
    "F1-Score: 0.79\n",
    "Support: 2022\n",
    "Overall Metrics:\n",
    "\n",
    "Accuracy: 0.79 (79% of the total predictions were correct)\n",
    "Macro Average:\n",
    "Precision: 0.79\n",
    "Recall: 0.79\n",
    "F1-Score: 0.79\n",
    "Weighted Average:\n",
    "Precision: 0.79\n",
    "Recall: 0.79\n",
    "F1-Score: 0.79\n",
    "\n",
    "[[1566  403]  ->  Class 0.0: 1566 correctly classified as 0.0, 403 misclassified as 1.0\n",
    " [ 425 1597]] ->  Class 1.0: 1597 correctly classified as 1.0, 425 misclassified as 0.0\n",
    "\n",
    "\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "1ad37720",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\\n- I have used TfIdf vectorizer but MNB works better with Count Vectorizer because it assumes independence b/w features\\n  so using Tfidf may improve MNB\\n- MNB works better with simpler features, \\n  but incorporating context through n-grams helps it learn relationships between adjacent words.\\n- We can tune the alpha parameter for Laplace smooting\\n- working closely with stopwords removal and normalization of text can also optimize both the models\\n- LR has a c paramter by default, we can tune it for optimization\\n\\n'"
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#optimization\n",
    "\"\"\"\n",
    "- I have used TfIdf vectorizer but MNB works better with Count Vectorizer because it assumes independence b/w features\n",
    "  so using Tfidf may improve MNB\n",
    "- MNB works better with simpler features, \n",
    "  but incorporating context through n-grams helps it learn relationships between adjacent words.\n",
    "- We can tune the alpha parameter for Laplace smooting\n",
    "- working closely with stopwords removal and normalization of text can also optimize both the models\n",
    "- LR has a c paramter by default, we can tune it for optimization\n",
    "\n",
    "\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "id": "90e78e61",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\\n- Difficult to validate stemming and lemmatization\\n- punctuation marks are also different, difficulty in data cleaning\\n- difficulty in ensuring data cleanliness\\n- Challenges that may occur when working with social media urdu data\\n   includes that the language used is not even pure Urdu, \\n   it is a mix of other languages too. Many posts include Punjabi and English along with Urdu\\n   and working with multiple languages in a single data set is time-consuming and difficult\\n   It is also difficult to differentiate punjabi and urdu. Also, there are instances of \\n   Roman Urdu and English as well.\\n'"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#challenges\n",
    "\"\"\"\n",
    "- Difficult to validate stemming and lemmatization\n",
    "- punctuation marks are also different, difficulty in data cleaning\n",
    "- difficulty in ensuring data cleanliness\n",
    "- Challenges that may occur when working with social media urdu data\n",
    "   includes that the language used is not even pure Urdu, \n",
    "   it is a mix of other languages too. Many posts include Punjabi and English along with Urdu\n",
    "   and working with multiple languages in a single data set is time-consuming and difficult\n",
    "   It is also difficult to differentiate punjabi and urdu. Also, there are instances of \n",
    "   Roman Urdu and English as well.\n",
    "\"\"\""
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}