Preprocessing.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "# **Prerequisites**\n",
        "First, install and import the libraries that are required for the preprocessing process.\n"
      ],
      "metadata": {
        "id": "ZWZj7oiUDcki"
      },
      "id": "ZWZj7oiUDcki"
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install datasets\n",
        "!pip install pandas\n",
        "!pip install numpy\n",
        "!pip install hazm\n",
        "!pip install num2fawords\n",
        "!pip install tqdm\n",
        "!pip install sklearn\n"
      ],
      "metadata": {
        "id": "0DaCmlwkEaAy"
      },
      "id": "0DaCmlwkEaAy",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": 2,
      "id": "eeab578f",
      "metadata": {
        "id": "eeab578f"
      },
      "outputs": [],
      "source": [
        "from datasets import load_dataset\n",
        "\n",
        "import pandas as pd\n",
        "import numpy as np\n",
        "\n",
        "import hazm\n",
        "from num2fawords import words, ordinal_words\n",
        "from tqdm import tqdm\n",
        "\n",
        "from sklearn.model_selection import train_test_split\n",
        "\n",
        "import os\n",
        "import string\n",
        "import six\n",
        "import re\n",
        "import glob"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# **Preparing Dataset**\n",
        "In this section, I used my own dataset, you can use the [Mozilla Common Voice dataset](https://commonvoice.mozilla.org/en/datasets) for free, just note that do not call this dataset through the `load_dataset` function and manually download only the **validation** split and split test and train by yourself. as done below"
      ],
      "metadata": {
        "id": "bHX0S3GzD9qB"
      },
      "id": "bHX0S3GzD9qB"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "f4643b9f",
      "metadata": {
        "id": "f4643b9f",
        "outputId": "7c355050-395c-4d0c-f600-98876e415919"
      },
      "outputs": [
        {
          "data": {
            "text/plain": [
              "(923070, 2)"
            ]
          },
          "execution_count": 21,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "data_path = '/home/sadeghi/Notebooks/final_data_for_training_wav2vec2_microphony2.txt'\n",
        "validation = pd.read_csv(data_path)\n",
        "validation.shape\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "2989054e",
      "metadata": {
        "id": "2989054e",
        "outputId": "bc9f7730-0ed9-42b0-905b-bed5bf94876f"
      },
      "outputs": [
        {
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>path</th>\n",
              "      <th>sentence</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/NevisaLive/0007-m/...</td>\n",
              "      <td>ارزش مادی ارزش مادی و اقتصادی SIL</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/NevisaLive/0015--/...</td>\n",
              "      <td>میلیارد نفر از مردم جهان SIL</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/NevisaLive/0028--/...</td>\n",
              "      <td>اولین نرم‌افزار تشخیص گفتار زبان فارسی SIL</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/NevisaLive/0028--/...</td>\n",
              "      <td>اولین نرم‌افزار دستور زبان گفتار فارسی SIL</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/NevisaLive/0028--/...</td>\n",
              "      <td>اولین نرم‌افزار گفتار به گفتار مترجم SIL</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                path  \\\n",
              "0  /mnt/mehrabikia/2TB/alldata/NevisaLive/0007-m/...   \n",
              "1  /mnt/mehrabikia/2TB/alldata/NevisaLive/0015--/...   \n",
              "2  /mnt/mehrabikia/2TB/alldata/NevisaLive/0028--/...   \n",
              "3  /mnt/mehrabikia/2TB/alldata/NevisaLive/0028--/...   \n",
              "4  /mnt/mehrabikia/2TB/alldata/NevisaLive/0028--/...   \n",
              "\n",
              "                                     sentence  \n",
              "0           ارزش مادی ارزش مادی و اقتصادی SIL  \n",
              "1                میلیارد نفر از مردم جهان SIL  \n",
              "2  اولین نرم‌افزار تشخیص گفتار زبان فارسی SIL  \n",
              "3  اولین نرم‌افزار دستور زبان گفتار فارسی SIL  \n",
              "4    اولین نرم‌افزار گفتار به گفتار مترجم SIL  "
            ]
          },
          "execution_count": 22,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "validation.head()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "78b588d3",
      "metadata": {
        "id": "78b588d3",
        "outputId": "0d666d64-dc17-4d04-ca15-1662018ca6fd"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "923070 9230 913840\n"
          ]
        }
      ],
      "source": [
        "#split validation dataset to train and test\n",
        "import os\n",
        "import csv\n",
        "import numpy as np\n",
        "\n",
        "def split_data(data, test_percent = 0.01):\n",
        "\ttest_len = int(len(data)*test_percent)\n",
        "\n",
        "\tdata = np.array(data, dtype=object)\n",
        "\tnp.random.shuffle(data)\n",
        "\tdata = data.tolist()\n",
        "\n",
        "\ttest_data, train_data = data[:test_len], data[test_len:]\n",
        "\n",
        "\treturn test_data, train_data\n",
        "\n",
        "def read_csv(path):\n",
        "\theader = []\n",
        "\tdata = []\n",
        "\twith open(path, encoding=\"utf8\") as file:\n",
        "\t    csvreader = csv.reader(file)\n",
        "\t    header = next(csvreader)\n",
        "\t    for row in csvreader:\n",
        "\t    \tdata.append(row)\n",
        "\treturn header, data\n",
        "\n",
        "def write_csv(path, header, data):\n",
        "\twith open(path, 'w', newline=\"\", encoding=\"utf8\") as file:\n",
        "\t    csvwriter = csv.writer(file)\n",
        "\t    csvwriter.writerow(header)\n",
        "\t    csvwriter.writerows(data)\n",
        "\n",
        "if __name__ == \"__main__\":\n",
        "\theader, data = read_csv(\"/home/sadeghi/Notebooks/final_data_for_training_wav2vec2_microphony2.txt\")\n",
        "\t# print(header)\n",
        "\t# print(data[0])\n",
        "\n",
        "\ttest_data, train_data = split_data(data)\n",
        "\tprint(len(data), len(test_data), len(train_data))\n",
        "\n",
        "\twrite_csv('/home/sadeghi/train_data_finall.csv', header, train_data)\n",
        "\twrite_csv('/home/sadeghi/test_data_finall.csv', header, test_data)\n"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Now load manually splited data with `load_dataset` function."
      ],
      "metadata": {
        "id": "DrvRozM0IvoS"
      },
      "id": "DrvRozM0IvoS"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "43db3fa7",
      "metadata": {
        "colab": {
          "referenced_widgets": [
            "15f737bc10bb4f79a509942ba71a1601",
            "059578e322604692a6317800e7764937",
            "bbb56584f9aa467a89517194e5f260e7",
            "f9ed70ceca0843e9ab0873d34b9853bf",
            "6feb7b88c20040e291dabf9853c4e3aa",
            "30e537dcf6f549bc831b4bfe8b97d4c7"
          ]
        },
        "id": "43db3fa7",
        "outputId": "5f8f6e4c-7ae4-47dd-8bc3-fab6db891179"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Using custom data configuration default-bf07e7c032c09f7c\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Downloading and preparing dataset csv/default to /home/sadeghi/.cache/huggingface/datasets/csv/default-bf07e7c032c09f7c/0.0.0/433e0ccc46f9880962cc2b12065189766fbb2bee57a221866138fb9203c83519...\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "15f737bc10bb4f79a509942ba71a1601",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "059578e322604692a6317800e7764937",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Dataset csv downloaded and prepared to /home/sadeghi/.cache/huggingface/datasets/csv/default-bf07e7c032c09f7c/0.0.0/433e0ccc46f9880962cc2b12065189766fbb2bee57a221866138fb9203c83519. Subsequent calls will reuse this data.\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "bbb56584f9aa467a89517194e5f260e7",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Using custom data configuration default-5a55df3b21dd364a\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Downloading and preparing dataset csv/default to /home/sadeghi/.cache/huggingface/datasets/csv/default-5a55df3b21dd364a/0.0.0/433e0ccc46f9880962cc2b12065189766fbb2bee57a221866138fb9203c83519...\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "f9ed70ceca0843e9ab0873d34b9853bf",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "6feb7b88c20040e291dabf9853c4e3aa",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Dataset csv downloaded and prepared to /home/sadeghi/.cache/huggingface/datasets/csv/default-5a55df3b21dd364a/0.0.0/433e0ccc46f9880962cc2b12065189766fbb2bee57a221866138fb9203c83519. Subsequent calls will reuse this data.\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "30e537dcf6f549bc831b4bfe8b97d4c7",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "  0%|          | 0/1 [00:00<?, ?it/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Dataset({\n",
            "    features: ['path', 'sentence'],\n",
            "    num_rows: 913840\n",
            "})\n",
            "Dataset({\n",
            "    features: ['path', 'sentence'],\n",
            "    num_rows: 9230\n",
            "})\n"
          ]
        }
      ],
      "source": [
        "common_voice_train = load_dataset(\"csv\", data_files={\"train\": \"/home/sadeghi/train_data_finall.csv\"}, delimiter=\",\")[\"train\"]\n",
        "common_voice_test = load_dataset(\"csv\", data_files={\"test\": '/home/sadeghi/test_data_finall.csv'}, delimiter=\",\")[\"test\"]\n",
        "print(common_voice_train)\n",
        "print(common_voice_test)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "5c6beab2",
      "metadata": {
        "id": "5c6beab2"
      },
      "outputs": [],
      "source": [
        "from datasets import ClassLabel\n",
        "import random\n",
        "import pandas as pd\n",
        "from IPython.display import display, HTML\n",
        "\n",
        "def show_random_elements(dataset, num_examples=10):\n",
        "    assert num_examples <= len(dataset), \"Can't pick more elements than there are in the dataset.\"\n",
        "    picks = []\n",
        "    for _ in range(num_examples):\n",
        "        pick = random.randint(0, len(dataset)-1)\n",
        "        while pick in picks:\n",
        "            pick = random.randint(0, len(dataset)-1)\n",
        "        picks.append(pick)\n",
        "    \n",
        "    df = pd.DataFrame(dataset[picks])\n",
        "    display(HTML(df.to_html()))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "290a7791",
      "metadata": {
        "id": "290a7791",
        "outputId": "0e1441fb-8565-4cf3-901e-452c1087f882"
      },
      "outputs": [
        {
          "data": {
            "text/html": [
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>path</th>\n",
              "      <th>sentence</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_Retrying/287220537/287220537-1994-1.wav</td>\n",
              "      <td>فکر کنم هندوانه و خامه تازه زیاد با هم جور نیستن</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/DeepMine/wav/trans_FAR_ASR/R001783/S028219/P095121.wav</td>\n",
              "      <td>خرید برنج برای سازمان مستقل تدارکات کارمندان کشوری در شمال نزدیک به اتمام است از برنج‌های خریداری‌شده قسمتی به تهران حمل گردید</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_Retrying/225247404/225247404-1032-1.wav</td>\n",
              "      <td>دقیقا دنبال چی باید باشم</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/cv-corpus-6.1-2020-12-11/fa/clips/common_voice_fa_20323128.mp3</td>\n",
              "      <td>می توانید ریش مرا مرتب کنید، لطفا؟</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_Retrying/76597648/76597648-4090-1.wav</td>\n",
              "      <td>دلم براتون تنگ شده</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_Retrying/135136243/135136243-5340-1.wav</td>\n",
              "      <td>هیچ‌وقت قرار نبوده انجام بده</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/cv-corpus-6.1-2020-12-11/fa/clips/common_voice_fa_19335333.mp3</td>\n",
              "      <td>آیا فکر می کنید این جدی است؟</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/cv-corpus-6.1-2020-12-11/fa/clips/common_voice_fa_18615791.mp3</td>\n",
              "      <td>آدمبزرگی که رو تاب نشسته و پاهاش ثابت رو زمینه؛ یه لیپتون تموم شدهست</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_Retrying/329500534/329500534-6030-1.wav</td>\n",
              "      <td>انگار بیشتر از بیست درصد تخفیف داشته</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>/mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_Retrying/101715077/101715077-3145-1.wav</td>\n",
              "      <td>من فقط برای خدافظی اومدم اینجا</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>"
            ],
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        }
      ],
      "source": [
        "show_random_elements(common_voice_train)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "f5681a56",
      "metadata": {
        "id": "f5681a56"
      },
      "outputs": [],
      "source": [
        "dictionary_mapping = {\n",
        "    'ك': 'ک', 'دِ': 'د', 'بِ': 'ب', 'زِ': 'ز', 'ذِ': 'ذ', 'شِ': 'ش', 'سِ': 'س', 'ى': 'ی',\n",
        "    'ي': 'ی', 'أ': 'ا', 'ؤ': 'و', \"ے\": \"ی\", \"ۀ\": \"ه\", \"ﭘ\": \"پ\", \"ﮐ\": \"ک\", \"ﯽ\": \"ی\",\n",
        "    \"ﺎ\": \"ا\", \"ﺑ\": \"ب\", \"ﺘ\": \"ت\", \"ﺧ\": \"خ\", \"ﺩ\": \"د\", \"ﺱ\": \"س\", \"ﻀ\": \"ض\", \"ﻌ\": \"ع\",\n",
        "    \"ﻟ\": \"ل\", \"ﻡ\": \"م\", \"ﻢ\": \"م\", \"ﻪ\": \"ه\", \"ﻮ\": \"و\", 'ﺍ': \"ا\", 'ة': \"ه\",\n",
        "    'ﯾ': \"ی\", 'ﯿ': \"ی\", 'ﺒ': \"ب\", 'ﺖ': \"ت\", 'ﺪ': \"د\", 'ﺮ': \"ر\", 'ﺴ': \"س\", 'ﺷ': \"ش\",\n",
        "    'ﺸ': \"ش\", 'ﻋ': \"ع\", 'ﻤ': \"م\", 'ﻥ': \"ن\", 'ﻧ': \"ن\", 'ﻭ': \"و\", 'ﺭ': \"ر\", \"ﮔ\": \"گ\",\n",
        "\n",
        "    \"a\": \"‌ای‌\", \"b\": \"‌بی‌\", \"c\": \"‌سی‌\", \"d\": \"‌دی‌\", \"e\": \"‌ایی‌\", \"f\": \"‌اف‌\",\n",
        "    \"g\": \"‌جی‌\", \"h\": \"‌اچ‌\", \"i\": \"‌آی‌\", \"j\": \"‌جی‌\", \"k\": \"‌کی‌\", \"l\": \"‌ال‌\",\n",
        "    \"m\": \"‌ام‌\", \"n\": \"‌ان‌\", \"o\": \"‌او‌\", \"p\": \"‌پی‌\", \"q\": \"‌کیو‌\", \"r\": \"‌آر‌\",\n",
        "    \"s\": \"‌اس‌\", \"t\": \"‌تی‌\", \"u\": \"‌یو‌\", \"v\": \"‌وی‌\", \"w\": \"‌دبلیو‌\", \"x\": \"‌اکس‌\",\n",
        "    \"y\": \"‌وای‌\", \"z\": \"‌زد \",\n",
        "    \"\\u200c\": \" \", \"\\u200d\": \" \", \"\\u200e\": \" \", \"\\u200f\": \" \", \"\\ufeff\": \" \",\n",
        "\n",
        "    \"نو آوری‌مان\": \"نو‌آوری‌مان\",\n",
        "    \"نو آوری مان\": \"نو‌آوری‌مان\",\n",
        "    \"نو آوریمان\": \"نو‌آوری‌مان\",\n",
        "    \" ا م \": \"‌ام \",\n",
        "    \" م \": \"‌ام \",\n",
        "    \"کنندهای\": \"کننده‌ای\",\n",
        "    \"ارائهای\": \"ارائه‌ای\",\n",
        "    \"ایدهای\": \"ایده‌ای\",\n",
        "    \"ماسهای\": \"ماسه‌ای\",\n",
        "    \"خامنهای\": \"خامنه‌ای\",\n",
        "    \"قلهای\": \"قله‌ای\",\n",
        "    \"سیارهای\": \"سیاره‌ای\",\n",
        "    \"کیسهای\": \"کیسه‌ای\",\n",
        "    \"شانهای\": \"شانه‌ای\",\n",
        "    \"غریبهای\": \"غریبه‌ای\",\n",
        "    \"برنامهای\": \"برنامه‌ای\",\n",
        "    \"سختگیرانهای\": \"سختگیرانه‌ای\",\n",
        "    \"بهانهای\": \"بهانه‌ای\",\n",
        "    \"زیرروالهای\": \"زیر روالهای\",\n",
        "    \"درهای\": \"دره‌ای\",\n",
        "    \"آمادهای\": \"آماده‌ای\",\n",
        "    \"سادهای\": \"ساده‌ای\",\n",
        "    \"سرمایهگذارهای\": \"سرمایه گذارهای\",\n",
        "    \"فوقالعادهای\": \"فوق‌العاده‌ای\",\n",
        "    \"حادثهای\": \"حادثه‌ای\",\n",
        "    \"نویسندههای\": \"نویسنده‌های\",\n",
        "    \"علاقهای\": \"علاقه‌ای\",\n",
        "    \"برجستهای\": \"برجسته‌ای\",\n",
        "    \"جلگهای\": \"جلگه‌ای\",\n",
        "    \"زندهای\": \"زنده‌ای\",\n",
        "    \"فنآوریهای\": \"فناوری‌های\",\n",
        "    \"سایهروشنهای\": \"سایه روشن‌های\",\n",
        "    \"بیسابقهای\": \"بی سابقه‌ای\",\n",
        "    \"فرضیهای\": \"فرضیه‌ای\",\n",
        "    \"راهاندازهای\": \"راه اندازهای\",\n",
        "    \"بیشهای\": \"بیشه‌ای\",\n",
        "    \"مقالهای\": \"مقاله‌ای\",\n",
        "    \"دیگهای\": \"دیگه‌ای\",\n",
        "    \"ماههاست\": \"ماه هاست\",\n",
        "    \"نرمافزارهای\": \"نرم‌افزارهای\",\n",
        "    \"کتابسوزانهای\": \"کتاب سوزان‌های\",\n",
        "    \"سیستمعاملهای\": \"سیستم عامل‌های\",\n",
        "    \"اسلحهای\": \"اسلحه‌ای\",\n",
        "    \"وقفهای\": \"وقفه‌ای\",\n",
        "    \"زمینهای\": \"زمینه‌ای\",\n",
        "    \"حرامزادههای\": \"حرامزاده‌های\",\n",
        "    \"هزینهای\": \"هزینه‌ای\",\n",
        "    \"انداختهای\": \"انداخته‌ای\",\n",
        "    \"جسورانهای\": \"جسورانه‌ای\",\n",
        "    \"فاجعهای\": \"فاجعه‌ای\",\n",
        "    \"جامعهای\": \"جامعه‌ای\",\n",
        "    \"پدیدهای\": \"پدیده‌ای\",\n",
        "    \"اغواگرانهای\": \"اغواگرانه‌ای\",\n",
        "    \"تکانهای\": \"تکانه‌ای\",\n",
        "    \"لولهای\": \"لوله‌ای\",\n",
        "    \"نشانهای\": \"نشانه‌ای\",\n",
        "    \"وسیلهای\": \"وسیله‌ای\",\n",
        "    \"آیندهای\": \"آینده‌ای\",\n",
        "    \"بردهای\": \"برده‌ای\",\n",
        "    \"سابقهای\": \"سابقه‌ای\",\n",
        "    \"ناحیهای\": \"ناحیه‌ای\",\n",
        "    \"تکاندهندهای\": \"تکان دهنده‌ای\",\n",
        "    \"بودجهای\": \"بودجه‌ای\",\n",
        "    \"روزانهای\": \"روزانه‌ای\",\n",
        "    \"چارهای\": \"چاره‌ای\",\n",
        "    \"انگیزهای\": \"انگیزه‌ای\",\n",
        "    \"دادهای\": \"داده‌ای\",\n",
        "    \"عدهای\": \"عده‌ای\",\n",
        "    \"هفتهای\": \"هفته‌ای\",\n",
        "    \"منطقهای\": \"منطقه‌ای\",\n",
        "    \"استارتآپهای\": \"استارتاپ‌های\",\n",
        "    \"سازهای\": \"سازه‌ای\",\n",
        "    \"مجموعهای\": \"مجموعه‌ای\",\n",
        "    \"فلسفهای\": \"فلسفه‌ای\",\n",
        "    \"تذکردهندهای\": \"تذکر دهنده‌ای\",\n",
        "    \"مصاحبهای\": \"مصابحه‌ای\",\n",
        "    \"نمونهای\": \"نمونه‌ای\",\n",
        "    \"قلمموهای\": \"قلم مو‌های\",\n",
        "    \"شبزندهداری\": \"شب زنده‌داری\",\n",
        "    \"خوردهباشد\": \"خورده باشد\",\n",
        "    \"داشتهباشید\": \"داشته باشید\",\n",
        "    \"فزایندهای\": \"فزاینده‌ای\",\n",
        "    \"عمدهای\": \"عمده‌ای\",\n",
        "    \"بدیهایی\": \"بدی‌های\",\n",
        "    \"نوشت‌هایم\": \"نوشته‌ایم\",\n",
        "    \"بنتالهدی\": \"بنت الهدی\",\n",
        "    \"نوشتهام\": \"نوشته‌ام\",\n",
        "    \"سرمایهگذاران\": \"سرمایه گذاران\",\n",
        "    \"خانهی\": \"خانه‌ی\",\n",
        "    \"گستاخانهی\": \"گستاخانه‌ی\",\n",
        "    \"گرفتهباشیم\": \"گرفته باشیم\",\n",
        "    \"خونهی\": \"خونه‌ی\",\n",
        "    \"داشتهام\": \"داشته‌ام\",\n",
        "    \"رشتهام\": \"رشته‌ام\",\n",
        "    \"سرمایهگذارانشان\": \"سرمایه گذارانشان\",\n",
        "    \"ریشهکنی\": \"ریشه‌کنی\",\n",
        "    \"مودبانهتری\": \"مودبانه‌تری\",\n",
        "    \"برگردانشدهاند\": \"برگردان شده‌اند\",\n",
        "    \"قرمهسبزی\": \"قرمه‌سبزی\",\n",
        "    \"راهجویی\": \"راه جویی\",\n",
        "    \"اماهیچوقت\": \"اما هیچوقت\",\n",
        "    \"آبوهوای\": \"آب و هوای\",\n",
        "    \"بقیهاش\": \"بقیه‌اش\",\n",
        "    \"طبقهبندی\": \"طبقه‌بندی\",\n",
        "    \"مردههان\": \"مرده هان\",\n",
        "    \"آمادهاند\": \"آماده‌اند\",\n",
        "    \"نشدهاید\": \"نشده‌اید\",\n",
        "    \"آگاهیرسانی\": \"آگاهی رسانی\",\n",
        "    \"نداشتهاند\": \"نداشته‌اند\",\n",
        "    \"شکنانهترین\": \"شکنانه‌ترین\",\n",
        "    \"اقدامهایی\": \"اقدام‌هایی\",\n",
        "    \"راهآهن\": \"راه آهن\",\n",
        "    \"شدهاند\": \"شده‌اند\",\n",
        "    \"تازهترین\": \"تازه‌ترین\",\n",
        "    \"روبهروی\": \"رو به روی\",\n",
        "    \"منحصربهفرد\": \"منحصر به فرد\",\n",
        "    \"سیزدهبدر\": \"سیزده بدر\",\n",
        "    \"برندهی\": \"برنده‌ی\",\n",
        "    \"خانهاشتراکی\": \"خانه اشتراکی\",\n",
        "    \"دادههایی\": \"داده‌هایی\",\n",
        "    \"استفادهتر\": \"استفاده‌تر\",\n",
        "    \"گذرنامهتان\": \"گذرنامه‌تان\",\n",
        "    \"کهنترین\": \"کهنه‌ترین\",\n",
        "    \"فرهنگسرا\": \"فرهنگ‌سرا\",\n",
        "    \"آمادهاید\": \"آماده‌اید\",\n",
        "    \"ویژهی\": \"ویژه‌ی\",\n",
        "    \"غریزهات\": \"غریزه‌ات\",\n",
        "    \"مادرشوهری\": \"مادر شوهری\",\n",
        "    \"نبودهام\": \"نبوده‌ام\",\n",
        "    \"بودهاند\": \"بوده‌اند\",\n",
        "    \"وتنها\": \"و تنها\",\n",
        "    \"بداههکاری\": \"بداهه‌کاری\",\n",
        "    \"سرمایهگذار\": \"سرمایه گذار\",\n",
        "    \"برنامهنویس\": \"برنامه نویس\",\n",
        "    \"مهنازخانم\": \"مهناز خانم\",\n",
        "    \"مواجهاند\": \"مواجه‌اند\",\n",
        "    \"توسعهاش\": \"توسعه‌اش\",\n",
        "    \"سینهام\": \"سینه‌ام\",\n",
        "    \"سین‌هام\": \"سینه‌ام\",\n",
        "    \"نمیخواهند\": \"نمیخواهند\",\n",
        "    \"فنآوری‌ها\": \"فناوری‌ها\",\n",
        "    \"دنبالهرو\": \"دنباله‌رو\",\n",
        "    \"لبهی\": \"لبه‌ی\",\n",
        "    \"اللهیار\": \"الله یار\",\n",
        "    \"ارزندهتر\": \"ارزنده‌تر\",\n",
        "    \"برههای\": \"بره‌ای\",\n",
        "    \"پیادهسازی\": \"پیاده‌سازی\",\n",
        "    \"دهسالگی\": \"ده سالگی\",\n",
        "    \"رسانهای\": \"رسانه‌ای\",\n",
        "    \"ریشسفیدها\": \"ریش سفید‌ها\",\n",
        "    \"چهجوری\": \"چه جوری\",\n",
        "    \"ویژگیهایی\": \"ویژگی‌هایی\",\n",
        "    \"می‌فهمی‌م\": \"میفهمیم\",\n",
        "    \"وبهم\": \"و بهم\",\n",
        "    \"قطرهای\": \"قطره‌ای\",\n",
        "    \"ازتنهایی\": \"از تنهایی\",\n",
        "    \"لطیفهای\": \"لطیفه‌ای\",\n",
        "    \"باشهاومدم\": \"باشه اومدم\",\n",
        "    \"منحصربهفردترین\": \"منحصر به فرد‌ترین\",\n",
        "    \"کردهاند\": \"کرده‌اند\",\n",
        "    \"اندازهای\": \"اندازه‌ای\",\n",
        "    \"بهرهبرداری\": \"بهره برداری\",\n",
        "    \"اماشوهرجان\": \"اما شوهر جان\",\n",
        "    \"خانوادهاش\": \"خانواده‌اش\",\n",
        "    \"نشدهاند\": \"نشده‌اند\",\n",
        "    \"نکردهایم\": \"نکرده‌ایم\",\n",
        "    \"تخممرغ‌هایش\": \"تخم مرغ‌هایش\",\n",
        "    \"وظیفهش\": \"وظیفه‌اش\",\n",
        "    \"مشگینشهر\": \"مشگی شهر\",\n",
        "    \"توسعهدهندگانش\": \"توسعه دهندگانش\",\n",
        "    \"امینابراهیم\": \"امین ابراهیم\",\n",
        "    \"دربارهاش\": \"درباره‌اش\",\n",
        "    \"میانافزارها\": \"میان‌افزارها\",\n",
        "    \"دیدهاند\": \"دیده‌اند\",\n",
        "    \"خانوادهام\": \"خانواده‌ام\",\n",
        "    \"مایهی\": \"مایه‌ی\",\n",
        "    \"نوشتهشدن\": \"نوشته شدن\",\n",
        "    \"راهحل‌هایشان\": \"راه حل‌هایشان\",\n",
        "    \"میهماننواز\": \"میهمان نواز\",\n",
        "    \"زیبندهی\": \"زیرنده‌ی\",\n",
        "    \"راههایی\": \"راه‌هایی\",\n",
        "    \"جربزهی\": \"جربزه‌ی\",\n",
        "    \"بهجا\": \" به جا\",\n",
        "    \"بطورهمزمان\": \"به طور همزمان\",\n",
        "    \"فهمیدهبود\": \"فهمیده بود\",\n",
        "    \"دوربرگردان‌ها\": \"دور برگردان‌ها\",\n",
        "    \"شالودهی\": \"شالوده‌ی\",\n",
        "    \"راهکاریی\": \"راه‌کاری\",\n",
        "    \"مخالفتهایی\": \"مخالفت‌هایی\",\n",
        "    \"چیزهاازشون\": \"چیزها ازشون\",\n",
        "    \"سکونتگاه‌های\": \"سکونت گاه‌های\",\n",
        "    \"سالهابود\": \"سال‌ها بود\",\n",
        "    \"نمونهی\": \"نمونه‌ی\",\n",
        "    \"سرمایهگذاری\": \"سرمایه گذاری\",\n",
        "    \"شبکهای\": \"شبکه‌ای\",\n",
        "    \"خواهرشوهر\": \"خواهر شوهر\",\n",
        "    \"سرگیجهآور\": \"سرگیجه آور\",\n",
        "    \"آستانهی\": \"آستانه‌ی\",\n",
        "    \"دادهاست\": \"داده است\",\n",
        "    \"مجسمهسازی\": \"مجسمه سازی\",\n",
        "    \"ماهرانهترین\": \"ماهرانه‌ترین\",\n",
        "    \"پنجشنبههایی\": \"پنجشنبه شب‌هایی\",\n",
        "    \"نرفنهام\": \"نرفته‌ام\",\n",
        "    \"قورمهسبزی\": \"قورمه سبزی\",\n",
        "    \"گذارهای\": \"گذاره‌ای\",\n",
        "    \"بندهخدا\": \"بنده خدا\",\n",
        "    \"روزنامهنگاران\": \"روزنامه نگاران\",\n",
        "    \"نقشهی\": \"نقشه‌ی\",\n",
        "    \"حملهی\": \"حمله‌ی\",\n",
        "    \"تکنیکهاست\": \"تکنیک هاست\",\n",
        "    \"نرمافزارهایمان\": \"نرم‌افرارهایمان\",\n",
        "    \"مادرشوهرم\": \"مادر شوهرم\",\n",
        "    \"ماهگیمون\": \"ماه گیمون\",\n",
        "    \"مادرشوهرمحترم\": \"مادر شوهر محترم\",\n",
        "    \"شوهرداری\": \"شوهر داری\",\n",
        "    \"سرمایهگذارها\": \"سرمایه گذارها\",\n",
        "    \"بهرهمند\": \"بهره‌مند\",\n",
        "    \"درمانهایی\": \"درمان‌هایی\",\n",
        "    \"عامدانهتر\": \"عامدانه‌تر\",\n",
        "    \"تازهوارد\": \"تازه وارد\",\n",
        "    \"مونتهویدئو\": \"مونته ویدئو\",\n",
        "    \"ذائق‌هاش\": \"ذائقه‌اش\",\n",
        "    \"گوشهگیرتر\": \"گوشه‌گیرتر\",\n",
        "    \"دنبالهدار\": \"دنباله‌دار\",\n",
        "    \"بیخانمان‌ها\": \"بی‌خانمان‌ها\",\n",
        "    \"سرمایهدارها\": \"سرمایه‌دارها\",\n",
        "    \"مادرشوهریم\": \"مادر شوهریم\",\n",
        "    \"صبحان‌هاش\": \"صبحانه‌اش\",\n",
        "    \"جنازهست\": \"جنازه است\",\n",
        "    \"شمارهات\": \"شماره‌ای\",\n",
        "    \"بهقدری\": \"به قدری\",\n",
        "    \"کیسهی\": \"کیسه‌ی\",\n",
        "    \"کوششهایی\": \"کوشش‌هایی\",\n",
        "    \"مادرشوهر\": \"مادر شوهر\",\n",
        "    \"رابطهی\": \"رابطه‌ی\",\n",
        "    \"نوشتهاند\": \"نوشته‌اند\",\n",
        "    \"کنجکاوانهی\": \"کنجکاوانه‌ی\",\n",
        "    \"غیرمتعهد\": \"غیر متعهد\",\n",
        "    \"کردهای\": \"کرده‌ای\",\n",
        "    \"وهمکارانم\": \"و همکارانم\",\n",
        "    \"گردهمآیی\": \"گردهمایی\",\n",
        "    \"اللهوردی\": \"الله وردی\",\n",
        "    \"صرفهجویی\": \"صرفه جویی\",\n",
        "    \"ماندهاند\": \"مانده‌اند\",\n",
        "    \"برنامهنویسی\": \"برنامه‌نویسی\",\n",
        "    \"امینمهدی\": \"امین مهدی\",\n",
        "    \"سهامدارنی\": \"سهام دارانی\",\n",
        "    \"مسابقهی\": \"مسابقه‌ی\",\n",
        "    \"ستارهشناسم\": \"ستار شناسم\",\n",
        "    \"گرفتهاند\": \"گرفته‌اند\",\n",
        "    \"جامعهشان\": \"جامعه‌شان\",\n",
        "    \"بچهی\": \"بچه‌ی\",\n",
        "    \"شیوهی\": \"شیوه‌ی\",\n",
        "    \"بهکار\": \"به کار\",\n",
        "    \"بهتراست\": \"بهتر است\",\n",
        "    \"سروکلهشون\": \"سر و کلهشون\",\n",
        "    \"رسیدهمسرش\": \"رسید همسرش\",\n",
        "    \"پسراهل\": \"پسر اهل\",\n",
        "    \"پروژههای\": \"پروژه‌های\",\n",
        "    \"عاقلان‌هام\": \"عاقلانه‌ام\",\n",
        "    \"گذاشتهاند\": \"گذاشته‌اند\",\n",
        "    \"کردهام\": \"کرده‌ام\",\n",
        "    \"اندازهگیری\": \"اندازه گیری\",\n",
        "    \"یاوهگویی\": \"یاوه گویی\",\n",
        "    \"سازمانهایی\": \"سازمان‌هایی\",\n",
        "    \"نمودهاند\": \"نموده‌اند\",\n",
        "    \"تنهاییآور\": \"تنهایی آور\",\n",
        "    \"قراردهیم\": \"قرار دهیم\",\n",
        "    \"ازشوهرجان\": \"از شوهر جان\",\n",
        "    \"کرهجنوبی\": \"کره جنوبی\",\n",
        "    \"توهینآمیز\": \"توهین آمیز\",\n",
        "    \"فنآوریهایی\": \"فناوری‌هایی\",\n",
        "    \"داشتهاید\": \"داشته‌اید\",\n",
        "    \"شدهایم\": \"شده‌ایم\",\n",
        "    \"نمیفهمم\": \"نمیفهمم\",\n",
        "    \"مثالهایی\": \"مثال‌هایی\",\n",
        "    \"رییسجمهور\": \"رییس جمهور\",\n",
        "    \"مجموعهی\": \"مجموعه‌ی\",\n",
        "    \"درندهاند\": \"درنده‌اند\",\n",
        "    \"امابهش\": \"اما بهش\",\n",
        "    \"بازخواهند\": \"باز خواهند\",\n",
        "    \"برنامههایی\": \"برنامه‌هایی\",\n",
        "    \"یهجا\": \"یه جا\",\n",
        "    \"زگیلهایی\": \"زگیل‌هایی\",\n",
        "    \"وسیلهی\": \"وسیله‌ی\",\n",
        "    \"بهمنیار\": \"بهمن یار\",\n",
        "    \"دادهام\": \"داده‌ام\",\n",
        "    \"بههنگام\": \"به هنگام\",\n",
        "    \"بهدروغ\": \"به دروغ\",\n",
        "    \"دورافتادهترین\": \"دور افتاده‌ترین\",\n",
        "    \"نامهایی\": \"نامه‌ایی\",\n",
        "    \"سهقسمتی\": \"سه قسمتی\",\n",
        "    \"توجهازچیدن\": \"توجه از چیدن\",\n",
        "    \"پیامرسان‌ها\": \"پیام رسان‌ها\",\n",
        "    \"بهمنزاد\": \"بهمن زاد\",\n",
        "    \"نشانههایی\": \"نشانه‌هایی\",\n",
        "    \"راهحل‌های\": \"راه حل‌های\",\n",
        "    \"راهحلهایی\": \"راه حل‌هایی\",\n",
        "    \"راهحلهای\": \"راه حل‌های\",\n",
        "    \"نظرخواهی‌ها\": \"نظر خواهی‌ها\",\n",
        "    \"نظرخواهیها\": \"نظر خواهی‌ها\",\n",
        "    \"کندهی\": \"کنده‌ی\",\n",
        "    \"حرامزاده‌های\": \"حرام زاده‌های\",\n",
        "    \"شبیهسازیهایی\": \"شبیه سازی‌هایی\",\n",
        "    \"مهارتهایی\": \"مهارت‌هایی\",\n",
        "    \"روبهرویشان\": \"رو به رویشان\",\n",
        "    \"برجستهترین\": \"برجسته‌ترین\",\n",
        "    \"نمیفهمیدم\": \"نمیفهمیدم\",\n",
        "    \"دستگاههایی\": \"دستگاه‌هایی\",\n",
        "    \"برادرشوهر\": \"برادر شوهر\",\n",
        "    \"گرسن‌هام\": \"گرسته‌ام\",\n",
        "    \"گرسنههام\": \"گرسته‌ام\",\n",
        "    \"قهوهخوری\": \"قهوه خوری\",\n",
        "    \"دادهاید\": \"داده‌اید\",\n",
        "    \"بهآرامی\": \"به آرمانی\",\n",
        "    \"دانستنیهاست\": \"دانستنی‌هاست\",\n",
        "    \"بهراحتی\": \"به راحتی\",\n",
        "    \"ایدهپردازی\": \"ایده‌پردازی\",\n",
        "    \"ریشسفیدهای\": \"ریش سفید‌های\",\n",
        "    \"خفهمون\": \"خفه مون\",\n",
        "    \"بهجای\": \"به جای\",\n",
        "    \"ریزخشونت‌ها\": \"ریز خشونت‌ها\",\n",
        "    \"ریزخشونتها\": \"ریز خشونت‌ها\",\n",
        "    \"حساسیتهایی\": \"حساسیت‌هایی\",\n",
        "    \"پشتصحنهی\": \"پشت صحنه‌ی\",\n",
        "    \"کلهی\": \"کله‌ی\",\n",
        "    \"تاشوهرم\": \"تا شوهرم\",\n",
        "    \"آیندهاش\": \"آینده‌اش\",\n",
        "    \"پروانههایی\": \"پروانه‌هایی\",\n",
        "    \"خوبیهایی\": \"خوبی‌هایی\",\n",
        "    \"نرمافزارها\": \"نرم‌افزارها\",\n",
        "    \"رساندهاند\": \"رسانده‌اند\",\n",
        "    \"سرمایهگذارنی\": \"سرمایه گذارانی\",\n",
        "    \"تکهچسبانی\": \"تکه چسبانی\",\n",
        "    \"بیتوجهی\": \"بی توجهی\",\n",
        "    \"جاهطلبی\": \"جاه طلبی\",\n",
        "    \"پرغلغلهتان\": \"پر غلغله‌تان\",\n",
        "    \"خمینیشهر\": \"خمینی شهر\",\n",
        "    \"رشتهتوییت\": \"رشته توییت\",\n",
        "    \"موهبتهایی\": \"موهبت‌هایی\",\n",
        "    \"برنامهی\": \"برنامه‌ی\",\n",
        "    \"مادرشوهردارم\": \"مادر شوهر داردم\",\n",
        "    \"سیاهپوستان\": \"سیاه پوستان\",\n",
        "    \"شرکتهایی\": \"شرکت‌هایی\",\n",
        "    \"نیاوردهاند\": \"نیاورده‌اند\",\n",
        "    \"آنهم\": \"آن هم\",\n",
        "    \"شوهرداریم\": \"شوهر داریم\",\n",
        "    \"یکچهارم\": \"یک چهارم\",\n",
        "    \"پروندههاست\": \"پرونده هاست\",\n",
        "    \"برنامهت\": \"برنامه‌ات\",\n",
        "    \"چروکیدهمان\": \"چروکیده‌مان\",\n",
        "    \"زمینهسازی\": \"زمینه سازی\",\n",
        "    \"زدهاند\": \"زده‌اند\",\n",
        "    \"اظهارنظرپرداختن\": \"اظهار نظر پرداختن\",\n",
        "    \"صلحطلبانهترین\": \"صلح طلبانه‌ترین\",\n",
        "    \"بهغلط\": \"به غلط\",\n",
        "    \"ایدهآلم\": \"ایده آلم\",\n",
        "    \"سیاهکاران\": \"سیاه کاران\",\n",
        "    \"امیرابراهیم\": \"امیر ابراهیم\",\n",
        "    \"توسعهدهندگان\": \"توسعه دهندگان\",\n",
        "    \"لحظهی\": \"لحظه‌ی\",\n",
        "    \"امینطاها\": \"امین طاها\",\n",
        "    \"بینالنهرین\": \"بین النهرین\",\n",
        "    \"نیمهوقت\": \"نیمه وقت\",\n",
        "    \"پیادهروی\": \"پیاده روی\",\n",
        "    \"آلودهاند\": \"آلوده‌اند\",\n",
        "    \"گریهکرد\": \"گره کرد\",\n",
        "    \"نعمتهایی\": \"نعمت‌هایی\",\n",
        "    \"مادرشوهرشماهم\": \"مادر شوهر شما هم\",\n",
        "    \"آشپزخونهاس\": \"آشپزخونه‌اس\",\n",
        "    \"مسابقهها\": \"مسابقه‌ها\",\n",
        "    \"مسابقهای\": \"مسابقه‌های\",\n",
        "    \"برنامهریزی\": \"برنامه‌ریزی\",\n",
        "    \"بازخواهید\": \"باز خواهید\",\n",
        "    \"جوییما\": \"جویی ما\",\n",
        "    \"آماده ایم\": \"آماده‌ایم\",\n",
        "    \"مدلسازی\": \"مدل‌سازی\",\n",
        "    \"درصورتیکه\": \"در صورتیکه\",\n",
        "    \"آمریکاییات\": \"آمریکایی‌ات\",\n",
        "    \"مادریاش\": \"مادری‌اش\",\n",
        "    \"غافلگیرکننده\": \"غافلگیر کننده\",\n",
        "    \"پیکرتراشی\": \"پیکر تراشی\",\n",
        "    \"اذیتوآزار\": \"اذیت و آزار\",\n",
        "    \"امتیازاورترین\": \"امتیاز آور\",\n",
        "    \"جیکجیک\": \"جیک جیک\",\n",
        "    \"تاشب\": \"تا شب\",\n",
        "    \"کپیرایت\": \"کپی رایت\",\n",
        "    \"آنتیبادی\": \"آنتی بادی\",\n",
        "    \"عجیبتر\": \"عجیب‌تر\",\n",
        "    \"استانداردسازی\": \"استاندارد سازی\",\n",
        "    \"هشتادوهشت\": \"هشتاد و هشت\",\n",
        "    \"متنوعتر\": \"متنوع‌تر\",\n",
        "    \"منظورانجام\": \"منظور انجام\",\n",
        "    \"نگرانکننده‌ترین\": \"نگران کننده‌ترین\",\n",
        "    \"شگفتانگیز\": \"شگفت انگیز\",\n",
        "    \"رنگینپوست\": \"رنگین پوست\",\n",
        "    \"فارغ التحصیلان\": \"فارغ‌التحصیلان\",\n",
        "    \"ترسناکتر\": \"ترسناک‌تر\",\n",
        "    \"لا رامبلا\": \"لارامبلا\",\n",
        "    \"پرجمعیتترین\": \"پرجمعیت‌ترین\",\n",
        "    \"درمیآیند\": \"درمی‌آیند\",\n",
        "    \"باشمالکی\": \"باشم الکی\",\n",
        "    \"وسیعتر\": \"وسیع‌تر\",\n",
        "    \"فاحشهخانه\": \"فاحشه خانه\",\n",
        "    \"بااحتیاط\": \"با احتیاط\",\n",
        "    \"قانعکننده\": \"قانع‌کننده\",\n",
        "    \"انعطافپذیری\": \"انعطاف‌پذیری\",\n",
        "    \"بیتالمقدس\": \"بیت‌المقدس\",\n",
        "    \"اوپناستریتمپ\": \"اوپن استریت مپ\",\n",
        "    \"روزابارونی\": \"روزا بارونی\",\n",
        "    \"محافظهکارانه\": \"محافظه کارانه\",\n",
        "    \"فوتبالدستی\": \"فوتبال دستی\",\n",
        "    \"توسعهدهنده\": \"توسعه دهنده\",\n",
        "    \"قانونگزاران\": \"قانون گزاران\",\n",
        "    \"العسریسرا\": \"العسر یسرا\",\n",
        "    \"خارقالعاده\": \"خارق‌العاده\",\n",
        "    \"بیماریمزمن\": \"بیماری مزمن\",\n",
        "    \"بادوستانتان\": \"با دوستانتان\",\n",
        "    \"برابربیشتر\": \"برابر بیشتر\",\n",
        "    \"ارائهدهنده\": \"ارائه دهنده\",\n",
        "    \"طوفانزدگان\": \"طوفان زندگان\",\n",
        "    \"امینمحمد\": \"امین محمد\",\n",
        "    \"محیطزیست\": \"محیط زیست\",\n",
        "    \"شقیترینشان\": \"شقی‌ترینشان\",\n",
        "    \"بودواقعا\": \"بود واقعا\",\n",
        "    \"نیویورکتایمز\": \"نیویورک تایمز\",\n",
        "    \"ریودوژانیرو\": \"ریو دو ژانیرو\",\n",
        "    \"مشترکالمنافع\": \"مشترک‌المنافع\",\n",
        "    \"اسلایدسازم\": \"اسلاید سازم\",\n",
        "    \"نمیآوریدش\": \"نمی‌آوریدش\",\n",
        "    \"بینالملل\": \"بین‌الملل\",\n",
        "    \"مصرفکنندگان\": \"مصرف کنندگان\",\n",
        "    \"امینالدین\": \"امین الدین\",\n",
        "    \"امریکااینقدر\": \"امریکا اینقدر\",\n",
        "    \"بعضیاوقات\": \"بعضی اوقات\",\n",
        "    \"خاطربچه\": \"خاطر بچه\",\n",
        "    \"ایناکیلویی\": \"اینا کیلویی\",\n",
        "    \"ویکیپدیا\": \"ویکی‌پدیا\",\n",
        "    \"مافکرمیکنیم\": \"ما فکر میکنیم\",\n",
        "    \"انگلیسیزبان\": \"انگلیسی زبان\",\n",
        "    \"کلهشون\": \"کله‌شون\",\n",
        "    \"آدمبزرگی\": \"آرم بزرگی\",\n",
        "    \"مر آت مر آه\": \"مر‌آت مر‌آت\",\n",
        "    \"آسیبزد\": \"آسیب زد\",\n",
        "    \"آیآرسی\": \"آی آرسی\",\n",
        "    \"آسیااقیانوسیه\": \"آسیا اقیانوسیه\",\n",
        "    \"آیای\": \"آیا\",\n",
        "    \"میانجنسی\": \"میان جنسی\",\n",
        "    \"میاننسلی\": \"میان نسلی\",\n",
        "    \"میان‌افزار‌ها\": \"میان افزارها\",\n",
        "    \"آییننامه\": \"آیین‌نامه\",\n",
        "    \"ارائهشده\": \"ارائه‌شده\",\n",
        "    \"اشپزخونه\": \"آشپزخونه\",\n",
        "    \"اماعلتشونمیپرسه\": \"اما علتشو نمیپرسه\",\n",
        "    \"امیدوارکننده\": \"امیدوار کننده\",\n",
        "    \"ایالاتمتحده\": \"ایالات متحده\",\n",
        "    \"بااینکه\": \"با اینکه\",\n",
        "    \"بلندپروازانه\": \"بلند پروازانه\",\n",
        "    \"بهترازاینه\": \"بهتر از اینه\",\n",
        "    \"بهدست‌آمده\": \"به دست‌آمده\",\n",
        "    \"بهوسیله\": \"به وسیله\",\n",
        "    \"بیادبانه\": \"بی ادبانه\",\n",
        "    \"بیاندازه\": \"بی اندازه\",\n",
        "    \"بیصبرانه\": \"بی صبرانه\",\n",
        "    \"بیفایده\": \"بی فایده\",\n",
        "    \"بیمهره\": \"بی مهره\",\n",
        "    \"بینظیره\": \"بی نظیره\",\n",
        "    \"تاریخزده\": \"تاریخ زده\",\n",
        "    \"تهرانزده\": \"تهران زده\",\n",
        "    \"تولیدشده\": \"تولید شده\",\n",
        "    \"تولیدکننده\": \"تولید کننده\",\n",
        "    \"تکمیلشده\": \"تکمیل شده\",\n",
        "    \"جاافتاده\": \"جا افتاده\",\n",
        "    \"جمع‌آوریکننده\": \"جمع‌ آوری کننده\",\n",
        "    \"جورآدمیه\": \"جور آدمیه\",\n",
        "    \"حقالزحمه\": \"حق الزحمه\",\n",
        "    \"دخترونهتره\": \"دخترونه تره\",\n",
        "    \"دوپنجره\": \"دو پنجره\",\n",
        "    \"ذاتالریه\": \"ذات‌الریه\",\n",
        "    \"راسالخیمه\": \"راس‌الخیمه\",\n",
        "    \"رنگماده\": \"رنگ ماده\",\n",
        "    \"سوئاستفاده\": \"سو استفاده\",\n",
        "    \"سواستفاده\": \"سو استفاده\",\n",
        "    \"شبهجزیره\": \"شبه جزیره\",\n",
        "    \"صادرکننده\": \"صادر کننده\",\n",
        "    \"ضررداره\": \"ضرر داره\",\n",
        "    \"عابرپیاده\": \"عابر پیاده\",\n",
        "    \"فوقالعاده\": \"فوق‌العاده\",\n",
        "    \"قابلتوجه\": \"قابل توجه\",\n",
        "    \"قانع‌کننده\": \"قانع‌ کننده\",\n",
        "    \"مادربیچاره\": \"مادر بیچاره\",\n",
        "    \"مشخصشده\": \"مشخص شده\",\n",
        "    \"مصرفکننده\": \"مصرف کننده\",\n",
        "    \"مصیبتزده\": \"مصیب تزده\",\n",
        "    \"ناامیدکننده\": \"ناامید کننده\",\n",
        "    \"نیمفاصله\": \"نیم‌فاصله\",\n",
        "    \"هماهنگکننده\": \"هماهنگ کننده\",\n",
        "    \"همهجانبه\": \"همه جانبه\",\n",
        "    \"واردکننده\": \"وارد کننده\",\n",
        "    \"وخوابگاه\": \"و خوابگاه\",\n",
        "    \"ودستگاه\": \"و دستگاه\",\n",
        "    \"وزردچوبه\": \"و زردچوبه\",\n",
        "    \"وپروانه\": \"و پروانه\",\n",
        "    \"پدرخوانده\": \"پدر خوانده\",\n",
        "    \"چاپشده\": \"چاپ شده\",\n",
        "    \"کردته\": \"کرد ته\",\n",
        "    \"کردندکه\": \"کردند که\",\n",
        "    \"یکطرفه\": \"یک طرفه\",\n",
        "    \"پایینتره\": \"پایین‌تره\",\n",
        "    \"اشتراکگذاری\": \"اشتراک گذاری\",\n",
        "    \"انحصارگراناند\": \"انحصار گران‌اند\",\n",
        "    \"خوشحالییییی\": \"خوشحالی\",\n",
        "    \"همتیمی‌هایشان\": \"هم تیمی‌هایشان\",\n",
        "    \"پایدار‌ام‌باید\": \"پایدار‌ام ‌باید\",\n",
        "    \"پرجنبوجوش‌تر\": \"پر جنب و جوش‌تر\",\n",
        "    \"آبمروارید\": \"آب مروارید\",\n",
        "    \"آتشسوزی\": \"آتش سوزی\",\n",
        "    \"آتشنشانی\": \"آتش‌نشانی\",\n",
        "    \"آتشنشان\": \"آتش‌نشان\",\n",
        "    \"آرامشبخش\": \"آرامش بخش\",\n",
        "    \"آشناداشتن\": \"آشنا داشتن\",\n",
        "    \"آقاچیزی\": \"آقا چیزی\",\n",
        "    \"آموخت‌هام\": \"آموخته‌ام\",\n",
        "    \"آموزششان\": \"آموزش‌شان\",\n",
        "    \"ازآنجا\": \"از آنجا\",\n",
        "    \"ازالان\": \"از الان\",\n",
        "    \"ازاینجا\": \"از اینجا\",\n",
        "    \"ازجیبش\": \"از جیبش\",\n",
        "    \"ازدستش\": \"از دستش\",\n",
        "    \"ازدیوار\": \"از دیوار\",\n",
        "    \"ازشغلشون\": \"از شغلشون\",\n",
        "    \"ازوقتی\": \"از وقتی\",\n",
        "    \"ازکسانی\": \"از کسانی\",\n",
        "    \"اسباببازی\": \"اسباب بازی\",\n",
        "    \"اسبسوار\": \"اسب سوار\",\n",
        "    \"اصیلزاده\": \"اصیل زاده\",\n",
        "    \"افتادهاید\": \"افتاده‌اید\",\n",
        "    \"ال‌هام\": \"الهام\",\n",
        "    \"امااصلا\": \"اما اصلا\",\n",
        "    \"امااصلابه\": \"اما اصلا به\",\n",
        "    \"امااین\": \"اما این\",\n",
        "    \"امابعد\": \"اما بعد\",\n",
        "    \"امابعدیکی\": \"اما بعد یکی\",\n",
        "    \"اماجاذبه\": \"اما جاذبه\",\n",
        "    \"امرارمعاش\": \"امرار معاش\",\n",
        "    \"امکانپذیر\": \"امکان پذیر\",\n",
        "    \"انت‌های\": \"انتهای\",\n",
        "    \"انت‌هایی\": \"انتهایی\",\n",
        "    \"ایزدبانوی\": \"ایزد بانوی\",\n",
        "    \"بااینحال\": \"با اینحال\",\n",
        "    \"باحتمال\": \"به احتمال\",\n",
        "    \"باحجاب\": \"با حجاب\",\n",
        "    \"باخنده\": \"با خنده\",\n",
        "    \"بادوستاش\": \"با دوستاش\",\n",
        "    \"بارمان\": \"بار مان\",\n",
        "    \"باز‌تر\": \"باز ‌تر\",\n",
        "    \"باطعنه\": \"با طعنه\",\n",
        "    \"بافریاد\": \"با فریاد\",\n",
        "    \"بارگزاری\": \"بارگذاری\",\n",
        "    \"بالامنم\": \"بالا منم\",\n",
        "    \"بگیرمامان\": \"بگیر مامان\",\n",
        "    \"بیاحترامی\": \"بی احترامی\",\n",
        "    \"بیادبی\": \"بی ادبی\",\n",
        "    \"بیاعتنا\": \"بی اعتنا\",\n",
        "    \"بیدارباش\": \"بیدار باش\",\n",
        "    \"بیشازحد\": \"بیش از حد\",\n",
        "    \"بیمسئولیت\": \"بی مسئولیت\",\n",
        "    \"تاسفبار\": \"تاسف بار\",\n",
        "    \"تامشکلمون\": \"تا مشکلمون\",\n",
        "    \"تانقشه\": \"تا نقشه\",\n",
        "    \"تصمیمگیری\": \"تصمیم گیری\",\n",
        "    \"تقسیمبندی\": \"تقسیم بندی\",\n",
        "    \"تقصیرارو\": \"تقصیرا رو\",\n",
        "    \"جدیدابرای\": \"جدیدا برای\",\n",
        "    \"جعبهابزار\": \"جعبه ابزار\",\n",
        "    \"جلوتونو\": \"جلو تو نو\",\n",
        "    \"حاضردر\": \"حاضر در\",\n",
        "    \"حاضرنیست\": \"حاضر نیست\",\n",
        "    \"دستنخورده\": \"دست نخورده\",\n",
        "    \"دوامتیاز\": \"دو امتیاز\",\n",
        "    \"دوروزتمام\": \"دو روز تمام\",\n",
        "    \"شخصیسازی\": \"شخصی‌سازی\",\n",
        "    \"شدواجناس\": \"شد و اجناس\",\n",
        "    \"شوهردارم\": \"شوهر دارم\",\n",
        "    \"شوهرشماهم\": \"شوهر شما هم\",\n",
        "    \"شوهرمحترم\": \"شوهر محترم\",\n",
        "    \"شکلگیری\": \"شکل گیری\",\n",
        "    \"صخرهنوردی\": \"صخره‌نوردی\",\n",
        "    \"صدوبیست\": \"صد و بیست\",\n",
        "    \"عقبنشینی\": \"عقب نشینی\",\n",
        "    \"عکسالعمل\": \"عکس‌العمل\",\n",
        "    \"غرغرمیکنم\": \"غرغر میکنم\",\n",
        "    \"هزاربار\": \"هزار بار\",\n",
        "    \"هزارتومان\": \"هزار تومان\",\n",
        "    \"هزارجور\": \"هزار جور\",\n",
        "    \"هزاروسیصد\": \"هزار و سیصد\",\n",
        "    \"هممیهنان\": \"هم میهنان\",\n",
        "    \"هممیهنانش\": \"هم میهنانش\",\n",
        "    \"همنسلانش\": \"هم نسلانش\",\n",
        "    \"همهگیری\": \"همه گیری\",\n",
        "    \"هییییچ\": \"هیچ\",\n",
        "    \"وقتاخیلی\": \"وقتا خیلی\",\n",
        "    \"وقتابه\": \"وقتا به\",\n",
        "    \"وقتگذرانی\": \"وقت گذرانی\",\n",
        "    \"ومحکوم\": \"و محکوم\",\n",
        "    \"ومحیط‌ها\": \"و محیط‌ها\",\n",
        "    \"وکشورتان\": \"و کشورتان\",\n",
        "    \"ویکیمدیا\": \"ویکی‌مدیا\",\n",
        "    \"یهوگفت\": \"یهو گفت\",\n",
        "    \"اینجااز\": \"اینجا از\",\n",
        "}\n",
        "\n",
        "fixator_dictionary = {\n",
        "    \"ب‌های\": \"بهای\",\n",
        "    \"به‌ترین\": \"بهترین\",\n",
        "    \"آس‌تر\": \"‌آستر\",\n",
        "    \"ارکس‌تر\": \"ارکستر\",\n",
        "    \"ان‌تر\": \"انتر\",\n",
        "    \"بس‌تر\": \"بستر\",\n",
        "    \"به‌تر\": \"بهتر\",\n",
        "    \"به‌ترتر\": \"بهترتر\",\n",
        "    \"توئی‌تر\": \"تویتتر\",\n",
        "    \"تویی‌تر\": \"توییتر\",\n",
        "    \"تی‌تر\": \"تیتر\",\n",
        "    \"دخ‌تر\": \"دختر\",\n",
        "    \"دف‌تر\": \"دفتر\",\n",
        "    \"دلس‌تر\": \"دلستر\",\n",
        "    \"دک‌تر\": \"دکتر\",\n",
        "    \"ش‌تر\": \"شتر\",\n",
        "    \"لی‌تر\": \"لیتر\",\n",
        "    \"م‌تر\": \"متر\",\n",
        "    \"هیپس‌تر\": \"هیپستر\",\n",
        "    \"پی‌تر\": \"پیتر\",\n",
        "    \"چ‌تر\": \"چتر\",\n",
        "    \"کم‌تر\": \"کمتر\",\n",
        "    \"گنگس‌تر\": \"گنگستر\",\n",
        "    \"انگش‌تر\": \"انگشتر\",\n",
        "    \"سن‌تر\": \"سنتر\",\n",
        "    \"تویت‌تر\": \"توییتر\",\n",
        "    \"مادهش‌تر\": \"ماده شتر\",\n",
        "    \"وی‌ترین\": \"ویترین\",\n",
        "    \"کرونوم‌تر\": \"کرنومتر\",\n",
        "    \"که‌تر\": \"کهتر\",\n",
        "    \"فیل‌تر\": \"فیلتر\",\n",
        "    \"ال‌هام\": \"الهام\",\n",
        "    \"آل‌مان\": \"آلمان\",\n",
        "    \"انت‌های\": \"انتهای\",\n",
        "    \"انت‌هایی\": \"انتهایی\",\n",
        "    \"آموخت‌هام\": \"آموخته‌ام\",\n",
        "}"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "027a67ca",
      "metadata": {
        "id": "027a67ca"
      },
      "outputs": [],
      "source": [
        "from parsivar import Normalizer\n",
        "\n",
        "import num2fawords\n",
        "import re\n",
        "import string\n",
        "\n",
        "\n",
        "_normalizer = Normalizer(half_space_char=\"\\u200c\", statistical_space_correction=True)\n",
        "chars_to_ignore = [\n",
        "    \",\", \"?\", \".\", \"!\", \"-\", \";\", \":\", '\"\"', \"%\", \"'\", '\"', \"�\",\n",
        "    \"#\", \"!\", \"؟\", \"?\", \"«\", \"»\", \"،\", \"(\", \")\", \"؛\", \"'ٔ\", \"٬\", 'ٔ', \",\", \"?\",\n",
        "    \".\", \"!\", \"-\", \";\", \":\", '\"', \"“\", \"%\", \"‘\", \"”\", \"�\", \"–\", \"…\", \"_\", \"”\", '“', '„',\n",
        "    'ā', 'š', 'ّ', 'ْ',\n",
        "]\n",
        "\n",
        "chars_to_ignore = chars_to_ignore + list(string.ascii_lowercase + string.digits)\n",
        "chars_to_ignore = f\"\"\"[{\"\".join(chars_to_ignore)}]\"\"\"\n",
        "zwnj = \"\\u200c\"\n",
        "silent_chars = [\"ا\", \"د\", \"ذ\", \"ر\", \"ز\", \"و\", \"آ\"] + [zwnj] + [\" \"]\n",
        "\n",
        "\n",
        "def multiple_replace(text, chars_to_mapping):\n",
        "    pattern = \"|\".join(map(re.escape, chars_to_mapping.keys()))\n",
        "    return re.sub(pattern, lambda m: chars_to_mapping[m.group()], str(text))\n",
        "\n",
        "\n",
        "def remove_special_characters(text, chars_to_ignore_regex):\n",
        "    text = re.sub(chars_to_ignore_regex, '', text).lower() + \" \"\n",
        "    return text\n",
        "\n",
        "\n",
        "def convert_word_nums_to_text(word):\n",
        "    try:\n",
        "        word = int(word)\n",
        "        word = num2fawords.words(word)\n",
        "    except:\n",
        "        word = word\n",
        "\n",
        "    return word\n",
        "\n",
        "\n",
        "def normalizer_at_word_level(text):\n",
        "    words = text.split()\n",
        "    _text = []\n",
        "\n",
        "    for word in words:\n",
        "        word = convert_word_nums_to_text(word)\n",
        "        word = fixator_dictionary.get(word, word)\n",
        "\n",
        "        _text.append(word)\n",
        "\n",
        "    return \" \".join(_text) + \" \"\n",
        "\n",
        "\n",
        "def finder(ss, s, starter=False):\n",
        "    found = []\n",
        "    for m in re.finditer(ss, s):\n",
        "        if starter:\n",
        "            found.append(m.start())\n",
        "        else:\n",
        "            found.append((m.start(), m.end()))\n",
        "\n",
        "    return found\n",
        "\n",
        "\n",
        "def substring_replace(ss, s, start, end, stripped=True):\n",
        "    s_start = s[:start]\n",
        "    s_end = s[end:]\n",
        "\n",
        "    counter = 0\n",
        "    if stripped:\n",
        "        counter = 1 if s_start.endswith(\" \") else counter\n",
        "        s_start = s_start.rstrip()\n",
        "\n",
        "    return s_start + ss + s_end, counter\n",
        "\n",
        "\n",
        "def normalizer(\n",
        "        batch,\n",
        "        is_normalize=True,\n",
        "        return_dict=True,\n",
        "        filter_trivials=False,\n",
        "        remove_extra_space=False\n",
        "):\n",
        "    text = batch[\"sentence\"].lower().strip()\n",
        "\n",
        "    # Parsivar normalizer\n",
        "    if is_normalize:\n",
        "        text = _normalizer.normalize(text)\n",
        "\n",
        "    # Dictionary mapping\n",
        "    text = multiple_replace(text, dictionary_mapping)\n",
        "    text = re.sub(\" +\", \" \", text)\n",
        "\n",
        "    # Remove specials\n",
        "    text = remove_special_characters(text, chars_to_ignore)\n",
        "    text = re.sub(\" +\", \" \", text)\n",
        "\n",
        "    # Replace connected آ\n",
        "    special, pointer = \"آ\", int(\"0\")\n",
        "    for f in sorted(finder(special, text, True)):\n",
        "        index = f + pointer - 1\n",
        "        if len(text) >= index:\n",
        "            if text[index] not in silent_chars:\n",
        "                new_text, extra_pointer = substring_replace(\n",
        "                    f\"{text[index]}{zwnj}\", text, index, index + 1, stripped=True)\n",
        "                text = new_text\n",
        "                pointer += 1 + 1 - 1 - extra_pointer\n",
        "\n",
        "    # Replace connected ها\n",
        "    pointer = int(\"0\")\n",
        "    special_list = [\n",
        "        # \"ام\", \"ای\", \"است\", \"ایم\", \"اید\", \"اند\",\n",
        "        \"هایمان\", \"هایم\", \"هایت\", \"هایش\",\n",
        "        \"هایتان\", \"هایشان\", \"هام\", \"هات\",\n",
        "        \"هاتان\", \"هامون\", \"هامان\", \"هاش\",\n",
        "        \"هاتون\", \"هاشان\", \"هاشون\",\n",
        "        \"هایی\", \"های\", \"هاس\", \"ها\"\n",
        "    ]\n",
        "    for special in special_list:\n",
        "        pointer = 0\n",
        "        text = text\n",
        "        for f in sorted(finder(special, text, False)):\n",
        "            start, end = f[0] + pointer - 1, f[1] + pointer - 1\n",
        "            if len(text) >= (end + 1):\n",
        "                if len(text) == (end + 1):\n",
        "                    new_text, extra_pointer = substring_replace(\n",
        "                        f\"{zwnj}{special}\",\n",
        "                        text,\n",
        "                        start + 1,\n",
        "                        end + 1,\n",
        "                        stripped=True)\n",
        "                    text = new_text\n",
        "                    pointer += 1 + 1 - 1 - extra_pointer\n",
        "                else:\n",
        "                    if text[end + 1] == \" \":\n",
        "                        new_text, extra_pointer = substring_replace(\n",
        "                            f\"{zwnj}{special}\",\n",
        "                            text,\n",
        "                            start + 1,\n",
        "                            end + 1,\n",
        "                            stripped=True)\n",
        "                        text = new_text\n",
        "                        pointer += 1 + 1 - 1 - extra_pointer\n",
        "\n",
        "    special, pointer = \"افزار\", int(\"0\")\n",
        "    for f in sorted(finder(special, text, False)):\n",
        "        start, end = f[0] + pointer - 1, f[1] + pointer - 1\n",
        "\n",
        "        if len(text) >= (end + 1):\n",
        "            new_text, extra_pointer = substring_replace(f\"{zwnj}{special}\", text, start + 1, end + 1, stripped=True)\n",
        "            text = new_text\n",
        "            pointer += 1 + 1 - 1 - extra_pointer\n",
        "\n",
        "    # Replace connected ها\n",
        "    pointer = int(\"0\")\n",
        "    special_list = [\n",
        "        \"ترین\", \"تر\"\n",
        "    ]\n",
        "    for special in special_list:\n",
        "        pointer = 0\n",
        "        text = text\n",
        "        for f in sorted(finder(special, text, False)):\n",
        "            start, end = f[0] + pointer - 1, f[1] + pointer - 1\n",
        "            if len(text) >= (end + 1):\n",
        "                if len(text) == (end + 1):\n",
        "                    new_text, extra_pointer = substring_replace(\n",
        "                        f\"{zwnj}{special}\",\n",
        "                        text,\n",
        "                        start + 1,\n",
        "                        end + 1,\n",
        "                        stripped=True)\n",
        "                    text = new_text\n",
        "                    pointer += 1 + 1 - 1 - extra_pointer\n",
        "                else:\n",
        "                    if text[end + 1] == \" \":\n",
        "                        new_text, extra_pointer = substring_replace(\n",
        "                            f\"{zwnj}{special}\",\n",
        "                            text,\n",
        "                            start + 1,\n",
        "                            end + 1,\n",
        "                            stripped=True)\n",
        "                        text = new_text\n",
        "                        pointer += 1 + 1 - 1 - extra_pointer\n",
        "\n",
        "    # Normalizer at word level\n",
        "    text = normalizer_at_word_level(text)\n",
        "    text = re.sub(\" +\", \" \", text)\n",
        "\n",
        "    if remove_extra_space:\n",
        "        text = text.strip()\n",
        "    else:\n",
        "        text = text.strip() + \" \"\n",
        "\n",
        "    if filter_trivials:\n",
        "        if not len(text) > 2:\n",
        "            text = None\n",
        "\n",
        "    if not return_dict:\n",
        "        return text\n",
        "\n",
        "    batch[\"sentence\"] = text\n",
        "    return batch"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "787be326",
      "metadata": {
        "id": "787be326",
        "outputId": "b6878ee8-2393-4c64-e62c-6a16586ca823"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Step 0: 9230\n",
            "Step 1: 9230\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "/tmp/ipykernel_21846/3447816596.py:21: FutureWarning: In a future version of pandas all arguments of DataFrame.drop except for the argument 'labels' will be keyword-only\n",
            "  test = test.drop(\"status\", 1)\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Step 2: 9230\n",
            "                                                path  \\\n",
            "0  /mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_...   \n",
            "1  /mnt/mehrabikia/2TB/alldata/DeepMine/wav/trans...   \n",
            "2  /mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_...   \n",
            "3  /mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_...   \n",
            "4  /mnt/mehrabikia/2TB/alldata/DeepMine/wav/trans...   \n",
            "\n",
            "                                            sentence  \n",
            "0                                               چیه   \n",
            "1  در بخش دوم ضمن آشنایی با خواص گاز‌ها پیرامون ه...  \n",
            "2                      می دونستی که این اتفاق میفته   \n",
            "3                      چه کار میخوایی بکنی منو بکشی   \n",
            "4  کوریا سفید گونه ای گیاه بوته ای شکل است که از ...  \n"
          ]
        }
      ],
      "source": [
        "#Cleaning\n",
        "\n",
        "# normalizer import normalizer\n",
        "\n",
        "def cleaning(text):\n",
        "    if not isinstance(text, str):\n",
        "        return None\n",
        "\n",
        "    return normalizer({\"sentence\": text}, return_dict=False)\n",
        "\n",
        "##################################################################\n",
        "test = pd.read_csv('/home/sadeghi/test_data_finall.csv', sep=\",\")\n",
        "print(f\"Step 0: {len(test)}\")\n",
        "\n",
        "test[\"status\"] = test[\"path\"].apply(lambda path: True if os.path.exists(path) else None)\n",
        "test = test.dropna(subset=[\"path\"])\n",
        "test = test.drop(\"status\", 1)\n",
        "print(f\"Step 1: {len(test)}\")\n",
        "\n",
        "test[\"sentence\"] = test[\"sentence\"].apply(lambda t: cleaning(t))\n",
        "test = test.dropna(subset=[\"sentence\"])\n",
        "print(f\"Step 2: {len(test)}\")\n",
        "\n",
        "test = test.reset_index(drop=True)\n",
        "print(test.head())\n",
        "\n",
        "test = test[[\"path\", \"sentence\"]]\n",
        "test.to_csv(\"/home/sadeghi/test_finall_cleaned.csv\", sep=\",\", encoding=\"utf-8\", index=False)\n",
        "########################################################################\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "8f9ed30e",
      "metadata": {
        "id": "8f9ed30e",
        "outputId": "27c0f95c-0db1-497c-c7db-d6fbebb941f4"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Step 0: 913840\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "/tmp/ipykernel_21846/3299828736.py:6: FutureWarning: In a future version of pandas all arguments of DataFrame.drop except for the argument 'labels' will be keyword-only\n",
            "  train = train.drop(\"status\", 1)\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Step 1: 913840\n",
            "Step 2: 913839\n",
            "                                                path  \\\n",
            "0  /mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_...   \n",
            "1  /mnt/mehrabikia/2TB/alldata/cv-corpus-6.1-2020...   \n",
            "2  /mnt/mehrabikia/2TB/alldata/cv-corpus-6.1-2020...   \n",
            "3  /mnt/mehrabikia/2TB/alldata/cv-corpus-6.1-2020...   \n",
            "4  /mnt/mehrabikia/2TB/alldata/FarsSpon/FarsSpon_...   \n",
            "\n",
            "                               sentence  \n",
            "0           همشون تروریست به حساب میان   \n",
            "1                من قبلا اینطوری نبودم   \n",
            "2             از آشنایی با شما خوشبختم   \n",
            "3                چطور فهمیدی من اینجام   \n",
            "4  تو باید همین ال‌آن اینجا رو ترک کنی   \n"
          ]
        }
      ],
      "source": [
        "train = pd.read_csv('/home/sadeghi/train_data_finall.csv', sep=\",\")\n",
        "print(f\"Step 0: {len(train)}\")\n",
        "\n",
        "train[\"status\"] = train[\"path\"].apply(lambda path: True if os.path.exists(path) else None)\n",
        "train = train.dropna(subset=[\"path\"])\n",
        "train = train.drop(\"status\", 1)\n",
        "print(f\"Step 1: {len(train)}\")\n",
        "\n",
        "train[\"sentence\"] = train[\"sentence\"].apply(lambda t: cleaning(t))\n",
        "train = train.dropna(subset=[\"sentence\"])\n",
        "print(f\"Step 2: {len(train)}\")\n",
        "\n",
        "train = train.reset_index(drop=True)\n",
        "print(train.head())\n",
        "\n",
        "train = train[[\"path\", \"sentence\"]]\n",
        "train.to_csv(\"/home/sadeghi/train_finall_cleaned.csv\", sep=\",\", encoding=\"utf-8\", index=False)"
      ]
    }
  ],
  "metadata": {
    "kernelspec": {
      "display_name": "Python 3 (ipykernel)",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.9.7"
    },
    "colab": {
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}