Version2/check_quality.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import re\n",
    "from tqdm import tqdm\n",
    "from collections import Counter\n",
    "import random"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# HYBRID"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv(\"./appropriateness/Appropriateness.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "163332"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'inappropriate', 'offline_crime', 'online_crime', 'drugs',\n",
       "       'gambling', 'pornography', 'prostitution', 'slavery', 'suicide',\n",
       "       'terrorism', 'weapons', 'body_shaming', 'health_shaming', 'politics',\n",
       "       'racism', 'religion', 'sexual_minorities', 'sexism', 'social_injustice',\n",
       "       'human_labeled', 'toxic_auto'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "106072"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "threshold = 0\n",
    "label_name = 'inappropriate'\n",
    "df_high_quality = df[(df[label_name] >= 1-threshold)|(df[label_name] <=threshold)]\n",
    "len(df_high_quality)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vers1 = pd.read_csv(\"../Inappropriateness_sensitive_topics_1.0/appropriateness/Appropriateness.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'inappropriate', 'human_labeled', 'offline_crime',\n",
       "       'online_crime', 'drugs', 'gambling', 'pornography', 'prostitution',\n",
       "       'slavery', 'suicide', 'terrorism', 'weapons', 'body_shaming',\n",
       "       'health_shaming', 'politics', 'racism', 'religion', 'sexual_minorities',\n",
       "       'sexism', 'social_injustice', 'none', 'toxic_new'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_vers1.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def depersonalize(text):\n",
    "    \n",
    "    text = str(text)\n",
    "    url_regex = r\"(?i)\\b((?:https?://|www\\d{0,3}[.]|[a-z0-9.\\-]+[.][a-z]{2,4}/)(?:[^\\s()<>]+|\\(([^\\s()<>]+|(\\([^\\s()<>]+\\)))*\\))+(?:\\(([^\\s()<>]+|(\\([^\\s()<>]+\\)))*\\)|[^\\s`!()\\[\\]{};:'\\\".,<>?«»“”‘’]))\"\n",
    "    text= re.sub(url_regex, \"url\", text)\n",
    "    text = re.sub(\"id[\\d]*\",'',text)\n",
    "    text = re.sub(\"> ?\",'',text)\n",
    "    text = re.sub(\"@[\\w]*\",'',text)\n",
    "    text = re.sub(\"[\\d]+\", \"NUMBER\", text)\n",
    "    text = re.sub(\">>\", \"\", text)\n",
    "    text = re.sub(\"[\\t|\\n|\\r]\", \"\", text)\n",
    "    \n",
    "    return text\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>unsafe</th>\n",
       "      <th>crime_real</th>\n",
       "      <th>crime_web</th>\n",
       "      <th>drugs</th>\n",
       "      <th>gambling</th>\n",
       "      <th>pornography</th>\n",
       "      <th>prostitution</th>\n",
       "      <th>slavery</th>\n",
       "      <th>suicide</th>\n",
       "      <th>...</th>\n",
       "      <th>body_shaming</th>\n",
       "      <th>halth_shaming</th>\n",
       "      <th>politics</th>\n",
       "      <th>racism</th>\n",
       "      <th>religion</th>\n",
       "      <th>sex_minorities</th>\n",
       "      <th>sexism</th>\n",
       "      <th>social</th>\n",
       "      <th>human_labeled</th>\n",
       "      <th>toxic_auto</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Начальники ДК и нынешнего места работы?</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.09</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Читаю. Драки, грабежи, ДТП. Изредка убийства, ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.18</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Допустимо, если информация не нарушает правил ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.02</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>В больницу при приеме на работу тоже мед комис...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>а зачем ты на проураинские митинги выходил? во...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.40</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 22 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text  unsafe  crime_real  \\\n",
       "0            Начальники ДК и нынешнего места работы?     0.0         0.0   \n",
       "1  Читаю. Драки, грабежи, ДТП. Изредка убийства, ...     1.0         1.0   \n",
       "2  Допустимо, если информация не нарушает правил ...     0.0         0.0   \n",
       "3  В больницу при приеме на работу тоже мед комис...     0.0         0.0   \n",
       "4  а зачем ты на проураинские митинги выходил? во...     1.0         0.0   \n",
       "\n",
       "   crime_web  drugs  gambling  pornography  prostitution  slavery  suicide  \\\n",
       "0        0.0    0.0       0.0          0.0           0.0      0.0      0.0   \n",
       "1        0.0    0.0       0.0          0.0           0.0      0.0      0.0   \n",
       "2        1.0    0.0       0.0          0.0           0.0      0.0      0.0   \n",
       "3        0.0    0.0       0.0          0.0           0.0      0.0      0.0   \n",
       "4        0.0    0.0       0.0          0.0           0.0      0.0      0.0   \n",
       "\n",
       "   ...  body_shaming  halth_shaming  politics  racism  religion  \\\n",
       "0  ...           0.0            0.0       0.0     0.0       0.0   \n",
       "1  ...           0.0            0.0       0.0     0.0       0.0   \n",
       "2  ...           0.0            0.0       0.0     0.0       0.0   \n",
       "3  ...           0.0            1.0       0.0     0.0       0.0   \n",
       "4  ...           0.0            0.0       0.0     1.0       0.0   \n",
       "\n",
       "   sex_minorities  sexism  social  human_labeled  toxic_auto  \n",
       "0             0.0     0.0     1.0              0        0.09  \n",
       "1             0.0     0.0     0.0              0        0.18  \n",
       "2             0.0     0.0     0.0              0        0.02  \n",
       "3             0.0     0.0     0.0              0        0.00  \n",
       "4             0.0     0.0     0.0              0        0.40  \n",
       "\n",
       "[5 rows x 22 columns]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "df['processed'] = df['text'].apply(depersonalize)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|███████████████████████████████████████████████████████████████████████| 163332/163332 [00:12<00:00, 12769.10it/s]\n"
     ]
    }
   ],
   "source": [
    "isnotequal = []\n",
    "for i,el in tqdm(df.iterrows(),total = len(df)):\n",
    "    if el['text'] != el['processed']:\n",
    "        isnotequal.append(1)\n",
    "    else:\n",
    "        isnotequal.append(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Counter({0: 149329, 1: 14003})"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Counter(isnotequal)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "df['motequal'] = isnotequal"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "@Andrey Stanin это все конечно имеет логику и прочее, только тут есть один изъян–после смены формации нам же эти завалы нечистот разгребать придется(это уже не говоря о том, что со сменой формации мы можем об*сратся и лозунги солидаризма и прочее станут очень хорошей основой для фашизма),как по мне самая большая проблема сейчас это вот такие \"левые\" как Попов с его путинизмом и всякие соц демы типо грудинки/плутошкина(про КПРФ с дедушкой Зюгановым я вообще молчу), потому как именно вот такие господа слили революцию в Германии и к власти пришли нацисты, так что как говорится, прежде чем объединятся надо выяснить кто есть кто и исходя из этого размежеватся\n",
      " Stanin это все конечно имеет логику и прочее, только тут есть один изъян–после смены формации нам же эти завалы нечистот разгребать придется(это уже не говоря о том, что со сменой формации мы можем об*сратся и лозунги солидаризма и прочее станут очень хорошей основой для фашизма),как по мне самая большая проблема сейчас это вот такие \"левые\" как Попов с его путинизмом и всякие соц демы типо грудинки/плутошкина(про КПРФ с дедушкой Зюгановым я вообще молчу), потому как именно вот такие господа слили революцию в Германии и к власти пришли нацисты, так что как говорится, прежде чем объединятся надо выяснить кто есть кто и исходя из этого размежеватся\n",
      "====================================================================================================\n"
     ]
    }
   ],
   "source": [
    "for i,el in df[df['motequal']==1].iterrows():\n",
    "    print(el['text'])\n",
    "    print(el['processed'])\n",
    "    print(\"=\"*100)\n",
    "#     if i == 5:\n",
    "    break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "df['text'] = df['processed']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "del df['processed']\n",
    "# del df['motequal'] "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Смотрим на опасность, проверяем очитску от очевидных матов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Пиши, я не против. Тебе же задали.Если не хочешь писать, иди работать водителем маршрутки или торговкой на рынок. Там такие как ты нужны как раз.',\n",
       " 'В ее возрасте некоторые в гробу лежат )',\n",
       " 'Вам никогда не казалось, что Бога нет и миром правит Сатана? Я любил--любовь всегда отвергали. Где был Бог?',\n",
       " 'Не думалось, что когда-нибудь напишу это..Но, если ты уже закончил школу, подумай о суициде. Человек с такими аналитическими способностями обречен стать бесконечным источником страданий для себя и окружающих(',\n",
       " 'Каждый вечер прихожу к ограде детского сада, где рядом играют дети, прошу рандомную девочку подойди и достаю член, а затем прошу что бы она его потрогала и своей рукой беру ее руку и надрачиваю себе.',\n",
       " 'А может и не сожгла, и они устроили тройничок в стиле БДСМ.',\n",
       " 'NUMBER. Кумар который выворачивает все суставы прокручивая их через мясорубку , невозможность есть, пить , спать . Вытекание жидкостей со всех щелей. Головные боли и высыпания грязи в виде прыщей по всему телу после недели неупотребления.',\n",
       " '- завёл девушку на расстоянии.  - считает её своей девушкой и пугается по скайпу.  - считает такие отношения серьезными и нормой. Барану - NUMBER лет. Конченный.',\n",
       " 'смертельной энергией поливать будет. все в мертвяков превратятся',\n",
       " 'Всегда считал, что девушки предъявляют требования парням, а не наоборот) Я не предъявляю требования, я хочу простых отношений без подстраивания человека под себя, а получается \"без мозгоебства скучно\".']"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "val = 1\n",
    "lst = df[df['inappropriate']>=val]['text'].tolist()\n",
    "\n",
    "# val = 0\n",
    "# lst = df[df['inappropriate']<=val]['text'].tolist()\n",
    "\n",
    "random.sample(lst,10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Смотрим мультилейбл"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'inappropriate', 'offline_crime', 'online_crime', 'drugs',\n",
       "       'gambling', 'pornography', 'prostitution', 'slavery', 'suicide',\n",
       "       'terrorism', 'weapons', 'body_shaming', 'health_shaming', 'politics',\n",
       "       'racism', 'religion', 'sexual_minorities', 'sexism', 'social_injustice',\n",
       "       'human_labeled', 'toxic_auto'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['да вы, батенька, знаете толк в извращениях',\n",
       " 'но банковские работники всегда в курсе, что этоА откуда у банковских работников такая глубокая осведомлённость по вопросу названий гей-сайтов?',\n",
       " 'Хм... Судя по пользовательской категории это гей бар... Пожалуй воздержусь от обращения к ним...',\n",
       " 'В одном из оплотов демократии запахло комунизмом... ',\n",
       " 'Непорядок, почему нет какого нибудь гея ?',\n",
       " 'ЛГБТ они правильно гоняют. А вот с остальным перебор...',\n",
       " 'хм... а если я из соломы и тряпки сделаю куклу и черты детские нарисую, меня тоже к педофилу приравняют или к поклоннику вуду?',\n",
       " 'сам бы так и поступил, жаль конечно за ненужный срок.кстати собирались же педофилам дополнительно к сроку кастрацию делать. опять всё только на словах? :(',\n",
       " 'они живут NUMBER лет после того как учатся на хирургов, или после первого гомосексуального опыта?',\n",
       " 'Может все кто такие дела возбуждают страдают от неразделённой любви и мстят \"педофилам\"']"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "topic = 'sexual_minorities'\n",
    "\n",
    "val = 0.85\n",
    "lst = df[(df['inappropriate']>=val)&(df[topic]==1)]['text'].tolist()\n",
    "\n",
    "# val = 0.15\n",
    "# lst = df[(df['inappropriate']<=val)&(df[topic]==1)]['text'].tolist()\n",
    "\n",
    "random.sample(lst,10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'inappropriate', 'human_labeled', 'offline_crime',\n",
       "       'online_crime', 'drugs', 'gambling', 'pornography', 'prostitution',\n",
       "       'slavery', 'suicide', 'terrorism', 'weapons', 'body_shaming',\n",
       "       'health_shaming', 'politics', 'racism', 'religion', 'sexual_minorities',\n",
       "       'sexism', 'social_injustice', 'none', 'toxic_new'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_vers1.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'unsafe', 'crime_real', 'crime_web', 'drugs', 'gambling',\n",
       "       'pornography', 'prostitution', 'slavery', 'suicide', 'terrorism',\n",
       "       'weapons', 'body_shaming', 'halth_shaming', 'politics', 'racism',\n",
       "       'religion', 'sex_minorities', 'sexism', 'social', 'human_labeled',\n",
       "       'toxic_auto'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "new_columns = ['text', 'inappropriate', 'offline_crime', 'online_crime', 'drugs', 'gambling',\n",
    "       'pornography', 'prostitution', 'slavery', 'suicide', 'terrorism',\n",
    "       'weapons', 'body_shaming', 'health_shaming', 'politics', 'racism',\n",
    "       'religion', 'sexual_minorities', 'sexism', 'social_injustice', 'human_labeled',\n",
    "       'toxic_auto']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.columns = new_columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>inappropriate</th>\n",
       "      <th>offline_crime</th>\n",
       "      <th>online_crime</th>\n",
       "      <th>drugs</th>\n",
       "      <th>gambling</th>\n",
       "      <th>pornography</th>\n",
       "      <th>prostitution</th>\n",
       "      <th>slavery</th>\n",
       "      <th>suicide</th>\n",
       "      <th>...</th>\n",
       "      <th>body_shaming</th>\n",
       "      <th>health_shaming</th>\n",
       "      <th>politics</th>\n",
       "      <th>racism</th>\n",
       "      <th>religion</th>\n",
       "      <th>sexual_minorities</th>\n",
       "      <th>sexism</th>\n",
       "      <th>social_injustice</th>\n",
       "      <th>human_labeled</th>\n",
       "      <th>toxic_auto</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Начальники ДК и нынешнего места работы?</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.09</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Читаю. Драки, грабежи, ДТП. Изредка убийства, ...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.18</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Допустимо, если информация не нарушает правил ...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.02</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>В больницу при приеме на работу тоже мед комис...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>а зачем ты на проураинские митинги выходил? во...</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>...</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>1.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0.40</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5 rows × 22 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text  inappropriate  \\\n",
       "0            Начальники ДК и нынешнего места работы?            0.0   \n",
       "1  Читаю. Драки, грабежи, ДТП. Изредка убийства, ...            1.0   \n",
       "2  Допустимо, если информация не нарушает правил ...            0.0   \n",
       "3  В больницу при приеме на работу тоже мед комис...            0.0   \n",
       "4  а зачем ты на проураинские митинги выходил? во...            1.0   \n",
       "\n",
       "   offline_crime  online_crime  drugs  gambling  pornography  prostitution  \\\n",
       "0            0.0           0.0    0.0       0.0          0.0           0.0   \n",
       "1            1.0           0.0    0.0       0.0          0.0           0.0   \n",
       "2            0.0           1.0    0.0       0.0          0.0           0.0   \n",
       "3            0.0           0.0    0.0       0.0          0.0           0.0   \n",
       "4            0.0           0.0    0.0       0.0          0.0           0.0   \n",
       "\n",
       "   slavery  suicide  ...  body_shaming  health_shaming  politics  racism  \\\n",
       "0      0.0      0.0  ...           0.0             0.0       0.0     0.0   \n",
       "1      0.0      0.0  ...           0.0             0.0       0.0     0.0   \n",
       "2      0.0      0.0  ...           0.0             0.0       0.0     0.0   \n",
       "3      0.0      0.0  ...           0.0             1.0       0.0     0.0   \n",
       "4      0.0      0.0  ...           0.0             0.0       0.0     1.0   \n",
       "\n",
       "   religion  sexual_minorities  sexism  social_injustice  human_labeled  \\\n",
       "0       0.0                0.0     0.0               1.0              0   \n",
       "1       0.0                0.0     0.0               0.0              0   \n",
       "2       0.0                0.0     0.0               0.0              0   \n",
       "3       0.0                0.0     0.0               0.0              0   \n",
       "4       0.0                0.0     0.0               0.0              0   \n",
       "\n",
       "   toxic_auto  \n",
       "0        0.09  \n",
       "1        0.18  \n",
       "2        0.02  \n",
       "3        0.00  \n",
       "4        0.40  \n",
       "\n",
       "[5 rows x 22 columns]"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv(\"./appropriateness/Appropriateness.csv\",index = None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# MULTILABEL"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_multi_v1 = pd.read_csv(\"../Inappropriateness_sensitive_topics_1.0/sensitive_topics/sensitive_topics.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'offline_crime', 'online_crime', 'drugs', 'gambling',\n",
       "       'pornography', 'prostitution', 'slavery', 'suicide', 'terrorism',\n",
       "       'weapons', 'body_shaming', 'health_shaming', 'politics', 'racism',\n",
       "       'religion', 'sexual_minorities', 'sexism', 'social_injustice'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_multi_v1.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_multi = pd.read_csv(\"./sensitive_topics/sensitive_topics.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['text', 'offline_crime', 'online_crime', 'drugs', 'gambling',\n",
       "       'pornography', 'prostitution', 'slavery', 'suicide', 'terrorism',\n",
       "       'weapons', 'body_shaming', 'health_shaming', 'politics', 'racism',\n",
       "       'religion', 'sexual_minorities', 'sexism', 'social_injustice'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_multi.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_multi.columns = df_multi_v1.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Путин войдёт в историю именем, Владимир обнулёный или Владимир ковидный.',\n",
       " 'О, дак это же как мой город, один в один, нищета и разруха. Только с другой стороны от Москвы.',\n",
       " 'Пусть жизни хлебнет. Вы просто тряметесь над ним сильно. Я в NUMBER уже пробовал сам жить.',\n",
       " 'Даже та средняя зарплата в NUMBER тыс руб о которой сейчас говорит власть - это вранье!!! Во всяком случае, где я живу средняя зарплата в основном NUMBER-NUMBER тыс руб......',\n",
       " 'Помогите решить задачу по нахождению уровня безработицы',\n",
       " 'Голосуем на выборах,терпилоиды!Умираем в ковидниках!Поодиночке,больше троих не собираться!Всё равно умные уехали остались одни дебилы и мусора.',\n",
       " 'всегда проигрываю когда нищая карликовая пидораха с борд пишет от имени успешных людей',\n",
       " 'Нахуй вообще на русскоязычную работать? Ты ебанутый?',\n",
       " 'Правильнее сказать ублюдки не имеющие мозгов на заработок денег способом отличным от воровства',\n",
       " ' Free А до санкций мы так хорошо жили просто зашибись и экономика на высоте была только пол страны нищие а сейчас Алешка сильно подпортит нам жизнь,ага как же наверно хуже чем было уже не сделать.']"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "topic = 'social_injustice'\n",
    "lst = df_multi[df_multi[topic]==1]['text'].tolist()\n",
    "random.sample(lst,10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "33303"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(df_multi)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_multi.to_csv(\"./sensitive_topics/sensitive_topics.csv\", index = None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "for f in os.listdir(\"./sensitive_topics/\"):\n",
    "    if \".csv\" in f:\n",
    "        df_curr = pd.read_csv(os.path.join(\"./sensitive_topics/\",f))\n",
    "        df_curr.columns = df_multi.columns\n",
    "        df_curr.to_csv(os.path.join(\"./sensitive_topics/\",f),index = None)\n",
    "#     print(f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}