notebook_esplorativo.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": false
   },
   "source": [
    "The following notebook is built to analyze a clean tsv file, containing patents' data from Derwent database.\n",
    "We are not allowed to share the content of the dataset (ex. graphics), but you can use the code to analyze your own files."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "ExecuteTime": {
     "start_time": "2023-05-19T08:31:41.006359200Z"
    },
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "import pandas\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import pandas as pd\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-05-19T08:32:01.194593Z",
     "start_time": "2023-05-19T08:31:44.606204Z"
    },
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "data = pandas.read_csv('clean_patents_batteries.tsv', sep='\\t', low_memory=False)\n",
    "data = pandas.DataFrame(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "print(data.columns)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "print(set(data[\"Publication Country Code\"]))  # CODICE PUBBLICAZIONE NAZIONE - solo un WO"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "print(sorted(set(data[\"Publication Year\"]))) # anni di pubblicazioni"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "# classi tecnologiche brevetti generali\n",
    "val = data[\"DWPI Class\"].value_counts()\n",
    "print(val[0:10])  # 10 classi tecnologiche più usate nei brevetti in 14 anni"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "val[0:10].plot(kind=\"pie\", subplots=True, legend=True, autopct='%.1f%%', labeldistance=None )\n",
    "plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "ragg_anno = data.groupby(data[\"Publication Year\"])[\"DWPI Class\"].count()\n",
    "ragg_anno = ragg_anno.drop(2023, errors='ignore')  #eliminato anno 2023 date le poche osservazioni\n",
    "print(ragg_anno)  # totali anno per anno\n",
    "ragg_anno.plot()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "conteggio_per_anno = data.groupby([\"Publication Year\", \"DWPI Class\"])[\"DWPI Class\"].count()\n",
    "top_10_per_anno = conteggio_per_anno.groupby(\"Publication Year\").nlargest(10).reset_index(level=0, drop=True)\n",
    "print(top_10_per_anno)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-05-19T08:32:02.544642Z",
     "start_time": "2023-05-19T08:32:02.535559700Z"
    },
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "### ANNO 2020\n",
    "anno = 2020\n",
    "df = pd.DataFrame(top_10_per_anno)  # trasformazione in data frame"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "### PER ANNO 2020\n",
    "print(df.loc[[anno]])  # solo i migliori 10 in un anno\n",
    "df.loc[[anno]].plot(kind=\"pie\", subplots=True, legend=True, autopct='%.1f%%', labeldistance=None )\n",
    "plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "### GRAFICO A BARRE - CICLO FOR ANNUALE PER CLASSE TECNOLOGIA BREVETTI\n",
    "for i in range(2010,2024):          #ciclo per produrre barchar e numero di brevetti suddivisi per tipologia effettuati anno per anno\n",
    "    print(df.loc[[i]])\n",
    "    df.loc[[i]].plot(kind=\"bar\")\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "### GRAFICO A TORTA -CICLO FOR ANNUALE PER CLASSE TECNOLOGICA BREVETTI\n",
    "for i in range(2010,2024):          #ciclo per produrre pie e numero di brevetti suddivisi per tipologia effettuati anno per anno\n",
    "    print(df.loc[[i]])\n",
    "    df.loc[[i]].plot(kind=\"pie\", subplots= True, legend= True,autopct='%.1f%%',labeldistance=None )\n",
    "    plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0)\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "is_executing": true
    }
   },
   "outputs": [],
   "source": [
    "enterprises = data['Ultimate Parent'].value_counts()\n",
    "print(enterprises[0:21])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "conteggio_per_anno = data.groupby([\"Publication Year\", 'Ultimate Parent'])['Ultimate Parent'].count()\n",
    "top_10_per_anno = conteggio_per_anno.groupby(\"Publication Year\").nlargest(10).reset_index(level=0, drop=True)\n",
    "print(top_10_per_anno)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.DataFrame(top_10_per_anno)  # trasformazione in data frame\n",
    "df = df.drop(2023, errors = 'ignore')\n",
    "\n",
    "for i in range(2010,2023):          #ciclo per produrre piechar e numero di brevetti suddivisi per tipologia effettuati anno per anno\n",
    "    print(df.loc[[i]])\n",
    "    df.loc[[i]].plot(kind=\"pie\", subplots=True, legend=False, autopct='%.1f%%', labeldistance=None )\n",
    "    plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0)\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "conteggio_per_anno = data.groupby([\"Publication Year\", 'Ultimate Parent'])['Ultimate Parent'].count()\n",
    "\n",
    "# Trasforma la Series 'conteggio_per_anno' in un DataFrame e resetta l'indice\n",
    "df = conteggio_per_anno.reset_index(name='conteggio')\n",
    "\n",
    "# Filtra il DataFrame per includere solo gli anni tra il 2010 e il 2022\n",
    "df_filtered = df[df[\"Publication Year\"].between(2010, 2022)]\n",
    "\n",
    "# Calcola il totale dei brevetti per società nel range di anni indicato\n",
    "totali_per_societa = df_filtered.groupby(\"Ultimate Parent\")[\"conteggio\"].sum()\n",
    "\n",
    "# Ordina le società per il totale dei brevetti e seleziona le prime 5\n",
    "top_10_societa = totali_per_societa.sort_values(ascending=False).head(10)\n",
    "\n",
    "# Calcola la media dei brevetti per società nel range di anni indicato\n",
    "anni = len(df_filtered[\"Publication Year\"].unique())\n",
    "media_per_societa = top_10_societa / anni\n",
    "\n",
    "# Genera il grafico a torta con la media per ogni società dei brevetti posseduti nel range di anni indicato\n",
    "media_per_societa.plot(kind=\"pie\", legend=False, autopct='%.1f%%')\n",
    "plt.title(\"TUTTE LE CLASSI TECNOLOGICHE - Media per società dei brevetti posseduti nel range di anni 2010-2022 (Top 10)\")\n",
    "plt.ylabel('')  # Rimuovi l'etichetta dell'asse y\n",
    "plt.legend(loc='upper right', bbox_to_anchor=(3, 1))\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# calcola il conteggio dei brevetti per ogni anno e società\n",
    "conteggio_per_anno = data.groupby([\"Publication Year\", 'Ultimate Parent'])['Ultimate Parent'].count()\n",
    "\n",
    "# trasforma la Series in un DataFrame e resetta l'indice\n",
    "df = conteggio_per_anno.reset_index(name='conteggio')\n",
    "\n",
    "# filtra il DataFrame per includere solo gli anni tra il 2010 e il 2022\n",
    "df_filtered = df[df[\"Publication Year\"].between(2010, 2022)]\n",
    "\n",
    "# calcola il totale dei brevetti per società nel range di anni indicato\n",
    "totali_per_societa = df_filtered.groupby(\"Ultimate Parent\")[\"conteggio\"].sum()\n",
    "\n",
    "# ordina le società per il totale dei brevetti e seleziona le prime 5\n",
    "top_10_societa = totali_per_societa.sort_values(ascending=False).head(10)\n",
    "\n",
    "# crea una tabella pivot per avere le società come colonne\n",
    "pivot_filtered = df_filtered[df_filtered['Ultimate Parent'].isin(top_10_societa.index)].pivot(index='Publication Year', columns='Ultimate Parent', values='conteggio')\n",
    "\n",
    "# genera il grafico di serie storica per le top 5 società\n",
    "pivot_filtered.plot()\n",
    "plt.title(\"TUTTE LE CLASSI TECNOLOGICHE - Serie storiche per le top 10 società nel range di anni 2010-2022\")\n",
    "plt.ylabel('Numero di brevetti')\n",
    "plt.xlabel('Anno')\n",
    "plt.legend(loc='upper right', bbox_to_anchor=(3, 1))\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def ends_with_x21e(s):\n",
    "    if isinstance(s, str):\n",
    "        return bool(re.search(r'\\bX21 E\\b$', s))\n",
    "    return False\n",
    "\n",
    "# Filtra il DataFrame per includere solo le classi DWPI che terminano con \"X21 E\"\n",
    "data_x21 = data[data[\"DWPI Class\"].apply(ends_with_x21e)]\n",
    "\n",
    "# Stampa il DataFrame filtrato\n",
    "print(data_x21)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "conteggio_per_anno_x21 = data_x21.groupby([\"Publication Year\", 'Ultimate Parent'])['Ultimate Parent'].count()\n",
    "\n",
    "# Trasforma la Series 'conteggio_per_anno' in un DataFrame e resetta l'indice\n",
    "df_x21 = conteggio_per_anno_x21.reset_index(name='conteggio')\n",
    "\n",
    "# Filtra il DataFrame per includere solo gli anni tra il 2010 e il 2022\n",
    "df_filtered_x21 = df_x21[df_x21[\"Publication Year\"].between(2010, 2022)]\n",
    "\n",
    "# Calcola il totale dei brevetti per società nel range di anni indicato\n",
    "totali_per_societa_x21 = df_filtered_x21.groupby(\"Ultimate Parent\")[\"conteggio\"].sum()\n",
    "\n",
    "# Ordina le società per il totale dei brevetti e seleziona le prime 5\n",
    "top_10_societa_x21 = totali_per_societa_x21.sort_values(ascending=False).head(10)\n",
    "\n",
    "# Calcola la media dei brevetti per società nel range di anni indicato\n",
    "anni_x21 = len(df_filtered_x21[\"Publication Year\"].unique())\n",
    "media_per_societa_x21 = top_10_societa_x21 / anni_x21\n",
    "\n",
    "# Genera il grafico a torta con la media per ogni società dei brevetti posseduti nel range di anni indicato\n",
    "media_per_societa_x21.plot(kind=\"pie\", legend=False, autopct='%.1f%%')\n",
    "plt.title(\"X21 E - Media per società dei brevetti posseduti nel range di anni 2010-2022 (Top 10)\")\n",
    "plt.ylabel('')  # Rimuovi l'etichetta dell'asse y\n",
    "plt.legend(loc='upper right', bbox_to_anchor=(3, 1))\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# Crea una tabella pivot per avere le società come colonne\n",
    "pivot_x21 = df_filtered_x21.pivot(index='Publication Year', columns='Ultimate Parent', values='conteggio')\n",
    "\n",
    "# Filtra la tabella pivot per includere solo le top 10 società\n",
    "top_10_societa_x21 = pivot_x21.sum().sort_values(ascending=False).head(10)\n",
    "societa_selezionate_x21 = pivot_x21[top_10_societa_x21.index]\n",
    "\n",
    "# Calcola le medie mobili su finestre temporali di 3 anni per le top 10 società\n",
    "media_mobili_x21 = societa_selezionate_x21.rolling(window=3).mean()\n",
    "\n",
    "# Genera il grafico di serie storiche con medie mobili per le top 10 società\n",
    "media_mobili_x21.plot()\n",
    "plt.title(\"X21 E - Serie storiche con medie mobili per le top 10 società nel range di anni 2010-2022\")\n",
    "plt.ylabel('Numero di brevetti')\n",
    "plt.xlabel('Anno')\n",
    "plt.legend(loc='upper right', bbox_to_anchor=(3, 1))\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "#isoliamo solo i brevetti che hanno come classi tecnologiche o x21 o x22\n",
    "cl_x22_x21 = data[data[\"DWPI Class\"].str.contains('|'.join(['X21', 'X22']), case= False, na=False)]\n",
    "\n",
    "conteggio_per_anno_x21_x22 = cl_x22_x21.groupby([\"Publication Year\", 'Ultimate Parent'])['Ultimate Parent'].count()\n",
    "\n",
    "# Trasforma la Series 'conteggio_per_anno' in un DataFrame e resetta l'indice\n",
    "df_x21_x22 = conteggio_per_anno_x21_x22.reset_index(name='conteggio')\n",
    "\n",
    "\n",
    "pivot_x21_x22 = df_x21_x22.pivot(index='Publication Year', columns='Ultimate Parent', values='conteggio')\n",
    "top_10_societa_x21_x22 = pivot_x21_x22.sum().sort_values(ascending=False).head()\n",
    "societa_selezionate_x21_x22 = pivot_x21[top_10_societa_x21_x22.index]\n",
    "\n",
    "# genera il grafico di serie storica per le top 5 società\n",
    "societa_selezionate_x21_x22.plot()\n",
    "plt.title(\"X21-X22 - Serie storiche per le top 5 società nel range di anni 2010-2022\")\n",
    "plt.ylabel('Numero di brevetti')\n",
    "plt.xlabel('Anno')\n",
    "plt.legend(loc='upper right')\n",
    "plt.show()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "ragg_anno_x22_x21 = cl_x22_x21.groupby(data[\"Publication Year\"])[\"DWPI Class\"].count()\n",
    "ragg_anno_x22_x21 = ragg_anno_x22_x21.drop(2023, errors='ignore')  #eliminato anno 2023 date le poche osservazioni\n",
    "print(ragg_anno_x22_x21)  # totali anno per anno\n",
    "plt.clf()\n",
    "ragg_anno_x22_x21.plot()\n",
    "plt.show()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}