Fazer análise exploratória inicial de dados brutos do SMP

[ronaldokun]

Os dados de SMP são muitos e para que haja utilidade nas atividades de fiscalização é preciso agregá-los por localidade. A extração bruta inicial e Análise Exploratória de Dados com as ferramentas já prontas do python irão permitir uma ideia de como agregar esses dados.

• Fazer sampling de 10k linhas de todas as colunas do banco de dados
• Examinar os dados e efetuar relatório com ydata-profiling
• Agregar por fistel, município e coordenadas.

[ronaldokun]

• Efetuada Extração com o mínimo de filtros de dados do SMP:

MONGO_SMP = {
    "$and": [
        {"DataValidade": {"$nin": ["", None]}},
        {"Status.state": "LIC-LIC-01"},
        {"NumServico": "010"},
        {"FreqInicialMHz": {"$nin": [None, "", 0]}},
        {"FreqCentralMHz": {"$nin": [None, "", 0]}},
        {"FreqFinalMHz": {"$nin": [None, "", 0]}},
        ]
}

• As colunas extraídas foram:

COLS_SMP = {
    "NumAto": "Num_Ato",
    "NumFistel": "Fistel",
    "NomeEntidade": "Entidade",
    "SiglaUf": "UF",
    "NumEstacao": "Número_Estação",
    "NomeMunicipio": "Município",
    "CodMunicipio": "Código_Município",
    "DataValidade": "Validade_RF",
    "FreqInicialMHz": "Frequência_Inicial",
    "FreqCentralMHz": "Frequência_Central",
    "FreqFinalMHz": "Frequência_Final",
    "Latitude": "Latitude",
    "Longitude": "Longitude",
    "DesignacaoEmissao": "Designacao_Emissão",
    "PotenciaTransmissorWatts" : "Potência(W)",
    "CodTipoAntena": "Cod_TipoAntena",
    "Polarizacao": "Polarização",
    "RaioAntena": "Raio_Antena",
    "GanhoAntena": "Ganho_Antena",
    "FrenteCostaAntena": "FC_Antena",
    "AnguloMeiaPotenciaAntena": "Ang_MP_Antena",
    "AnguloElevacao": "Ângulo_Elevação",
    "Azimute": "Azimute",
    "AlturaAntena": "Altura_Antena",
    "PerdasAcessorias": "Perdas_Acessorias",
    }

Ainda não foi definido qual agrupamento faz sentido para exportar os dados para o Matlab. Essa será a próxima tarefa...

[ronaldokun]

sumarização_smp.xlsx