IPMA Open Data

Há anos que coleciono os dados da estação metereológica mais perto da horta, em Tavira. Têm sido publicados em PDF (wtf?) há anos - pelos menos desde 2006. O problema é que (1) fazer o parsing de um PDF é complicado, (2) mudaram a estrutura um par de vezes e o pior (3) é que em certos meses talvez um sensor deve ter pifado e em vez de colocarem um zero ou string vazia saltaram a célula e portanto há linhas com menos colunas que outras. Oh joy!

Para além de tudo isto, são publicados com um mês e meio de atraso, mais coisa menos coisa…

Enfim, com o tempo fui fazendo um conversor desses dados que me produz um TSV bem formatado. Com isso tenho inserido os dados numa PivotTable, no Excel ou Numbers para os explorar. No passado usei ainda o Tableaux, quando tinha uma licença, mas esses tempos já lá vão.

Em vez de ter isto numa folha de cálculo, gostava de publicar isto num dashboard ou num reporting tool online, mas todos estes passos com os PDFs tornam a coisa complicada de automatizar. Além de que pouco actual.

Entretanto, descobri que o IPMA tem isso tudo em JSON: https://api.ipma.pt/open-data/

Não é a mesma estação, pois a do IPMA é mais perto do mar, on Forte do Rato.

O IPMA publica as observações horárias, com menos de uma hora de atraso. No entanto, só as últimas 24h.

Portanto, o plano que eu tenho para isto:

• começar a colecionar as observações horárias
• unir o histórico (outra estação, talvez não todas as métricas, enfim) com o near real time
• como vou ter isto numa BD expor numa web-interface os dados, com tabelas e gráficos simples

Há depois uma outra ideia para usar os dados, mas isso fica para mais tarde.