Articles

Classificação supervisionada de patologias na superfície de pavimentos asfálticos a partir de Aeronave Remotamente Pilotada (RPA)

Supervised classification of pathologies in asphalt pavements surface from a Remote Piloted Aircraft (RPA) Clasificación supervisada de patologías en la superficie de los pavimentos de asfalto desde una Aeronave Pilotada Remotamente (RPA)

G. Legramanti¹ ^* , R. D. Duarte¹ , E. V. Gomes¹ , S. L. Dallagnol¹ , D. R. Bisconsini¹ , H. S. Felipetto¹ , L. Moraes¹

¹ Departamento de Engenharia Civil, Universidade Tecnológica Federal do Paraná, Pato Branco, Brasil.

^*Contact author: gabriela-legramanti@hotmail.com

Recepção: 20 de abril de 2023.
Aceitação: 31 de agosto de 2023.
Publicação: 01 de septiembre de 2023.

Citar como:Legramanti, G.,Duarte,R. D., Gomes Junior, E. V.,Dallagnol, S. L.,Bisconsini,D. R., Felipetto, H. S.,Moraes,L. (2023), "Classificação supervisionada de patologias na superfície de pavimentos asfálticos a partir de Aeronave Remotamente Pilotada (RPA)", Revista ALCONPAT, 13(3), pp. 271 –285, DOI: https://doi.org/10.21041/ra.v13i3.685

Resumo
A identificação de defeitos é atividade rotineira em Sistemas de Gerência de Pavimentos (PMS) para tomadas de decisão sobre serviços de Manutenção e Reabilitação (M&R). Métodos tradicionais podem ser demorados, prejudicar o tráfego e causar acidentes. Neste estudo, patologias em pavimentos asfálticos foram avaliadas a partir de três métodos: por caminhamento, classificação manual de imagens de uma Aeronave Remotamente Pilotada (RPA) e classificação supervisionada. A classificação manual resultou em 93,1% de acerto, contra de 32,7% na classificação supervisionada. Conclui-se que a RPA é adequada para avaliar patologias em pavimentos asfálticos, proporcionando economia de tempo e segurança.
Palavras chave: pavimento, gerência de pavimentos, patologias, Aeronave Remotamente Pilotada, RPA.

1. IntroduÇÃo

O transporte rodoviário é um dos mais utilizados no mundo por permitir o deslocamento porta-a-porta com boa flexibilidade. Para garantir segurança, conforto e economia aos usuários, debe-se manter as vias em condições adequadas ao rolamento. Neste aspecto, Sistemas de Gerência de Pavimentos (SGP) são ferramentas de grande utilidade a empresas privadas e órgãos públicos responsáveis pela administração de rodovias. Seu objetivo é formalizar as tomadas de decisão, assegurando consistência às decisões em diferentes níveis e o melhor uso possível dos recursos investidos. O bom funcionamento de um SGP, por sua vez, depende da contínua alimentação de seu banco de dados composto por avaliações. Dentre as avaliações mais importantes de um SGP, está a avaliação de patologias na superfície, sendo um dos principais levantamentos para a definição de estratégias de Manutenção e Reabilitação (M&R) de pavimentos.

Apesar de sua importância, a coleta de dados nem sempre é eficiente e segura. No caso da avaliação de patologias superficiais em pavimentos, o levantamento por caminhamento é o mais conhecido. Apesar de amplamente utilizado, este procedimento demanda tempo (Schnebele et al., 2015), tanto para o treinamento dos técnicos envolvidos quanto para a coleta de dados em campo. Além disso, está sujeito a erros humanos que afetam sua confiabilidade (Shaghlil e Khalafallah, 2018). Por isso, o desenvolvimento de novas tecnologias para o levantamento de patologias é essencial para minimizar a subjetividade dos métodos tradicionais e melhorar a produtividade e repetitividade das avaliações (Ragnoli et al., 2018). Nos últimos anos, tem-se investigado o uso de RPAs (Aeronaves Remotamente Pilotadas) para a avaliação de patologias em pavimentos (Zhu et al., 2021), com vistas à maior segurança dos usuários e avaliadores, sem necessidade de bloqueio de tráfego (Tan e Li, 2019), proporcionando boa repetitividade e agilidade, além da possibilidade de identificação automatizada de patologias (Pinto et al., 2020). Parente et al. (2017) observaram que a identificação manual de patologias a partir de uma RPA apresenta uma diferença em área pouco significativa quando comparado ao levantamento em campo.

Ranyal et al. (2022) realizaram uma revisão sistemática da literatura, publicada entre 2017 e 2022, sobre tecnologias baseadas em sensores com e sem contato voltadas para o monitoramento da condição de rodovias. Os autores destacaram a proeminência de sensores inteligentes e plataformas de coleta de dados, como smartphones, drones e veículos integrados munidos de sensores sem contato, como RGB, câmeras termográficas, lasers e sensores GPR (Ground Penetrating Radar). No caso dos VANTs, destacam que as principais vantagens estão relacionadas ao campo de visão que oferecem, alta resolução, dados profundos e detalhados, facilidade de aplicação e possibilidade de acesso a áreas de risco, além de flexibilidade para rápidos levantamentos. Por outro lado, também citam como desvantagens a carga útil, restrições de memória e limitações legais de uso.

Considerando que a detecção automática de estradas por VANTs é uma etapa essencial para a aplicação desta ferramenta na avaliação da condição de rodovias, Ranjbar et al. (2023) criaram um método para detecção automática dos limites de estradas e as segmentassem por meio de dados temporais e geográficos, através de sua Unidade de Medição Inercial (IMU). Os autores testaram o método desenvolvido em áreas urbanas, concluindo que o sistema foi capaz de realizar essa de forma eficiente, recomendando que trabalhos futuros apliquem redes neurais convolucionais (CNN) para aumentar a eficiência do método.

Hassan et al. (2021) desenvolveram uma CNN para a detecção de faixas amarelas em rodovias com o objetivo de automatizar o levantamento de trincas e buracos a partir de imagens de VANTs. Foram criadas treze camadas convolucionais, sendo uma softmax de saída e duas integralmente conectadas, sendo aplicada a ativação mish nas primeiras doze camadas por meio de uma unidade linear retificada (ReLU), a fim de atingir uma propagação mais profunda e impedir a saturação na fase de treinamento. O modelo alcançou uma precisão de 95%.

Astor et al. (2023) compararam a precisão do levantamento de defeitos em pavimentos realizados por VANTs com aqueles obtidos manualmente, por meio de modelos de regressão obtidos para o SDI (Surface Distress Index) e o PCI (Pavement Condition Index). O modelo de previsão do PCI por imagens de VANTs alcançou um R² de 0.86, contra um R² de 0.653 para o modelo de previsão de SDI.

Branco e Segantine (2015) delimitaram áreas imageadas por meio de polígonos para a identificação de patologias em pavimentos urbanos. Os autores encontraram dificuldades devido à presença de vegetação e edificações de concreto, sendo estas classificadas como pavimento em algumas análises. Pan et al. (2018) utilizaram algoritmos de aprendizado de máquina, como rede neural artificial, máquina de vetorial de suporte e floresta aleatória para classificar trincas e panelas em pavimentos. Entre os três métodos, o modelo de floresta aleatória de dezoito árvores obteve o melhor desempenho de classificação, com acurácia de 98,83%.

Apesar dos benefícios que RPAs podem proporcionar, há limitações a se considerar para o levantamento de patologias, como a altura de voo, resolução e calibração da câmera, e qualidade de orientação da imagem (Tan e Li, 2019), além do software e algoritmo de classificação utilizados (Zhu et al., 2021). Pan et al. (2018) apontam que a resolução espacial não deve exceder a escala mínima dos eventos de interesse ou detalhes são perdidos. Em sua pesquisa, o número de trincas não identificadas aumentou quando o tamanho dos pixels foi superior a 3 cm. Shaghlil e Khalafallah (2018) recomendaram alturas de voo entre 5 e 10 m, sendo a máxima dependente da resolução da câmera. Neste caso, utilizaram uma câmera de 12 megapixels. Com uma câmera de 20 megapixels de resolução, Oliveira et al. (2020) obtiveram erro médio máximo de 1,06%, a uma altura de 30 m, para a identificação de um remendo, enquanto para 60 m, um erro médio máximo de 7,18%. Explicam que imagens sobrepostas das mesmas patologias é determinante para a acurácia do método, pois patologias com maiores dimensões estarão presentes em diversas capturas, gerando, assim, mais informações para a etapa de processamento.

Neste estudo, investigou-se a identificação automatizada de patologias em pavimentos asfálticos por classificação supervisionada de imagens de RPAs, preenchendo uma lacuna importante de pesquisas correlatas, pois aponta a acurácia da classificação não só pelo cálculo de áreas similares dos elementos-alvo, mas também em sua localização. Ademais, contempla não só o método tradicional de levantamento de patologias por caminhamento, mas também a classificação visual de imagens de RPAs, que permite, senão a identificação automatizada de patologias, uma avaliação mais segura, sem interferências no tráfego, atributos altamente relevantes em atividades rotineiras na gerência de pavimentos, especialmente em vias de maior tráfego.

2. MÉtodo

O método foi dividido em planejamento e realização do voo, classificação manual,iclassificação supervisionada, comparativo de métodos e análise estatística da classificação supervisionada.

2.1 Planejamento e realização do voo

A aeronave utilizada para a realização do voo foi o modelo Phantom 4 Advanced da fabricante DJI (Dà-Jiāng Innovations) com bateria para 30 minutos de uso. A câmera acoplada à aeronave possui lente com campo de visão de 84º e distância focal de 8,8 mm/24 mm, equipada com um sensor CMOS (Complementary Metal Oxide Semiconductor) de 1” com 20 Megapixels e sistema de cores RGB (Red, Green and Blue) (DJI Brasil, 2017). Para o mapeamento aéreo, consideraram-se os seguintes fatores: tempo ensolarado e incidência luminosa apropriada, sem nuvens; janela ideal de voo, das 11h às 13h; velocidade e direção de vento propícios; locais de pouso e decolagem selecionados conforme obstáculos locais; e não interferência no espaço aéreo, solicitada à Agência Nacional de Aviação Civil (ANAC).

O trecho avaliado possui extensão de 600 m, com dois segmentos perpendiculares entre si, localizado na Rua Irineu Parzianello, município de Pato Branco, estado do Paraná, Brasil, com coordenadas iniciais 26º11’55.14”S e 52º41’19.15’’O, e finais 26º12’4.92”S e 52º41’34.75”O. O trecho apresentava diversas patologias de superfície, permitindo uma análise abrangente da porcentagem de acerto dos métodos de identificação de patologias e de não patologias. A presença de vegetação lindeira à via permitiu a avaliação de elemntos na presença de sombra.

O plano de voo atendeu os seguintes parâmetros: recobrimento lateral de 65%; recobrimento longitudinal de 75%; e velocidade máxima de 15 m/s, com GSD (Ground Sample Distance) de 1,5 cm/px, resultando em uma altitude média de 50 metros. O tempo aproximado de voo foi de 7 minutos. Para otimizar o ajuste do processamento das imagens, fez-se a determinação de dez pontos de controle (Ground Control Points - GCPs) ao longo do trecho escolhido, de forma aleatória e intercalada entre os lados da pista. Foram afixados alvos e suas respectivas coordenadas foram determinadas através do receptor GNSS (Global Navigation Satellite System), modelo Zenith 25, através do método RTK (Real Time Kinematic). O processamento para criação do ortomosaico foi realizado no programa Agisoft PhotoScan, utilizada para referenciar as fotos, corrigir posicionamentos em relação às coordenadas do GNSS e realizar a ortorretificação para a obtenção do ortomosaico final utilizado nas classificações manual e supervisionada.

2.2 Classificação manual de imagens

A partir do ortomosaico, realizou-se a classificação manual das patologias. Para tal, utilizou-se o software AutoCAD® 2018 para a vetorização de cada elemento (Fig. 1).


Figura 1. Exemplo de delimitação manual de áreas de patologias

Para a obtenção de dados de referência para o levantamento realizado com a RPA, realizou-se a avaliação de patologias por caminhamento, identificando-se tipo e extensão das patologias, a fim de verificar se as patologias existentes na via seriam visíveis nas imagens obtidas pela RPA.

2.3 Classificação supervisionada das imagens

A classificação supervisionada de imagens foi realizada com auxílio de um complemento da plataforma QGIS (Quantum Geographic Information System): o SCP (Semi-Automatic Classification Plugin). A partir da ortoimagem final foi criado um conjunto de bandas através do plugin, equivalente à etapa de pré-processamento. Na primeira etapa do processamento definiram-se as categorias de interesse: pavimento asfáltico em boas condições; trincas; panelas; remendos; vegetação (sobreposta à via); e áreas com presença de material argiloso. Em seguida, foram selecionadas amostras de cada elemento de interesse à classificação, que pode ter como instrumento de captura um pixel ou um polígono. Estas amostras alimentam o arquivo de treinamento, obtendo-se, como resultado da classificação, uma imagem raster.

Para estimar o método de classificação supervisionada mais adequado para a máquina utilizada, foram testadas combinações de variáveis associadas ao critério de identificação, por pixel ou por polígono, do algoritmo classificador, Minimum Distance, Maximum Likelihood ou Spectral Angle Mapping; e ao número de amostras para o aprendizado de máquina.

Para a escolha do número de amostras condizente com a capacidade da máquina, coletou-se aleatoriamente quatro amostras de cada um dos elementos para um primeiro ensaio, oito amostras para um segundo e dezesseis para um terceiro, totalizando 24, 48 e 96 amostras, respectivamente. Por meio do SCP, as amostras foram coletadas por pixel, onde se delimita a área com pixels similares ao selecionado, e por polígono, onde a área é delimitada manualmente (Fig. 2).


Figura 2. Exemplos de amostragem por polígono (a) e por pixel (b)

Quanto aos algoritmos de classificação de imagens, o SCP fornece três opções: (1) Minimum Distance (Mínima Distância), que classifica os pixels através da distância média espectral entre categorias, por distância Euclidiana, conforme Eq. (1) (Richards, 2013):

Onde d x , y é a Distância Euclidiana; x i : Vetor de assinatura espectral da imagem de pixel; y i : Vetor de assinatura espectral da área de uma amostra; n: Número de bandas da imagem.

(2) Maximum Likelihood (Máxima Verossimilhança), que calcula a distribuição de probabilidade normal da classe, de acordo com a Eq. (2) (Richards, 2013):

Onde g k x é a Distribuição de probabilidade normal da classe; x : Vetor de assinatura espectral da imagem de pixel; C 푘 : Classe de cobertura do solo k; p ( C k ) : Probabilidade de que a classe correta seja C k ; | Σ k |: Determinante da matriz de covariância dos dados na classe C k ; Σ k - 1 : Inverso da matriz de covariância; y k : Vetor de assinatura espectral da classe k.

(3) Spectral Angle Mapping (Mapeamento por Ângulo Espectral), que determina o grau de similaridade entre curvas espectrais, conforme a Eq. (3) (Kruse et al., 1993):

Onde θ x , y é o Ângulo espectral; x i : Vetor de assinatura espectral da imagem de pixel; y i : Vetor de assinatura espectral da área de uma amostra; n: Número de bandas da imagem.

Após diversas combinações entre critério de identificação, algoritmo classificador e número de amostras, encontraram-se as melhores para o estudo. Os resultados com maior porcentagem de acerto, quanto ao tipo e extensão das patologias, foram obtidos com o classificador Maximum LikeliHood, pelo método de polígonos, com 24 e 48 amostras. Combinações com mais amostras foram descartadas devido à capacidade da máquina utilizada e ao modo de funcionamento do programa que, durante o processamento, sobrecarrega continuamente a memória da máquina.

2.4 Análises comparativa e estatística

Após o comparativo entre classificação manual de imagens com os dados do levantamento por caminhamento, considerou-se a classificação manual como referência para as classificações supervisionadas, pela alta conformidade da classificação manual com as patologias de campo.

Para avaliar estatisticamente a acurácia do classificador na identificação das patologias, foi utilizado o índice Kappa, técnica de estatística multivariada. Avaliou-se tanto a comparação da classificação supervisionada com as amostras utilizadas para o treinamento do algoritmo, quanto à classificação supervisionada com a manual. Os índices Kappa obtidos são resultantes da Matriz de Erros (ou de confusão), fornecida no pós-processamento do QGIS, e da Matriz de acertos manual versus supervisionada, respectivamente. Além deste, outro parâmetro utilizado para a análise de classes foi o Coeficiente de Correlação de Matthews (MCC).

2.4.1 Comparativo de acertos da classificação supervisionada em relação a manual

Com o auxílio do QGIS, sobrepuseram-se os polígonos obtidos na classificação manual aos polígonos da classificação supervisionada provenientes da transformação da imagem raster em polígonos. Assim, obteve-se a área em comum de ambas as classificações para cada elemento. A fim de verificar a porcentagem de acerto de identificação de patologias, os resultados da classificação manual foram confrontados com os da classificação supervisionada a partir de 24 e 48 amostras. A título de exemplo, na Figura 3 é exibido um mesmo trecho classificado de forma manual (a) e supervisionada, com 24 amostras (b) e 48 amostras (c).


Figura 3.3. (a) Manual, (b) Supervisionada de 24 amostras e (c) Supervisionada de 48 amostras.

2.4.2 Matriz de confusão

Na matriz de confusão, os valores de classe previstos para os dados de validação são comparados aos valores conhecidos (Story; Congalton, 1986; Campbell; Hall-Beyer, 1997). Essa matriz mapeia valores reais das classes do conjunto de validação ao longo das colunas em relação às classes previstas pelo classificador nas linhas. Os pixels classificados corretamente são dispostos ao longo da diagonal da matriz, enquanto os classificados incorretos ou confundidos com outra classe são exibidos nas células fora da diagonal (Mcgwire; Fisher, 2001).

Os verdadeiros positivos (TP) e verdadeiros negativos (TN) consistem emsclassificações corretas. Um falso positivo (FP) ocorre quando a predição do resultado é incorreta, como sim (ou positivo) quando, na verdade, não é (negativo). Um falso negativo (FN) ocorre quando o resultado é previsto como negativo quando o resultado verdadeiro é positivo (Witten; Frank; Hall, 2016). A partir destas frequências, obtém-se indicadores de desempenho de classificação que refletem a eficiência do classificador na detecção de uma determinada classe. Uma matriz de confusão multiclasses (k x k), como a do caso em estudo, pode ser representada como um conjunto de k matrizes binárias de confusão, uma para cada classe, possibilitando um tratamento posterior (Ruuska et al., 2018).

2.4.3 Estatística kappa

O índice Kappa (K) foi criado por Jacob Cohen em 1960, com o objetivo de medir a precisão ou grau de concordância entre categorizações previstas e observadas de um conjunto de dados (Cohen, 1960). O coeficiente também serve para indicar o grau de concordância entre a classificação supervisionada e os dados de referência, que podem ser as amostras utilizadas no treinamento do algoritmo de classificação, ou uma imagem da classificação manual definida como correta. Em mapas, o grau de concordância do índice Kappa pode variar entre 0 e 1, sendo que quanto mais próximo da unidade, maior o grau de concordância. Usa-se aqui a interpretação da classificação proposta por Landis e Koch (1977), representada na Tabela 1:

Valor do Kappa	Interpretação
Tabela 1. Grau de concordância a partir do índice Kappa
0,00 - 0,20	Concordância pobre
0,21 - 0,40	Concordância fraca
0,41 - 0,60	Concordância moderada
0,61 - 0,80	Concordância boa
0,81 - 1,00	Concordância quase perfeita
Fonte: Adaptado de Landis e Koch (1977).

O índice Kappa (K) é calculado a partir da seguinte expressão:

Onde P o é a proporção de concordância observada, ou exatidão global, e P c é a proporção de concordância casual ou aceitação total. O termo P O é dado pela seguinte divisão:

Onde TP é a quantidade de verdadeiros positivos, TN é a quantidade de verdadeiros negativos, e n é o número total de pixel classificado. O termo 푃 퐶 é dado pela seguinte expressão:

Onde PC é o número total de pixels classificados em cada classe, PCR é o número total de pixels classe real, e n² é o quadrado do total de pixels.

2.4.4 Coeficiente de Correlação de Matthews

O coeficiente de correlação de Matthews (MCC) foi usado pela primeira vez por Matthews (1975). Conforme Baldi et al. (2000), é utilizado para mensurar a qualidade de classificações. Seus valores variam de -1 a +1, em que coeficientes mais próximos de +1 representam uma previsão consistente, próximos de 0 representam previsões completamente aleatórias, e próximas de -1 representam uma previsão inconsistente. O MCC é calculado a partir da Eq. (7):

Onde TP é o número de verdadeiros positivos, TN o número de verdadeiros negativos, FP o número de falsos positivos e FN o número de falsos negativos. Pixels de diferentes categorias podem resultar em valores espectrais semelhantes e causar uma classificação falha. Por isso a importância de indicar o desempenho do classificador na detecção de determinada classe, e o MCC, por ser determinado a partir da matriz binária de cada categoria, cumpre este papel.

3. Resultados e discussão

Os resultados são apresentados em quatro tópicos: (i) realização de voo e processamento, (ii) classificação manual das imagens, (iii) classificação supervisionada das imagens e (iv) comparativo de métodos e análise estatística da classificação supervisionada.

3.1 Voo e processamento

Após a realização do voo e o processamento das imagens obtidas no levantamento com a RPA, gerou-se um ortomosaico final (Fig. 4). O GSD foi de 1,39 centímetro por pixel. Com o objetivo de otimizar a classificação foram recortados da imagem as bordas excedentes que continham os arredores além dos limites da faixa de rolamento da via.


Figura 4. Ortoimagem final com detalhes de dois trechos.

3.2 Classificação manual de imagens

A classificação manual das patologias da superfície do pavimento foi relativamente rápida, devido à facilidade de identificação a partir da ortoimagem. Por outro lado, depois de uma posterior conferência com o levantamento por caminhamento, evidenciou-se que as sombras de árvores adjacentes à via dificultaram a visualização de algumas patologias e sua extensão, principalmente de trincas. Além disso, a vegetação ocultou partes do pavimento.

No total, cinco patologias anotadas no levantamento por caminhamento não foram identificadas nas imagens obtidas pela RPA. A área de remendos, panelas e trincas, observada na coleta por caminhamento, foi de 1.759,45 m², enquanto no levantamento manual foi de 1.638,42 m², resultando na identificação de 93,1% das patologias. A porcentagem foi calculada com base em medidas geométricas registradas em croquis, com escala, no levantamento por caminhamento.

3.3 Classificação supervisionada das imagens

A classificação de amostras por polígonos apresentou poucas regiões concordantes com a real condição de superfície do pavimento, como apresentado na Fig. 5. Além disso, resultou em classificações distintas em boa parte dos elementos de imagem selecionados.


Figura 5. (a) Pavimento, (b) classificação por polígonos com 24 amostras e (c) 48 amostras

Pixels de diferentes categorias, como pavimento bom e remendos, apresentaram tonalidades similares em algumas imagens, resultando em valores espectrais semelhantes e, consequentemente, em erros de classificação. Verificou-se que parte dos erros ocorreram pelo sombreamento e sobreposição de vegetação, impossibilitando a classificação nestes locais.

3.4 Análises comparativa e estatística

Neste tópico, apresenta-se matrizes de confusão e gráficos de dispersão gerados a partir da matriz de confusão advinda da relação entre classificações manual e supervisionadas, sendo utilizadas no cálculo do índice Kappa (K) e Coeficiente de Correlação de Matthews (MCC).

3.4.1 Comparativo entre classificações manual e supervisionada

Para a comparação das classificações manual e supervisionada, na Tab.2 apresentam-se os resultados do método Maximum Likelihood, por meio da identificação por polígono, com 24 e 48 amostras, incluindo áreas identificadas e porcentagens de acerto.

Classes	Manual	Sup. 48 amostras		Superv. 24 amostras
Tabela 2. Resultados da Comparação entre Classificação Manual e Supervisionada.
Classes	Áreas (m²)	Áreas (m²)	Acerto (%)	Áreas (m²)	Acerto (%)
Pavimento Bom	4419.39	1233.00	27.90	1346.67	30.47
Trincas	1552.50	458.76	29.55	467.19	30.09
Panela	2.53	1.24	49.01	0.66	26.09
Remendo	83.39	25.73	30.86	42.12	50.51
Vegetação	247.40	186.14	75.24	192.52	77.82
Terra	29.45	22.20	75.38	20,00	67.91
Total	6334.65	1927.06	30.42	2069.16	32.66

A classificação supervisionada com 24 e 48 amostras resultou em uma porcentagem de acerto global de 32,66% e 30,42%, respectivamente. Este resultado indica que o número de amostras não foi relevante para a precisão da classificação de áreas com ou sem patologias.

3.4.2 Matrizes de confusão e gráficos de dispersão

As Tab. 3 e 4 representam matrizes de erro de classificação. Os termos 'Px', 'Pav' e 'class', referem-se a Pixels, Pavimento bom e Classificados, respectivamente. As linhas contêm dados classificados, enquanto as colunas, dados de referência. Valores internos representam os pixels, sendo destacados pixels identificados corretamente.

	Pav.	Trinca	Panela	Remendo	Vegetação	Terra	Px class
Tabela 3. Matriz de confusão do classificador com 24 amostras.
Pav.	48682	9749	148	726	430		59735
Trinca	3722	61794	123	667	1458		67764
Panela	307	5885	489	222	1150	755	8808
Remendo	9887	13114	24	12162	182		35369
Vegetação	34	97		39	62564	207	62941
Terra		19	3		7	61161	61190
Px reais	62632	90658	787	13816	65791	62123	295807

	Pav.	Trinca	Panela	Remendo	Vegetação	Terra	Px class
Tabela 4. Matriz de confusão do classificador com 48 amostras.
Pav.	190051	12879	450	1130	551	11	205072
Trinca	18926	55103	785	1757	299		76870
Panela	2367	4299	2354	1183	312	89	10604
Remendo	9549	5383	229	12819	21		28001
Vegetação	402	88	15	2	35516	17	36040
Terra	309	12	44		26	6725	7116
Px reais	221604	77764	3877	16891	36725	6842	363703

A partir da sobreposição de polígonos definidos nas classificações manual e supervisionada, verificou-se a correspondência das patologias identificadas. Nas Fig. 6 e 7 estão representados os gráficos de dispersão da porcentagem de patologias identificadas, por classe, para 24 amostras (Figura 6) e 48 amostras (Figura 7), derivados das matrizes de confusão para estes casos.


Figura 6. Dispersão da assertividade: classificação supervisionada 24 amostras x manual


Figura 7. Dispersão da assertividade: classificação supervisionada 48 amostras x manual

Observa-se, na Fig. 6, que as classes terra e vegetação apresentaram melhores resultados, com porcentagem de acerto maiores que 60 e 70%, respectivamente. O pavimento bom, trincas e remendo apresentaram valores entre 30 e 50%, o que pode ser entendido como um resultado ruim. As panelas apresentam o pior resultado, com acerto de aproximadamente 25%, além de terem uma quantidade superior de áreas classificadas erroneamente como remendo.

Conforme a Fig. 7, verifica-se que as porcentagens de acerto foram similares às da Fig. 6a, porém com aumento significativo para asepanelas. Isto pode ser explicado pela forma como o algoritmo Maximum Likelihood aplica a máxima verossimilhança (MaxVer). Segundo o INPE (2006), o método pondera a distância entre médias dos valores dos pixels do elemento através de parâmetros estatísticos, assumindo que todasas bandas possuem distribuição normal, e calcula a verossimilhança de um pixel pertencer a um elemento específico, baseado nas amostras. Assim, pelo fato de a classe panela apresentar características distintas em uma mesma ocorrência, o número de amostras maior colaborou para uma maior porcentagem de acerto desse classificador.

3.4.3 Estatística Kappa

O índice Kappa foi calculado para quatro cenários, em duas comparações distintas, a primeira, e mais conhecida, refere-se ao grau de concordância entre categorias previstas pela classificação supervisionada, para 24 e 48 amostras, em relação aos dados obtidos in loco. A segunda consiste no grau de concordância entre classificação supervisionada e classificação manual, referente à identificação visual e delimitação manual das patologias. Esta análise tem como objetivo elucidar a pertinência do índice Kappa para a análise de patologias em pavimentos por meio de RPAs, a partir de classificação supervisionada de imagens. Na Tab. 5 são apresentados os índices Kappa calculados a partir das matrizes de confusão apresentadas no item 3.4.2.

Matriz Utilizada	24 amostras	48 amostras
Tabela 5. Índices Kappa para os quatro casos.
Classificação supervisionada	0,791	0,718
Sobreposição classificações manual e supervisionada	0,378	0,396

Conforme a classificação de Landis e Koch (1977), os índices de ambos os classificadores estão entre 0,61 e 0,80, caracterizado como concordância boa. Porém, quando se observa o acerto por meio da sobreposição da classificação manual com as supervisionadas, os valores de Kappa passam para o intervalo de 0,21 a 0,40, correspondente à concordância fraca.

A discrepância entre valores Kappa, obtidos pelo classificador e sobreposição da classificação manual e supervisionada, evidencia que o índice não é conveniente para a análise qualitativa de patologias a partir de RPAs, apesar de muito utilizado no Sensoriamento Remoto. Quantitativamente, os algoritmos apresentaram concordância classificada como boa. No entanto, não representaram fielmente posições e geometrias das patologias, o que pode levar a interpretações errôneas quanto à acurácia da avaliação e, consequentemente, na tomada de decisões acerca das estratégias de manutenção e reabilitação dos pavimentos.

3.4.4 Coeficiente de Correlação de Matthews (MCC)

Pela semelhança espectral dos elementos envolvidos no processo de classificação, analisou-se o desempenho do classificador, para 24 e 48 amostras, de cada classe, por meio do MCC (Tab. 6).

Classe	24 amostras	48 amostras
Tabela 6. Coeficiente de Correlação de Matthews obtido para cada classe.
Pav, Bom	0,74	0,72
Trinca	0,71	0,63
Panela	0,18	0,35
Remendo	0,52	0,56
Vegetação	0,96	0,97
Solo	0,99	0,96

Os resultados de classificação para 24 e 48 amostras foram similares. Por apresentarem diversas colorações, por vezes sombreadas ou com material argiloso, as panelas resultaram em mais erros de classificação. O elemento remendo apresentou MCC de 0,52 a 0,56, enquanto os elementos “trinca” e “pavimento bom” apresentaram MCCs acima de 0,6 e 0,7, respectivamente, apontando que trincas apresentam maior potencial para a classificação automatizada.

4. Conclusão

O estudo aponta que a identificação de patologias asfálticas por RPAs pode ser uma alternativa ao levantamento tradicional, por caminhamento, sendo mais ágil e seguro, além de não interromper o tráfego local. O bom nível de detalhamento das imagens possibilitou uma classificação manual confiável (93,1% de acerto) na identificação visual e representação do perímetro de patologias (extensão), ao tomar como referência os dados registrados em levantamentos por caminhamento.

A classificação supervisionada, a partir de RPA, é mais complexa se comparada à avaliação por caminhamento, pois depende de equipamentos específicos, planejamento adequado de planos de voo e técnicas e algoritmos de classificação confiáveis. A quantidade de amostras de treinamento não foi relevante, porém o modo de seleção de cada amostra foi determinante, devendo ser padronizado e realizado de forma que o treinamento do algoritmo seja satisfatório.

Os índices Kappa, obtidos pela sobreposição das imagens das classificações manual e supervisionada, devem ser utilizados com cautela para a análise de acurácia da classificação, pois, sem a consideração da localização, aqui verificada por meio da sobreposição das patologias e verificação do tipo e extensão de cada elemento-alvo, podem levar a interpretações equivocadas acerca da assertividade da classificação e, consequentemente, da condição dos pavimentos.

Os resultados obtidos a partir de análises complementares indicam que a classificação supervisionada não apresentou acurácia desejada para aplicações voltadas à gerência de pavimentos, por não caracterizar patologias de modo detalhado, no que se refere ao tipo, localização e extensão, quando comparado ao levantamento in loco e à classificação manual das imagens. Em virtude disso, recomenda-se que, em estudos futuros, sejam utilizadas técnicas de tratamento de imagens que contemplem a combinação da coloração de pixels, geometria das patologias e pré-tratamento de imagens, além da aplicação de outros algoritmos e técnicas de processamento que permitam a utilização de um maior número de amostras para treinamento.

REFERÊNCIAS

Astor, Y., Nabesima, Y., Utami, R., Sihombing, A. V. R., Adli M. and Firdaus M. R. (2023), Unmanned aerial vehicle implementation for pavement condition survey. Transportation Engineering. 12(2023):100168. https://doi.org/10.1016/j.treng.2023.100168

Baldi, P., Brunak, S., Chauvin, Y., Andersen, C. A. F., Nielsen, H. (2000), Assessing the accuracy of prediction algorithms for classification: An overview. Bioinformatics, 16(5), 412-424. https://doi.org/10.1093/bioinformatics/16.5.412

Branco, L. H. C., Segantine, P. C. L. (2015), “MaNIAC-UAV - A methodology for automatic pavement defects detection using images obtained by Unmanned Aerial Vehicles”. Journal of Physics: Conference Series, 633(1). https://doi.org/10.1088/1742-6596/633/1/012122

Campbell, J. B., Hall-Beyer, M. (1997), “Introduction to remote sensing”. Cartographica, Toronto, Canadá, p. 70.

Cohen, J. (1960), A coefficient of agreement for nominal scales. Educational And Psychological Measurement, 10(1):37-46. https://doi.org/10.1177/001316446002000104

Kruse, F. A., Lefkoff, A. B., Boardman, J. W., Heidebrecht, K. B., Shapiro, A. T., Barloon, P. J., Goetz, A. F. H. (1993). “The spectral image processing system (SIPS)- interactive visualization and analysis of imaging spectrometer data” in: AIP Conference Proceedings 283, Pasadena: California (USA), pp. 145-163. https://doi.org/10.1063/1.44433

Hassan, S.-A., Rahim, T., Shin, S.-Y. (2021), An improved deep convolutional neural network-based autonomous road inspection scheme using unmanned aerial vehicles. Electronics. 10(22):2764. https://doi.org/10.3390/electronics10222764

INPE. Manual de Geoprocessamento. Disponível em: <http://www.dpi.inpe.br/spring/portugues/tutorial/introducao_geo.html>. Acesso: 8 out. 2021.

Landis, J. R., Koch, G. G. (1977), The Measurement of observer agreement for categorical data. Biometrics, 33(1):159-174. https://doi.org/10.2307/2529310

Matthews, B. W. (1975), Comparison of the predicted and observed secondary structure of T4 phage lysozyme. Biochimica et Biophysica Acta, 405(2):442-451. https://doi.org/10.1016/0005-2795(75)90109-9

McGwire, K. C., Fisher, P. (2001), Spatially Variable Thematic Accuracy: Beyond the Confusion Matrix. Spatial Uncertainty in Ecology, 308-329. https://doi.org/10.1007/978-1-4613-0209-4_14

Oliveira, F. H. L. de, Arantes, A. E., Lima Neto, P. D. S. (2020), Estudo de método para identificação de panelas e remendos em pavimentos urbanos com a utilização de UAS quadrirrotor. Revista Tecnologia, 41(2):1-14. https://doi.org/10.5020/23180730.2020.10838

Pan, Y., Zhang, X., Cervone, G., Yang, L. (2018), Detection of Asphalt Pavement Potholes and Cracks Based on the Unmanned Aerial Vehicle Multispectral Imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(10):3701-3712. https://doi.org/10.1109/JSTARS.2018.2865528

Parente, D. C., Felix, N. C., Picanço, A. P. (2017), Utilização de veículo aéreo não tripulado (VANT) na identificação de patologia superficial em pavimento asfáltico. Revista ALCONPAT. 7(2):160-171. https://doi.org/10.21041/ra.v7i2.161

Pinto, L., Bianchini, F., Nova, V., Passoni, D. (2020), Low-Cost UAS Photogrammetry for Road Infrastructure's Inspection. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives, 43(B2):1145-1150. https://doi.org/10.5194/isprs-archives-XLIII-B2-2020-1145-2020

Ragnoli, A., De Blasiis, M. R., Di Benedetto, A. (2018), Pavement distress detection methods: A review. Infrastructures, 3(4):1-19. https://doi.org/10.3390/infrastructures3040058

Ranjbar H., Forsythe, P., Fini, A. A. F. and Maghrebi M. (2023), Addressing practical challenge of using autopilot drone for asphalt surface monitoring: road detection, segmentation, and following. Results in Engineering. 18(2023):101130. https://doi.org/10.1016/j.rineng.2023.101130

Ranyal, E., Sadhu A., Jain K. (2022), Road condition monitoring using smart sensing and artificial intelligence: a review. Sensors. 22(8):3044. https://doi.org/10.3390/s22083044

Richards, J. A. (2013), “Remote Sensing Digital Image Analysis”. Springer-Verlag Berlin Heidelberg, 5ed., Heidelberg, Alemanha, p. 340. https://doi.org/10.1007/978-3-642-88087-2

Ruuska, S., Hämäläinen, W., Kajava, S., Mughal, M., Matilainen, P., Mononen, J. (2018), Evaluation of the confusion matrix method in the validation of an automated system for measuring feeding behaviour of cattle. Behavioural Processes, 148:56-62. https://doi.org/10.1016/j.beproc.2018.01.004

Schnebele, E., Tanyu, B. F., Cervone, G., Waters, N. (2015), Review of remote sensing methodologies for pavement management and assessment. European Transport Research Review, 7(2):1-19. https://doi.org/10.1007/s12544-015-0156-6

Shaghlil, N., Khalafallah, A. (2018), “Automating Highway Infrastructure Maintenance Using Unmanned Aerial Vehicles” in: Construction Research Congress 2018, New Orleans: Louisiana (USA), pp. 486-495. https://doi.org/10.1061/9780784481295.049

Story, M., Congalton, R. G. (1986), Remote Sensing Brief - Accuracy Assessment: A User’s Perspective. Photogrammetric Engineering and Remote Sensing, 52(3):397-399. doi: 0099-1112/86/5203-397$02.25/0

Tan, Y., Li, Y. (2019), UAV photogrammetry-based 3D road distress detection. ISPRS International Journal of Geo-Information, 8(9):409. https://doi.org/10.3390/ijgi8090409

Witten, I. H., Frank, E., Hall, M. A. (2016), “Data Mining - Practical Machine Learning Tools and Techniques”. Morgan Kaufmann Elsevier, Burlington, pp. 654.

Zhu, Q., Dinh, T. H., Phung, M. D., Ha, Q. P. (2021), Hierarchical Convolutional Neural Network with Feature Preservation and Autotuned Thresholding for Crack Detection. IEEE Access, 9:60201-60214. https://doi.org/10.1109/ACCESS.2021.3073921