인공지능 VS 수의사, 동물 통증 평가에서 인공지능 판정승

동물의 통증 평가에 대해 인공지능(AI)과 수의사의 능력 차이를 비교한 논문이 발표됐다. 결과는 인공지능의 판정승이었다.

이스라엘 하이파대학교와 브라질 상파울루주립대 수의과대학교 연구팀은 인공지능이 인간 전문가(수의사)보다 동물의 통증 인식에 더 나은 성과를 낼 수 있는지 평가하기 위해 이번 연구를 기획했다.

수의사로서 동물의 통증 정도를 정확하게 평가하는 것은 동물의 치료와 좋은 예후를 위해 매우 중요하다. 이 때문에 최근 몇 년 사이 다양한 동물의 통증평가 방법이 개발됐다.

얼굴 표정으로 통증을 평가하는 ‘grimace scales’의 경우 설치류에서 연구가 시작되어 지금은 고양이의 통증 평가(Feline Grimace Scale, FGS)까지 나왔다. 동물의 행동을 바탕으로 통증을 평가하는 방법도 개, 고양이, 토끼, 돼지, 양, 말, 소 등에서 연구됐다.

하지만, 여전히 많은 방법이 관찰자의 주관에 따라 결과가 달라진다.

연구진에 따르면, 임상 현장에서 많이 활용되는 고양이의 3가지 통증평가 방법(Glasgow Feline Composite Measure Pain Scale(CMPS-Feline), Colorado State University Feline Acute Pain Scale(CSU-FAPS), Feline Grimace Scale(FGS))의 관찰자 간 신뢰도를 평가한 결과, 대부분 신뢰도가 나쁨(poor)이나 보통(fair/moderate) 수준에 그쳤다고 한다. 그만큼 객관적인 평가가 어렵다는 것이다.

이에 연구진은 상대적으로 엄격한 환경에서 수집된 데이터셋을 바탕으로 통증 평가 방법이 개발되어 있는 ‘양’을 연구 대상 동물로 선택했다.

연구진은 총 48마리의 양에 대한 개복 수술 전후의 급성통증을 수의사와 인공지능이 각각 평가하도록 했다.

양의 통증 평가는 양의 얼굴 표정으로 통증을 평가하는 SFPES 척도(the sheep facial expression scale)와 양의 통증 평가의 골드스탠다드로 여겨지는 USAPS 척도(Unesp-Botucatu composite behavioral scale)를 이용했다.

개복 수술 1시간 전을 통증이 없는 상태(M1)로, 수술 종료 이후 3~4시간 뒤를 통증이 있는 상태(M2)로 설정하고 영상 촬영을 했다. 양 정면과 측면 사진도 촬영했다. 이러한 영상과 사진을 4명의 전문 수의사가 2번씩 평가했다.

4명의 수의사(관찰자)가 48마리의 개체를 수술 전과 수술 후(X2)를 2번씩 맹검 무작위로 평가했기 때문에 총평가 횟수는 768회나 됐다. 다만, 48마리 중 수술 전에 통증을 나타낸 5개 샘플과 수술 후 통증 없음을 나타낸 4개 샘플은 제외했다. 최종 평가에 활용된 개체 수는 39마리였다.

평가 결과, 인공지능(Machine)이 4명의 수의사보다 전반적으로 더 나은 결과를 나타냈다.

표1은 USAPS와 SPFES를 기반으로 인공지능과 수의사의 성능 비교를 나타낸다. 인공지능은 정확도, 정밀도, F1, 특이도에서 더 우수한 결과를 보였다.

표 2는 인공지능과 사람이 수행한 2가지 평가 방법(USAPS, SFPES) 간의 AUC 비교표다. 인공지능은 SPFES보다 상당히 우수한 성능을 보였고(AUC 차이 = 0.115, p<0.001), 통계적으로 유의하지는 않았지만, USAPS 4와 USAPS5(AUC 차이 = 0.005, p=0.787)보다 나은 결과를 나타냈다.

표 3은 USAPS Cut-Off point 4를 사용하여 축소된 데이터셋을 비교한 결과다. 정확도 측면에서 인공지능은 소폭 하락했지만, 수의사의 SPFES 수치는 큰 폭으로 하락했다.

연구진은 “인공지능 머신이 같은 시각 정보를 제공했을 때 사람 전문가보다 양의 통증을 더 잘 인식할지에 대한 대답은 긍정적(affirmative)이었다”며 “인공지능은 SPFES에 비해 훨씬 더 통계적으로 유의미한 뛰어난 진단 능력을 보여줬고, 정확도(accuracy), 정밀도(precision), 재현율(recall), 특이도(specificity), 민감도(sensitivity) 면에서 인간의 평가보다 높았다”고 설명했다.

이어 “이 연구 결과는 많은 수의사를 말문이 막히게 만들 수 있다. 아직 더 많은 연구와 데이터가 필요하지만, AI의 발전 속도가 너무나 빨라서 ‘인간 전문가여, AI를 위해 길을 비켜줘라’라고 주저 없이 말할 수 있다”고 덧붙였다.

한편, 이번 연구 결과는 지난달 네이처(Nature) 자매지 ‘사이언티픽 리포트(Scientific Reports)’에 게재됐다.