최유진 수의사
서울대 수의대 수의인문사회학연구실(박사수료)
[사례]
원장 수의사 A는 최근 영상진단전공 수의사 대신 영상진단 AI 보조기기를 도입하였다. 직접 사용해보니, 발견하기 어렵거나 모호한 케이스의 진단을 빠르게 결정하는데 도움이 되었고, 보호자 상담에도 활용 가능해 매우 만족스러웠다.
최근 말티즈 삐삐가 다리의 불편감을 호소하며 내원하였고, 촉진과 엑스레이 촬영 결과, 좌측 슬개골의 탈구 증상이 확인되었다. 촬영된 영상을 AI기기에 입력하니 슬개골 탈구 정도를 비율로 알려주어 증상의 정도를 파악하는데 도움이 되었다.
한편, AI 기기는 경미한 우측 고관절 이상을 추가적으로 보고하였으나, 우측 다리에서 보이는 특별한 증상은 없다.1)
인공지능(Artificial Intelligence, AI)의 발전과 의학, 수의학에서 이용
2016년 의료계의 알파고로 불리는 왓슨 포 온콜로지(Watson for Oncology, 이하 왓슨)가 국내 의료기관에 도입되었다. 2015년 기준, 왓슨은 한해 발표되는 4만 4,000건, 하루 평균 122개의 종양학 논문을 학습한 것으로 알려져 있으며, 이는 인간의 능력으로는 도저히 따라가기 어려운 양적 한계치를 넘는 것이다.
최근 이용되는 AI 프로그램은 대규모 언어모델(Large language model)과 딥러닝(Deep learning)을 주력으로 새로 생성된 데이터 세트들을 스스로 ‘학습’한다. 이제 AI 도구들은 수 억에서 수십억 개의 인공 뉴런과 레이어를 가진 심층신경망(Deep Neuron Network)을 갖게 되었고, 인간 뉴런의 처리 방식을 모사하기에 이르렀다.2)
동물의료에서도 AI 이용을 위한 변화가 감지되고 있다. 일부 AI 도구는 수의사보다 더 정확하고 빠르며, 보호자에게는 비용 효율적이라는 평가를 받아, 잠재적 효율성과 의료의 품질 향상의 기대를 준다.3)
개 부신피질기능항진증을 감지하는 한 AI 알고리즘의 민감도는 96.3%, 특이도는 97.2%로 다른 검사 방법보다 뛰어났고, 이미지 기반의 AI 프로그램은 동물의 종양 감별, 안과 질환의 감별, 개의 심장 비대 식별 등에 도움을 주는 것이 확인되었다.
일부에서는 영상의학을 전공한 이들보다 나은 결과를 출력함을 보여주었고, 로봇 수의사가 나타날 수 있음을 암시하기도 했다.4)
국내에서는 웨어러블 디바이스를 통해 동물의 감정상태를 감지하거나, 비문, 안면인식, 복정맥을 통한 개체 식별이 가능한 도구들이 소개되었다. 동물병원 운영을 보조하는 서비스들도 등장하고 있어 24시간 진료예약, 고객과의 소통, 병원간 네트워크가 원활해져 수의사의 업무 환경 개선에 도움을 줄 것으로 기대된다.
이에 더해, 일부 프로그램은 동물 심전도를 분석하거나, 엑스레이(X-ray)나 이미지를 기반으로 수의사의 진단을 보조하기도 한다.
정부는 동물의료에서 인공지능의 시장 가능성을 확보하기 위해 규제를 한시적으로 적용하지 않거나, 정보통신기술(ICT) 인재양성을 위한 사업 지원을 활발히 하고 있다.
그러나, 수의사는 「수의사법」에 따라 동물진료 행위의 주체로서 직접 동물을 만나 진단해야 하며, 스스로의 판단에 기반하여 의료서비스를 제공해야 한다. AI에 대한 기대의 반대편에서, AI를 활용한 진단보조서비스가 수의사의 판단능력을 넘어서거나, 수의사의 판단을 배제하는 진단에 대한 법적, 윤리적 우려가 제기된다.
동물의료에서 AI 이용 시 고려해야 할 윤리적 문제
AI 이용 가이드라인은 AI에 내재된 문제, 사용되는 분야의 주요 윤리원칙, 관련 제도 간에 발생되는 갈등을 검토하고 이에 대한 해결책을 제시하며 구성된다.
AI는 데이터 세트의 정확성과 신뢰성, 투명성, 사용결과의 책임성, 데이터 보안, 개인정보 보호, 공정한 이용에 대한 윤리적 문제를 가지고 있음이 지적된다.5)
인간의료 분야에서는 왓슨의 도입 후, 국가 주도의 생명윤리포럼이 개최되었고, 법학계, 의료계, 과학계 등 다양한 분야의 전문가들이 의료사고 발생시 법적 책임, 의료 데이터 이용 문제, 부작용 방지를 위한 선제적 대비를 주제로 과학과 의료의 균형적 발전을 위한 담론의 장을 마련했으며, 윤리지침들이 제시되고 있다.6)
AI에 내재된 문제가 생명윤리 4원칙(악행금지, 선행, 자율성, 정의)7)과 같은 윤리 원칙을 어떻게 위협하는지 확인하며 제도적 논의가 전개된다.
한편, 동물의료에서의 AI 활용에 대한 윤리적 논의는 거의 이루어지지 않았다. 동물의 사회적, 도덕적, 법적 지위는 불완전하기 때문에 이 분야의 규제를 강화하기도 어렵다.
보호자-동물환자-수의사 관계에서 동물환자의 이익은 후순위가 되며, 이로 인해 동물은 더 많은 잠재적 위험에 노출될 수 있다. 이러한 환경에서 첨단 기술은 별다른 제제없이 동물에게 실험적으로 용인될 우려가 있다.
그렇다 보니 AI를 활용하여 수의사의 진료 과정과 의사결정에 영향을 미치는 프로그램을 이용할 때, 수의사는 윤리적인 문제를 예상해야 한다.8)
-AI 프로그램에 사용되는 데이터 세트는 얼마나 정확하고 신뢰할 만한가? (Accuracy and Reliability)
-AI가 필요 이상의 분석을 하는 것은 아닌가? (Overdiagnosis)
-데이터는 얼마나 접근 가능하며, 알고리즘은 이용자에게 얼마나 투명하게 공개되는가? (Transparency)
-수집된 데이터는 개인정보의 침해 소지는 없는가? (Data Security)
-보호자 혹은 대중이 AI를 과도하게 신뢰하거나 불신하지 않는가? (Trust and Distrust)
-AI 이용에 대해 보호자는 충분히 정보를 듣고 의사결정 할 수 있었는가? (Autonomy of Clients)
-다량의 정보가 수의사의 업무를 부담시키거나, 과도하게 AI에 의존하게 하여 전문적 기술 습득의 기회가 줄어들지 않는가? (Information Overload and Skill Erosion)
-AI의 영향을 받은 진단에 문제가 발생했을 때, 누가 책임을 져야 하는가?(Responsibility for AI-influenced Outcomes)
-빠르게 변하는 동물의료 환경에서 지속가능한 도구인가? (Environmental Effect)
위의 사안들을 다시 정리하면 크게 ▲AI 프로그램(데이터)이 가진 본질적 문제 ▲AI 사용에 대한 수의사-보호자 간 의사결정의 문제 ▲AI 사용으로 발생되는 피해와 책임의 문제로 구분될 수 있다.
▲ AI 프로그램(데이터)의 본질적 문제
정확하고 신뢰할 만한 AI 프로그램은 인간의 편향적 판단, 오진을 줄임으로서 환자에게 이익을 줄 수 있다. 그러나, 반대의 경우 오진이나 잘못된 치료를 추천하여 동물과 보호자에게 해를 끼칠 수도 있다.
현재의 머신러닝 프로그램에 이용되는 동물의 질적, 양적 데이터는 부족하며, 동물의 다양성으로 인해 데이터의 일관성과 표준화를 충족하는 것이 어렵다.9)
AI 데이터 세트가 모집된 환경은 실제 의뢰된 환자의 사회적 환경과 다를 수 있어 편향성의 우려를 가진다. 예를 들어 도시에서 수집되거나 보호소에서 수집된 데이터를 시골의 동물병원 또는 가정견의 치료에 이용하는 것은 적절하지 않을 수 있다.
해외에서 개발된 데이터 세트의 프로그램이 국내에 도입되는 경우, 동물의 종과 크기, 식생활, 운동량 등의 차이가 있어 결과의 정확도가 떨어질 수 있다. 논문이나 연구소의 데이터는 세팅된 실험 환경에서 수집된 것으로 실제 의료현장과는 다를 수 있다.
만약, 데이터를 수집하는 방법이 일관되지 않거나, 미숙한 이들이 수집한 데이터가 사용된다면 정확성에 문제를 가져올 수도 있다. 사용자들의 정확한 입력 값이 전제되지 않으면 해당 AI 도구의 신뢰성은 떨어지게 되는 것이다.
그러므로, AI를 이용하는 수의사들은 데이터 세트가 완벽하게 구축되어 있다고 가정해서는 안 된다. 모든 데이터가 유용한 것은 아니며, 수의사는 가치 있는 데이터를 식별해야 하며 적용 가능한 사례를 구분할 수 있어야 한다.
▲ AI 사용에 관한 수의사-보호자 간 의사결정의 문제
-수의사의 AI 이해와 보호자의 자율성
심층신경망 모델의 복잡성은 사용자가 알고리즘을 명확히 알아내기 어려운 불투명한 블랙박스(black-box logic) 시스템을 만든다.10) 인간인 수의사가 AI 도구가 내놓은 예측 과정을 알기 어렵다는 의미다.
일부 AI 개발자들은 도구의 기밀성 확보를 이유로 작동 과정과 투입된 데이터를 공개하지 않아 투명성 저하를 야기할 수 있으며, 설령, 오픈소스로 공개된 AI 모델일 지라도 수의사들이 각 도구의 정보를 찾아서 소화하는 것은 매우 번거로운 일이다. 수의사는 자신이 잘 알지 못하는 과정으로 도출된 결과에 기대어 치료를 제공해야 할 수도 있다.
수의사는 보호자의 자율성을 존중하기 위해 진단 근거, 치료 옵션의 장단점, 예상 결과, 관련 비용 등을 알리고, 보호자가 충분히 이해하였는지 확인하고 사전동의를 구해야 한다.11)
만약, 수의사가 AI 자료를 사용하기로 결정했다면, AI 기반 치료의 장점(효율성, 정확성 증가, 오류 감소)과 함께 단점(오진, 진단과 치료의 불확실성, 예상되는 환자의 피해, 충분하지 않은 임상 결과)을 모두 보호자에게 설명해야 한다.
혹여, AI 도구 사용이 동물의 이익과 무관한, 자신의 추가적인 이익을 위해 사용하거나 추천하는 것은 아닌지 주의해야 하며, 불가피한 경우, 보호자에게 사용의 목적과 이해상충 상황을 투명하게 밝혀야 한다.12)
보호자들은 대체로 AI에 대해 잘 모르거나 불확실한 정보를 가지고 있기 때문에 더욱 명확한 정보를 제공해야 할 책임이 수의사에게 있다.
AI 알고리즘을 수의사가 제대로 인지할 수 없음은 수의사가 보호자들에게 AI 사용의 필요성과 진단 결과에 대한 설명 근거가 빈약할 수 있음을 의미한다. 더 큰 문제는 AI 오류 발생을 감지하기 어려워 잠재적인 피해에 대해서도 예상할 수 없다는 것이다.
그러므로, 단순히 AI 도구가 내린 결과에 기대어 보호자를 이해시키려는 자세는 전문가로서 윤리적인 태도로 보기 어렵다.
-데이터의 보호, 관리, 소유권의 문제
AI 프로그램의 알고리즘을 구축하는데 대규모 의료기록세트가 필수적이며, 지속적인 데이터 수집이 필요하다. AI를 이용한 동물환자 진단은 해당 동물의 데이터가 AI 도구의 신규 학습 데이터로 사용될 수 있음을 의미한다.
수의사는 보호자의 개인 정보를 보호해야 하며, 동물 의료 기록은 기밀이기에 보호자의 동의 없이 공개하거나 재사용할 수 없다. 그러므로, 수의사는 AI 도구 사용 전, 반려동물의 건강데이터가 수집될 것임을 보호자에게 알려야 한다.
이 때, 보호자 개인식별 정보의 처리 방법, 데이터의 저장 방법, 데이터 접근성, 데이터 수집 후 외부에 판매 또는 공유하는지 등에 대해 설명해야 하며, 기업서버의 데이터가 유출, 해킹의 위험이 있음을 주지시킨 후 동의를 구해야 한다.
인간 의료에서 데이터는 대체로 민감한 것이며 환자 동의가 필요한 윤리적 문제로 논의되지만, 동물 의료 데이터 수집은 상대적으로 쉽게 인식될 수 있다.
그러나, 쓸모 있는 데이터 세트를 만들기 위해 기업은 추가로 보호자 정보를 포함한 다른 자료들을 함께 수집하게 되며, 수집되는 데이터에 따라 보호자와 동물환자 간 매칭이 가능해져 개인정보가 재식별 될 우려가 있다.13)
한 예로, 국내 한 대기업이 출시한 영상진단 보조 AI 프로그램은 국내 5개 수의과대학과 대형 병원이 협력하여 개발에 참여하고 있으며, 약 300여개의 동물병원이 해당 프로그램을 이용한다. 이 도구가 진화되면서 일본, 호주, 싱가포르 등의 해외 시장을 확보해 나가고 있다.
그러나, 이 프로그램의 이용자들은 자신들에게 의뢰된 보호자와 동물의 데이터를 공유하고 있으며, 국내뿐 아니라 해외에서도 사용될 수 있다는 점을 인식해야 한다. 최근에는 의료 데이터의 화폐가치에 대한 상업적 논의가 진행되고 있으며, 데이터를 이용해 이윤을 창출해 내는 기업의 수익과 가치에 대한 공유가 필요하다는 주장도 제기되고 있다.14)
추후, 동의없이 (혹은 동의를 했더라도) 수집된 데이터는 누구에게 소유권이 있는지, 라이센스나 지적재산권 등에 대한 쟁점이 발생할 수 있기에 수의사들은 데이터를 다룰 때 신중을 기해야 한다.
▲ AI 이용으로 발생되는 피해와 그 책임의 문제
AI 이용으로 인한 피해는 다양한 방식으로 발생한다. 동물환자의 진단이나 치료에 기여하지 못하고 보호자 의료 비용만 추가시킬 수 있으며, 부적절한 데이터 세트나 편향된 모집단 AI 도구를 이용하는 경우 위양성, 위음성 등의 의도치 않은 결과가 야기될 수 있다.15)
위양성 결과는 동물에게 실질적으로 무해한 상태를 이상 상태로 진단하고 수의사의 태도를 방어적으로 만들어 추가 검사와 치료를 유도하며 보호자는 이를 과잉진단으로 여길 위험이 있다. 위음성 결과는 치료 지연을 일으켜 적절한 치료를 받을 기회를 손실시키는 피해를 야기할 수 있다.
그러나, AI로 인한 피해에 대한 법적, 윤리적 책임이 누구에게 있는지는 여전히 불명확하다. 일반적으로 진료의 책임에 대한 판단에서 수의사-보호자 간에 충분한 윤리적 논의 결과 수행된 것인지, 제도적 기준에 얼마나 부합했는지가 중요하다. 적어도, 수의사는 자신에게 의뢰된 동물 환자 상태에 대한 사전적 진단 지식이 충분해야 하며, 환자의 병증에 대한 치료 방법의 기술과 예후에 대한 판단이 가능해야 한다.
만약 영상 이미지 해석이 미숙한 수의사가 영상 AI 도구를 사용하여 위해가 발생한 경우, 명확한 이해없이 보호자의 동의를 구한 수의사에게 책임을 묻게 될 것이다. AI 사용 책임에서 수의사는 자유로울 수 없다.
사례 – AI 도구를 대하는 수의사의 태도
사례의 수의사 A는 동물의 임상증상과 자신의 촉진, X-ray 해석 결과와 함께 고관절의 경미한 문제가 추가적으로 분석된 AI 결과를 어떻게 보호자와 논의할 것인가에 대한 문제에 당면했다.
물론 실제 상황이라면 고관절로 인한 증상을 당장 호소하지 않으니, 증상이 있는 슬개골 치료에 집중하고 정기적인 진단을 통해 반대측 고관절의 진행 양상에 따라 향후 처치를 논의하자고 간단히 이야기할 것으로 예상된다.
그러나 수의사 A는 자신의 진료행위에 대해 짚어보아야 할 사안이 있다.
– X-ray를 찍을 때, 동물의 자세에 문제는 없었는가?
– X-ray로 충분히 판별할 수 있는 사안을 관성적으로 AI 도구를 사용해 본 것은 아닌가?
– AI가 분석한 결과를 수의사 자신도 동의 또는 이해하는가? 아니면 AI의 분석 결과에 기대어 방어적인 태도로 보호자에게 단순히 주의를 주는 것은 아닌가?
– 이해상충의 상황에서 AI 도구를 사용한 것은 아닌가?
– AI 도구의 이용 이전에 보호자에게 동의를 구했는가?
– (만약 동의가 없었다면) AI 도구의 이용은 적절했는가? 수집한 데이터는 윤리적으로 문제가 없는가? AI 이용에 따른 비용 청구는 적절한가?
복잡하고 끊임없이 진화하는 AI는 수의사의 부담을 덜어줄 수도 있지만 오히려 정보의 과부하를 만들 수도 있다. AI 기술들과 알고리즘을 이해하려 한다면, 수의사들은 새로운 수의학적 지식이나 기술을 연마할 여유를 빼앗길 수도 있다. 지나치게 기계에 의존해 수의사가 유지해야 할 전문성이 약화될 것이라는 우려가 제기되는 이유다.16)
수의사는 AI를 사용할 때에도 당연히 더 나은 진단, 좋은 치료 결과, 환자의 건강과 자신의 삶의 질 개선을 진료의 목표로 해야 한다. 완벽하지 않은 AI에게 자신의 결정을 내맡기지 않도록 수의사는 자신의 경험과 전문적인 지식을 중심에 두고 의사결정을 내려야 한다.
나가며
“시고르자브 보건소에 혼자 근무하는 인상 좋은 시골 수의사(김상호님)는 매번 틀린다. 백구를 보고 황구라하고, 바비는 뽀삐라고 부른다. 눈앞에 있는 동물 다리의 문제를 감지하지 못한다. 대신 함께 일하는 AI 기기(이상이님)가 수의사가 보지 못하는 것들을 일일이 확인해주기에 수의사는 실수없이 아픈 동물 치료를 해낸다. 수의사는 페인트칠하고 안테나를 고치며 마을 주민들의 마음을 얻어낸다.”17)
영상진단 보조 AI 도구의 홍보 영상을 보는 내내 마음이 불편하다. 이 제품은 동물의료의 선진화라는 명목으로 AI 활용에 호의적인 분위기를 형성하고 있으며, 수익 실현에 대한 기대심리를 자극한다.18)
물론, 신뢰할 수 있는 적절한 AI 도구는 의사 결정의 정확성과 안전성을 향상시켜 수의사의 업무부담을 완화시키는 훌륭한 조력자가 될 수 있는 잠재력을 가지고 있다.
그러나, 기업의 AI 제품 홍보 영상 속에 그려진 수의사의 경우처럼 AI에게 의료를 위임한 상황이 올 수는 없다. AI로 인해 발생되는 문제들에 대한 법과 제도는 전혀 준비되지 않았고, 기술개발자들과 정책결정자들은 동물의료에서 AI 사용에 대한 윤리적 문제를 고려하지 않고 있다.
새로운 도구인 AI를 윤리적인 방식으로 이용하려면, AI가 일반적으로 상용화 되기 전에 수의사와 수의학 연구자들이 주축이 되어 발생가능한 윤리 문제들을 논의하고 이를 포섭할 수 있는 선행적인 지침을 제안해야 할 것이다.
각주
1) 해당 사례는 AI 제품에 대한 수의사의 의견을 다룬 기사 및 영상을 토대로 구성하였음
2) 이다은 (2017). 인공지능의 의료혁신? : 길병원의 왓슨 도입을 중심으로. 과학기술정책, 27(6), 54–61.
3) Basran, P. S., & Appleby, R. B. (2022). The unmet potential of artificial intelligence in veterinary medicine. American Journal of Veterinary Research, 83(5), 385-392.
4) Coghlan, S., & Quinn, T. (2023). Ethics of using artificial intelligence (AI) in veterinary medicine. AI & SOCIETY, 1-12.
5) Jobin, A., Ienca, M., & Vayena, E. (2019). The global landscape of AI ethics guidelines. Nature machine intelligence, 1(9), 389-399.
6) 보건복지부 보도자료(2017.4.21) 인공지능(AI) 의료윤리 문제 논의하고 대비한다. https://eiec.kdi.re.kr/policy/materialView.do?num=164708
7) Beauchamp TL, Childress JF (2001) Principles of biomedical ethics. Oxford University Press, New York.
8) Coghlan, S., & Quinn, T. (2023). Ethics of using artificial intelligence (AI) in veterinary medicine. AI & SOCIETY, 1-12.
9) Appleby, R. B., & Basran, P. S. (2022). Artificial intelligence in veterinary medicine. Journal of the American Veterinary Medical Association, 260(8), 819-824.
10) Kundu, S. (2021). AI in medicine must be explainable. Nature medicine, 27(8), 1328-1328.
11) 최유진(2023). 사전동의서 ‘잘’ 받고 있나요? 특집 함께 고민하는 수의윤리(3). 대한수의사회지, 제59권 제3호, 111-117
12) 최유진(2023). 새로운 치료법, 윤리적으로 사용하기. 특집 함께 고민하는 수의윤리(7). 대한수의사회지, 제59권 제7호, 112-118
13) Carlini, N., Tramer, F., Wallace, E., Jagielski, M., Herbert-Voss, A., Lee, K., … & Raffel, C. (2021). Extracting training data from large language models. In 30th USENIX Security Symposium (USENIX Security 21) (pp. 2633-2650).
14) Mudgal, K. S., & Das, N. (2020). The ethical adoption of artificial intelligence in radiology. BJR| Open, 2(1), 20190020.
15) Cohen, E. B., & Gordon, I. K. (2022). First, do no harm. Ethical and legal issues of artificial intelligence and machine learning in veterinary radiology and radiation oncology. Veterinary Radiology & Ultrasound, 63(S1), 840–850.
16) Mittelstadt, B. D., & Floridi, L. (2016). The ethics of big data: current and foreseeable issues in biomedical contexts. The ethics of biomedical big data, 445-480.
17) Sk telecom. (2023.9.17). [마음을 향하는 AI] 시고르자브 보건소. 유튜브. https://www.youtube.com/watch?v=EW3G_KLQlu8
18) 데일리벳(2023.10.23), “과잉진료 의심하는 고객에게 인공지능은 최고의 마케팅 도구” https://www.dailyvet.co.kr/news/academy/195040
<수의 윤리 라운드토론은 대한수의사회, 서울대 수의대 수의인문사회학교실과의 협의에 따라 KVMA 대한수의사회에 게재된 원고를 전재한 코너입니다. 함께 고민하고 싶은 문제가 있다면 아래 QR코드나 바로가기(클릭)로 보내주세요-편집자주>
