인공지능(AI)이 정상적으로 작동하는데도 국민이 피해를 보는 새로운 위험에 대응하기 위해 정부의 디지털 서비스 관리체계를 전면적으로 손질해야 한다는 제언이 나왔다.

병원 진료부터 금융거래, 복지급여 심사까지 AI가 ‘행정·산업’ 현장에 깊숙이 들어오면서, 시스템 장애뿐 아니라 AI의 잘못된 판단이 반복적으로 국민의 권리와 안전을 침해할 수 있다는 우려에서다.

특히 기존 디지털 서비스 대응체계가 서비스 중단과 복구에 초점을 맞추고 있어, 겉으로는 정상 운영되는 시스템에서 발생하는 AI 오판과 그에 따른 피해를 신속하게 발견하고 바로잡는 데 한계가 있다는 지적이다.

국회미래연구원은 이 같은 내용을 담은 브리프 'AI 내재화와 디지털 서비스 탄력성'을 발간하고 AI 오류의 발견부터 교정, 피해 회복까지 이어지는 통합 대응체계 구축을 제안했다.

보고서에 따르면 AI 내재화가 확산하면서 디지털 서비스의 위험 양상도 달라지고 있다.

기존에는 시스템이 멈추는 장애가 대표적인 위험이었다.

서비스 중단은 문제가 발생한 사실을 즉각 드러내고 복구를 통해 피해 확산을 막을 수 있었다.

그러나 AI가 업무 처리 과정에 직접 결합 되면 상황이 달라진다.

대출 심사나 복지급여 결정 과정에서 AI가 잘못된 판단을 내리더라도, 시스템 자체는 정상적으로 작동하기 때문에 오류가 장기간 발견되지 않을 수 있다.

병원의 영상 판독 보조, 지방자치단체의 복지 상담과 서류 검토, 은행의 대화형 이체, 통신사의 보이스피싱 탐지 등 AI 활용 영역이 넓어질수록 잘못된 판단이 국민 생활에 미치는 영향도 커질 수밖에 없다.

문제는 국내 대응체계가 이러한 변화에 충분히 대응하지 못하고 있다는 점이다.

우리나라는 분야별 서비스 운영 기준과 AI기본법, 개인정보보호법 등을 통해 서비스 장애 대비와 고위험 AI 관리, 자동화된 결정에 대한 이용자 권리를 규정하고 있다.

하지만 각각의 제도가 서로 다른 대상과 절차에 따라 운영되면서 AI 오류가 발생했을 때 누가 문제를 확인하고, 어떤 기관이 조치를 주도하며, 피해를 입은 국민에게 어떻게 구제받을 기회를 제공할지 명확하지 않다는 게 연구원의 진단이다.

이에 연구원은 국민의 권리와 안전에 영향을 미치는 서비스부터 세 가지 정책 방향을 마련해야 한다고 제안했다.

우선 AI 사용을 제한하거나 사람의 검토로 전환하는 구체적인 기준을 마련해야 한다고 강조했다.

일정 수준 이상의 오류가 확인되면 AI 활용을 중단하거나 사람의 판단을 거치도록 하고, 기존 업무를 어떻게 이어갈지와 이미 처리된 사안의 재검토 방안까지 대응 기준에 포함해야 한다는 것이다.

AI 오류에 대한 정부와 관계 기관의 공동 대응체계도 과제로 제시됐다.

사고의 성격과 영향 범위에 따라 대응을 주관할 기관을 명확히 하고, 동일한 AI 모델의 오류가 여러 서비스에서 동시에 발생할 경우 기관 간 정보 공유와 공동 대응이 가능하도록 절차를 정비해야 한다는 설명이다.

무엇보다 AI 판단으로 권리와 안전에 영향을 받은 국민에게 실질적인 재검토 요청권을 보장해야 한다고 밝혔다.

AI가 내린 결정인지 사람이 최종 승인한 결정인지와 관계없이 이용자가 재검토를 요청할 수 있도록 하고, 담당자는 판단 근거를 살펴 필요하면 결과를 변경할 수 있어야 한다는 것이다. 오류가 확인되면 민원을 제기한 당사자뿐 아니라 동일한 오류로 피해를 입은 다른 이용자까지 찾아내 바로잡는 체계도 필요하다고 강조했다.

유희수 국회미래연구원 연구위원은 "AI가 업무 깊숙이 들어오면서 서비스는 지속되는데 잘못된 판단이 반복되는 새로운 위험이 생겼다"며 "국민의 권리와 안전에 영향을 주는 서비스부터 오류를 찾고, 바로잡고, 피해를 회복하는 제도를 하나로 연결해야 한다"고 말했다.

AI 활용 확대에 맞춰 기술 도입과 산업 진흥에 집중했던 정책의 무게중심을 국민의 권리 보호와 책임 있는 운영으로 확장해야 한다는 과제가 제기되고 있다.