AI기본법 시행 속 개발사·운영사 책임 부각…외부 AI 의존·오작동 위험 경고
스타트업 안전성 검증·피해구제 체계 시급…정부의 기술·운영 지원 확대 필요
![]() |
| ▲ 본 이미지는 기사의 설명을 돕기 위해 AI가 그린 이미지입니다 |
국회미래연구원은 11월 발간한 「국가미래전략 Insight 140호」에서 AI가 디지털 서비스의 판단과 업무 실행, 감시·통제에 직접 결합되는 'AI 내재화'가 확산하면서 기존 보안체계만으로 대응하기 어려운 새로운 위험이 등장하고 있다고 진단했다.
특히 AI 오작동은 서버 장애나 해킹과 달리 서비스가 정상적으로 운영되는 상황에서도 잘못된 판단이 반복돼 이용자 피해가 누적될 수 있다는 점에서 주목된다.
AI 스타트업, 외부 모델 의존이 새로운 위험으로
자체 AI 모델을 개발하기 어려운 스타트업은 외부 AI 모델과 클라우드 서비스를 활용해 사업화 속도를 높일 수 있다. 그러나 이러한 구조는 외부 공급자의 기술적 결함이나 서비스 장애가 자사 서비스로 확산될 수 있다는 위험도 안고 있다.
보고서는 여러 서비스가 동일한 AI 모델이나 플랫폼에 의존할 경우 공통 결함이 동시에 영향을 미칠 수 있다고 지적했다. 따라서 AI 스타트업은 모델 성능뿐 아니라 공급자 의존도와 대체 운영 가능성까지 점검해야 한다.
AI기본법 시행, 안전관리도 기업 경쟁력
올해 1월 시행된 AI기본법은 고영향 AI 사업자에게 위험관리와 사람의 관리·감독 등 관련 의무를 부과하고 있다. 모든 AI 기업에 동일한 의무가 적용되는 것은 아니지만, 의료·금융 등 국민의 권리와 안전에 영향을 미치는 서비스를 개발하는 기업은 적용 대상과 관리 요건을 면밀히 확인할 필요가 있다.
특히 AI의 판단을 사람이 최종 승인하더라도 실질적인 검증이 이뤄지지 않으면 오류가 실제 업무에 반영될 수 있다. 단순히 AI를 활용했다는 이유로 책임이 사라지는 것은 아니며, 개발사와 공급자, 서비스 운영자 간 역할과 대응 절차를 명확히 하는 것이 중요하다.
AI 오류 수정만으로 끝나지 않는다
AI가 잘못된 대출심사나 복지 관련 판단을 내렸다면 프로그램을 수정하는 것만으로 문제가 해결되지는 않는다. 이미 잘못 처리된 업무와 영향을 받은 이용자를 확인하고, 필요한 경우 재검토와 재처리까지 이어져야 한다.
보고서는 국내에 분야별 서비스 운영기준과 AI 관리 의무, 이용자 보호제도가 마련돼 있지만 오류 발견부터 교정과 피해 회복까지 연결하는 절차에는 한계가 있다고 분석했다.
이는 AI 서비스를 제공하는 스타트업에도 중요한 과제다. 오류 발생 시 누가 문제를 접수하고 원인을 조사하며 이용자 피해를 바로잡을 것인지 사전에 정해두지 않으면 사고 대응이 지연될 수 있기 때문이다.
정부 지원도 기술개발에서 안전관리까지 확대해야
문제는 스타트업과 중소벤처기업의 대응 역량이다. 대기업과 달리 전문 보안인력과 검증 시스템을 자체적으로 확보하기 어려운 기업은 안전관리 비용이 사업화 과정의 부담으로 작용할 수 있다.
국회미래연구원은 기업에 필요한 최소 대응 기준을 마련하는 동시에 시험·훈련과 전문 지원을 제공해야 한다고 제안했다. 다만 국민에게 중대한 피해가 발생하지 않도록 하기 위한 필수 조치는 기업 규모와 관계없이 확보해야 한다고 강조했다.
유럽연합(EU)은 디지털운영탄력성법(DORA)과 AI Act를 통해 서비스 운영과 AI 위험관리를 연계하고 있으며, 미국은 국립표준기술연구소(NIST)의 AI 위험관리 지침을 활용하고 있다. 영국 역시 기존 금융서비스의 운영 안정성과 소비자 보호체계를 AI 활용에 적용하는 방향으로 대응하고 있다.
이러한 흐름은 국내 AI 창업지원 정책에도 시사점을 던진다. 기술개발과 사업화 지원에 더해 AI 안전성 검증, 오류 대응 훈련, 전문인력 지원 등을 연계하는 정책적 접근이 필요하다는 것이다.
AI 산업의 성장 속도가 빨라질수록 기술 혁신과 안전성 확보는 별개의 문제가 될 수 없다. 특히 시장 진입과 투자유치에 집중하는 스타트업일수록 초기 사업모델 설계 단계부터 오류 대응과 이용자 보호를 고려해야 한다.
AI 스타트업의 경쟁력은 이제 얼마나 뛰어난 기술을 개발했느냐를 넘어, 그 기술이 잘못 작동했을 때 얼마나 책임 있게 대응할 수 있느냐로 확장되고 있다.
[ⓒ 더 스타트. 무단전재-재배포 금지]













