<대한금융신문=문혜정 기자> 2010년 5월 6일 오후 2시 42분 역사에 남을 사건이 터졌다. 단 5분만에 증시의 1/10, 약 1조달러가 순식간에 증발했다. 이 엄청난 증시폭락을 만든 장본인은 바로 각 금융회사에서 운영하는 인공지능들이었다.

천분의 일초 또는 백만분의 일초 단위로 움직이던 초단타 매매(HFT) 인공지능들이 특정한 매도 거래에 개입했다 부족한 매수주문을 확인하자마자 경쟁적으로 팔아 치우기 시작했다. 그 영향은 순식간에 포트폴리오 전체로 확산되고 결국 시장 전체가 폭락하는 상황에 이르렀다.

자율성 높아지며 위험 가능성↑
최근 인공지능의 자율성이 높아지면서 인간과 인공지능 둘 중 누구의 의견을 따라야 할지 판단할 수 있는 기준 마련의 필요성이 제기되고 있다.

인공지능의 자율성이란 주변 환경을 관측(Observe)하고 판단(Origin)해서 결심(Decision)한 후 행동(Act)하는 OODA 루프상의 각 단계별로 인공지능 스스로 결정할 수 있는 능력을 말한다.

인공지능 또는 로봇이 의사 결정을 하는 단계가 많을수록 자율성의 수준도 높아진다. 똑똑해지는만큼 인간 사용자의 기대와 통제를 벗어난 행동을 할 확률이 커지고 그것이 사고로 연결될 가능성 또한 증가한다.

가장 심각한 문제는 인공지능의 자율성이 높아지면 오히려 충실한 역할 수행이 사고 발생의 단초가 될 수 있다는 점이다.

미국증권거래위원회(SEC)가 2010년 발생한 미국 증시폭락에 대해 6개월 이상의 장기 조사를 통해 원인으로 지목한 것은 바로 인공지능 각각의 거래 행태였다.

각 금융기관마다 독자적으로 개발한 초단타매매(HFT) 인공지능들이 인간으로부터 거래 권한을 위임 받은 후 각자의 역할을 너무나 신속하고 동시 다발적으로 열심히 수행하는 바람에 증시 폭락이 발생했다는 결과였다.

전문가들은 이처럼 인공지능이 사용상의 부작용에 대해서는 전혀 고려되지 않은 채 각각 독립적으로 목표 성취만을 위해 개발되는 현실을 우려하고 있다. 이렇게 개발된 인공지능의 판단을 인간보다 더 신뢰하게 될 경우 엄청난 비극이 벌어질 수 있다.

2003년 이라크전 당시 수 차례 발생했던 패트리어트 미사일 시스템의 연합군 전투기 오인 격추 사고들은 모두 인공지능 간 충돌에 의해 발생했다. 무선식별장치의 차이로 센서가 잘못된 정보를 제공하고 레이더의 인식 오류가 생기는 등 모든 요인들이 복합적으로 작용한 결과였다.

당시 최종 결정권을 가진 담당자들은 모두 인간보다 컴퓨터의 판단을 신뢰했고 결국 돌이킬 수 없는 비극이 벌어졌다.

인간이 로봇 시스템의 판단을 더 신뢰해 발생하는 사고는 인공지능의 판단이 100% 정확해지기 전까지는 계속 일어날 수 있으며 오히려 성능이 높아질수록 더 치명적인 사고로 이어질 수 있다.

인간이 인공지능의 판단을 그대로 신뢰하는 경향이 있다는 점은 인공지능의 자율성 수준을 거론할 때 중요한 기준이 된다.

실제 인간이 인공지능이나 로봇을 맹신하는 것은 로봇의 지시를 접한 인간의 반응을 조사한 실험을 통해 사실로 드러난 바 있다. 당시 실험에서는 ‘인간’ 감독관이 피실험자들에게 과제 수행을 완료하기 전에는 절대로 방 바깥으로 나가지 말라고 지시한 다음 로봇이 들어가서 상반되는 지시를 내리게 했다.

그러자 결과는 놀라웠다. 로봇이 자신을 ‘조사팀 멤버’라고 소개한 후 하던 일을 멈추고 즉시 방에서 나가라고 지시하자 대부분의 피실험자들이 그대로 따랐다. 이후 분석을 통해 알려진 핵심원인은 ‘조사팀 멤버’라는 소개였다. 이를 근거로 사람들은 로봇의 자격을 인정하거나 배후에 정당한 권한을 지닌 인간 감독관이 있다고 믿으면서 로봇이 상반되는 지시를 해도 그대로 따랐던 것이다.

“인간과 동등한 자격 부여해 달라”
인공지능이 예상치 못한 문제를 일으킬 수 있다고 해서 자율성을 완전히 제거할 수는 없다.

자율성은 인공지능과 로봇의 도입 목적인 인간의 대체 효과, 인력 투입 및 관련 비용절감을 위해 필수적인 요소다. 인공지능의 자율성은 인간이 가진 권한과 책임의 공유, 위임을 의미하므로 인간의 통제, 개입 수준과 반비례하게 된다. 인간을 대체하는 효과는 그만큼 커진다. 자율성이 높아진 인공지능의 법적 지위는 이제 본격적인 이슈로 다뤄지고 있다.

지난 2월 미국 도로교통국(NHTSA)은 구글의 질의에 대한 유권 해석을 통해 자율주행자동차를 통제하는 인공지능이 운전자로 간주될 가능성이 있다는 의견을 낸 바 있다.

현재 수준의 인공지능에게 당장 인간과 동등한 수준의 자격을 부여한다는 의미는 아니지만 앞으로 인간 운전자에게 적용되는 평가 기준을 충족하는 인공지능에게는 인간과 동등한 자격을 부여할 가능성을 시사한 것이다.

더 나아가 인공지능의 계약 체결권과 재산 소유권까지 그 논점이 확산되고 있다. 전문가들은 기업이 계약 체결과 재산 소유가 가능한 법인격을 부여받는 것처럼 인공지능이나 로봇도 법인격을 받을 수 있다고 보고 있다.

LG경제연구원 진석용 연구원은 “인공지능은 기업과 달리 독자적인 판단과 행동을 할 수 있는 존재이며 극단적으로 인공지능이나 로봇이 서로 소유할 수 있는 권리로 확장될 여지가 있어 현 사회나 경제체제 속에서 예상치 못한 문제에 봉착할 수 있다”며 “각종 가치관이 인간 중심이란 개념에서 멀어지면 제도상으로 인간이 개입할 여지가 점점 줄어들고 향후 재산권까지 보유하게 되면 스스로 후계자를 만들어 인간으로부터 더 독립하는 식으로 발전해 나갈 수 있다”고 우려했다.