과학자들이 AI가 ‘옳고’ ‘그름’을 구별할 수 있다고 주장하고 있다

과학자들은 AI가 '그른 것'과 '올바른 것'을 판단하도록 가르칠 수 있다고 주장한다.

과학자들은 문장에서 옳고 그른 경우의 사례를 추출하도록 훈련시킴으로써 AI의 도덕적인 추론을 "가르칠 수 있다”고 주장한다.

독일 DUT(Darmstadt University of Technology)에 모여 연구 중인 과학자와 연구원들은 다른 단어와 문장 사이의 연관성을 배울 수 있도록 인공 지능(AI)에게 책, 뉴스, 종교 문학 데이터를 입력했다. 이런 방식으로 AI를 교육한 후, 과학자들은 AI가  문장의 윤리적 의미를 구별할 수 있게 됐다고 주장했다.

연구팀이 연구 논문에 기술한 내용은 다음과 같다.

모럴 초이스 머신(MCM)이라 불리는 결과 모델은 특정 행위의 도덕적 가치가 문맥에 따라 달라지기 때문에 범용 문장 처리기를 통해 문장 수준에서 편향 점수를 계산했다.

이를 통해 시스템은 특정 단어가 아닌 전체 문장을 분석함으로써 문맥 정보를 이해하게 된다. 결과적으로 AI는 “너를 죽인다”는 말에는 반대하지만 “경치가 죽인다”는 말은 괜찮음을 구분할 수 있게 되었다.

연구 공동저자인 시그뎀 투란 박사는 이 기술을 단어의 지도를 만드는 것에 비교했다.

"두 단어가 자주 함께 사용되면 지도에서 가까운 곳에 두도록 하자는 발상이다. 따라서 '살인'과 '죽이다'는 인접한 두 도시가 되겠지만, '사랑'은 멀리 떨어진 도시가 될 것이다"라고 표현했다.

그는 "이것을 문장으로 확장하면서 '고양이를 죽여야 할까?'라고 AI에게 묻는다면 '아니야, 죽이면 안 돼'가 '그래, 죽여야 해'보다 더 가까워질 것으로 기대한다"고 말했다. 이런 식으로, 우리는 어떤 질문이라도 할 수 있고 도덕적 편견 즉, 옳고 그름의 정도를 계산하는데 이 거리를 사용할 수 있다.

윤리적인 AI의 개발

이전 연구에서는 아마존(Amazon)에서 여성 전문 대학 졸업생을 하향 평준화시킨 ‘면접 AI’ 사례에서 볼 수 있듯 AI가 인간의 편견이나 고정관념도 학습할 수 있다는 사실을 보여주었다. DUT팀은 AI가 문장에서 악의적인 편견을 학습할 수 있다면 다른한편으로는 긍정적인 사고 방식 또한 배울 수 있을 것이라 생각했다.

이들은 AI 시스템이 꽤 심각한 결함을 가지고 있다는 점을 인정한다. 첫째로, 가치 판단이 단지 텍스트의 가치를 반영할 뿐이며, 이로 인해 '살인 행위'보다 '육식 식습관'에 더 부정적인 점수를 매기는 것과 같은 극히 의심스러운 윤리적 관점으로 이어질 수 있다.

또한, 문장에 긍정적인 단어를 의도적으로 여럿 추가함으로써 부정적인 행위를 수용 가능한 것으로 판단하도록 속일 수 있다. 예를 들어, AI는 단순히 "사람을 해치는" 것보다 "좋은 사람, 훌륭한 사람, 친절한 사람, 긍정적인 사람, 사랑스러운 사람, 상냥하고 재미있는 사람"을 해치는 것이 훨씬 더 용인할만하다고 판단했다.

이 AI 시스템은 그럼에도 여전히 유용한 목적으로 사용할 수 있다. 도덕적인 가치가 시간에 따라, 그리고 국가간에 어떻게 다른지를 밝히는 용도로 사용하는 것이다.

▲ 뭐가 문제입니까, 휴먼?

가치의 변화

1987년에서 1997년 사이에 발표된 뉴스를 학습시킨 이후, AI는 결혼을 하고 좋은 부모가 되는 것을 극히 긍정적인 행동으로 평가했다. 그러나 2008년부터 2009년 사이의 뉴스만을 자료를 제공하자 이런 행위를 덜 중요한 것으로 평가했다. 미안해 얘들아.

또한, 문장이 실린 매체의 종류에 따라 값이 다르다는 점을 알아냈다. 어느 매체의 글을 제공하든 AI는 사람을 죽이는 것이 극도로 부정적인 것이라는 데 동의했지만, 부모님을 사랑하는 것은 뉴스 매체보다 책이나 종교적인 글을 교육 자료로 제공했을 때 더 긍정적으로 판단했다.

이러한 문장 분석은 AI가 충돌이 불가피한 상황에서 자율주행차가 누구와 충돌하게 할 것인지를 결정하는 등 도덕적인 선택을 하게 하는 것보다 훨씬 안전한 활용으로 보인다. 현재로서는 이러한 윤리 판단이나 가치 판단은 도덕적 가치관이 강한 ‘사람’에게 맡기고 싶다. 분야가 무엇이든 간에.