무자비한 알고리즘(카타리나 츠바이크, 니케북스, 2021) 읽은 후기

요즘 AI 관련 책들 읽으면서 윤리에 대한 책을 안 읽을 수 없어서 이 책도 읽기 시작했다. 부끄럽지만 자율주행 자동차? 뭐 편하겠네! 얼렁뚱땅 이런 식으로 생각해 버리고 살고 있었다. 이 책은 첫장부터 정신차리라고 따귀를 때려준 느낌이다. 이 책에서는 서류 평가, 범죄자 재범률 평가, 사진 구별 등 다양한 알고리즘을 예를 들면서 이 중 특히 윤리적인 판단을 내리는 알고리즘을 경계하고 지켜봐야 한다고 했다. 

 

윤리적인 부분은 다양한 곳에서 사용된다. 자율주행 자동차의 경우 시속 120km로 달리고 있는 고속도로에서 야생동물이 나타났을 때 그대로 야생동물을 치고 지나쳐야할 지 핸들을 꺾어 야생동물을 우선 피해야 할 지 사람에게도 어려운 윤리적인 부분을 인공지능이 무조건 더 나은 판단을 할거라고 맹신해선 안 된다는 것이다. 게다가 알고리즘이 내린 판단의 대한 책임을 한 사람에게 질 수도 없다. 

 

인공지능은 데이터를 기반으로 학습하는 데 윤리는 학습 데이터의 분야에도 적용된다. 무언가를 평가하는 알고리즘은 많은 데이터를 기반으로 하기 때문에 Garbage in Garbage out이 그대로 적용된다. 아마존 평가 시스템에서 통계 모델 학습을 위한 휴리스틱은 지원자의 성별을 인풋으로 넣지 않아도 성별과 상관관계가 있는 특성들을 찾아낸다고 한다. 예를 들어 '여자 체스서클'에서 활동했다고 되어 있으면 부정적으로 평가되고, 여대를 나왔다는 졸업증명서는 더 부정적으로 평가되었다는 것이다. 알고리즘이 지원자의 과거 취업경력이 신통치 않았음을 확인할 때와 비슷한 일이 발생하게 됐다. 아마존 직원에 대한 평가 인풋이 미묘한 방식으로 차별을 조장할 수 있는 것이다. 관계자에 따르면 지원자 평가 시스템에서 그 지원자가 아마존에 적합한 사람인지를 판단하기 위해 자기소개서나 웹사이트에서 자신을 소개하는 글을 참고한다고 한다. 그런데 이런 자기소개 역시 문화적 배경이나 성별에 따라 시스템에서도 차이가 나는 경우가 많다. 그리하여 머신러닝을 사용함으로써 지금까지의 선호 경향을 더 강화시켜 더더욱 단일한 문화로 나아가게끔 할 수 있는 것이다. 아마존은 결국 이 프로젝트를 포기하고 말았다. 

아마존과 같이 거대하고 사용자가 많은 기업에서는 단일한 문화를 더더욱 지양해야 한다. 성별, 인종, 나이를 전부 아우르는 문화를 수용하는 기업만이 고객에게도 다양한 서비스를 제공할 수 있기 때문이다. 

 

데이터의 윤리성 문제는 sns에서도 나타난다. 책에서는 챗봇 태이가 9/11 테러가 조지 부시 미국 전 대통령이 일으켰다고 말했고 그 외에 인종차별, 성차별적 발언을 서슴지 않으며, 성소수자를 혐오하고, 히틀러가 옳았다는 발언도 했다고 소개했다. 한국에서도 최근에 대표적인 챗봇으로 이루다에서 성적 발언 및 개인정보 등이 유출된 사건이 있었다. 

필터를 더욱 견고히 하는 방법을 도입할 수도 있다. 하지만 이것도 또 다른 문제가 있다. 페이스북과 트위터 같은 회사들이 저임금국가 인력을 고용하여, 이를 검열하는 결정을 내리도록 하는 것을 보여준다. 사용자들이 그런 장면들로 놀라지 않도록 약 10만 명의 검열자(cleaner)들이 몇 시간씩 폭력과 굴욕적인 섹스, 소아성애 같은 장면을 들여다보아야 한다. 아마도 자동필터로 일단 사전작업이 이루어질 것이다. 그런 다음 검열자들이 보게 되는 것은 컴퓨터는 분별하기 힘든 경계선에 있는 것들일 것이다. 만약 가능했다면 대기업은 이미 오래전에 그런 작업을 자동화시켰을게 틀림없다. 표현의 자유와 인권이라는 가치는 이곳에서 단순한 규칙으로는 해결할 수 없는 모순을 빚는다. 그리하여 완벽한 '업로드 필터'는 불가능하다는 이야기가 많이 들린다. 

 

https://www.imdb.com/title/tt7689936/

Im Schatten der Netzwelt (2018) - IMDb

 

찾아보니 이 다큐멘터리에 마크 주커버그와 도날드 트럼프의 셀프캠 비슷하게 첨부됐나보다.. ㅋㅋㅋ

 

 

비윤리적 데이터 수집의 문제도 있다. 웹 크롤링을 사용해 웹에 올라온 모든 데이터를 수집할 수 있다. 실제로 2017년에 한 연구자가 인터페이스의 도움으로 데이팅 앱 틴더에서 4만 장의 사진을 다운받아 웹 사이트에 공유했다. 또한  #10yearchallenge 태그를 통해 보다 효과적인 연령인식 혹은 연령변화를 보여주는 얼굴인식 기술 개발에 사용될 수도 있다. 

 

이 외에도 책에서 데이터가 부족할 때 겪는 차별로 소개한 영상이다. 스코틀랜드 남자 두 명이 음성으로 작동되는 엘리베이터를 탔는데 스코틀랜드 악센트를 인식 못 하는 유머 영상이다. 어떻게 저렇게 인식을 못할까 재밌기도 하지만 한편으로는 두렵기도 하다. 예를 들어 아이나 노인이 엘리베이터에 탔는데 인식을 못 하는 상황이 벌어졌을 때 비상 탈출 버튼도 작동이 안된다면 꼼짝없이 갇혀야 하는 상황인데 그럴 땐 어떻게 되는 것일까? 

 

https://www.youtube.com/watch?v=TqAu-DDlINs 

 

결국 저자의 결론은 약한 인공지능으로도 충분하고 이를 넘어서 강한 인공지능을 사용해서는 안된다는 것이다. 

 

✨빅데이터를 공부하고 싶어하는 사람으로서 이 책을 읽으면서 많은 생각이 들었다. 인간조차도 불완전한 윤리의식을 가지고 있는데 하물며 인간의 데이터로 학습을 해야하는 인공지능이 얼마나 윤리적일 수 있을지 모르겠다. 점점 AI 면접이 도입되고 있는데 그 속에서 내가 올바르게 평가될 수 있을까? 면접 말아잡수는 거 아닌지... 😥