사람들이 선호하는 선택을 많이 모으면 기계가 따라야 할 윤리 규칙이 만들어질까요? 어떤 선택이 인기 있다는 사실과 그 선택을 제도로 정당화하는 이유는 다릅니다. 이 글은 트롤리 문제와 Moral Machine을 출발점으로 삼되, 가상의 공공도서관 AI 서비스를 예로 들어 데이터·규칙·책임을 구분하는 방법을 살펴봅니다. 도서관 사례는 이 글에서 구성한 설명용 상황입니다.
1. 트롤리 문제는 판단의 이유를 비교하는 장치다
트롤리 문제는 선택의 결과와 행위의 방식이 충돌할 때 무엇을 중요하게 보는지 묻는 사고실험입니다. 선택지를 제한하면 판단의 차이가 선명해지지만, 실제 사고가 생기기까지의 환경과 예방 가능성은 배경으로 밀려납니다. 따라서 한 장면의 답을 곧바로 실제 운행 시스템의 완성된 설계로 옮길 수는 없습니다.
토론에서는 누가 더 많은 표를 얻었는지보다 각자가 어떤 이유를 제시했는지 살펴볼 수 있습니다. 피해의 총량을 줄이려는 주장, 개인을 수단으로 사용하면 안 된다는 주장과 주어진 선택지 자체를 바꿔야 한다는 주장은 서로 다른 질문을 포함합니다. 상대의 답을 취향으로만 분류하면 왜 그 답을 지지하는지 놓칠 수 있습니다.
현실의 서비스에서는 마지막 순간의 양자택일 이전에 할 일이 많습니다. 위험한 조건에서 작동을 멈추거나 사람이 검토하도록 설계할 수도 있습니다. “어쩔 수 없는 선택”이라는 전제를 누가 정했는지 질문하는 것도 윤리 검토의 일부입니다. 사고실험이 검토를 돕는 영역과 생략하는 영역을 함께 기록해야 합니다.
2. Moral Machine이 관찰한 것은 가상 상황의 선호다
Moral Machine 연구의 저자 공개 원문은 온라인 가상 상황에서 참가자들이 표시한 도덕적 선호와 집단 간 차이를 분석합니다. 이는 사람들이 어떤 선택을 했는지 연구하는 자료입니다. 온라인으로 자발적으로 참여한 사람의 응답을 모든 시민의 의견과 같은 것으로 취급해서는 안 됩니다.
설문 결과를 읽을 때는 응답자의 모집 방식, 제시한 선택지와 질문에 담긴 가정을 확인합니다. 보기에서 빠진 대안은 응답으로 나타날 수 없고, 짧은 화면에 담기지 않은 상황도 남습니다. 참가자가 현실에서 같은 행동을 한다는 보장 역시 별개의 문제입니다. 응답 수가 많다는 사실은 이러한 질문을 없애지 않습니다.
가령 도서관 이용자 설문에서 “많이 빌리는 사람에게 먼저 추천하자”는 답이 많았다고 가정해 봅시다. 실제 응답 자료가 아니라 설명용 예입니다. 도서관을 자주 이용하지 못하는 사람이나 접근 수단이 부족한 사람의 관점이 얼마나 반영되었는지도 물어야 합니다. 다수의 선호를 발견한 뒤에도 공공 서비스가 어떤 기회를 보장해야 하는지 논의는 계속됩니다.
3. 기술적으로 잘 맞추는 것과 정당한 규칙은 다르다
도서 추천 모델이 과거 대출을 잘 예측하더라도, 과거에 드러나지 않은 필요를 충족하는지는 따로 평가해야 합니다. 예측 정확도는 정한 목표에 대한 성능입니다. 어떤 목표를 선택할지, 어떤 오류를 더 무겁게 볼지는 모델의 점수만으로 결정되지 않습니다. 목표의 정당화와 구현의 정확성을 나누어 기록하는 이유입니다.
다음 표는 가상의 설계 회의에서 서로 다른 질문이 뒤섞이지 않도록 작성한 예입니다.
| 검토 대상 | 물어볼 질문 |
|---|---|
| 데이터 | 누가 기록에 포함되고 누가 빠져 있는가 |
| 성능 | 추천이 실제로 관련 있는 자료를 찾는가 |
| 권리와 기회 | 이용 이력이 적어도 필요한 서비스를 받을 수 있는가 |
| 운영 책임 | 잘못된 결과에 누가 답하고 수정하는가 |
데이터의 불균형을 보완하는 조치가 필요할 수 있지만, 단순히 비율을 맞추는 것만으로 모든 문제가 해결되지는 않습니다. 어떤 집단 구분이 적절한지, 수집할 필요가 없는 민감한 정보를 추가로 모으는지까지 살펴야 합니다. 공정성을 평가할 기준은 서비스의 목적과 영향을 받는 사람의 상황을 함께 반영해야 합니다.
4. 권리·설명·이의제기를 실제 기능으로 연결하기
UNESCO의 AI 윤리 권고는 인간의 권리와 존엄, 공정성·투명성·인간의 감독을 중요한 원칙으로 다룹니다. 이런 단어를 소개 페이지에 적는 일과 운영에서 실현하는 일은 다릅니다. 어떤 결정을 설명할지, 누가 재검토할지와 이용자가 어디에 요청할지를 정해야 합니다.
도서관이 추천 결과를 참고 정보로만 쓴다면 잘못된 책이 보이는 문제와 대출 자격을 제한하는 문제의 영향은 다릅니다. 영향이 큰 결정에 모델 결과를 사용할수록 사람의 검토와 수정 경로를 구체화해야 합니다. “담당자가 확인한다”는 약속만 남기지 말고 담당자가 볼 정보와 실제로 바꿀 수 있는 범위를 정합니다.
이의제기 화면도 같은 관점으로 검토합니다. 이용자가 모델의 내부 용어를 몰라도 문제를 설명할 수 있는지, 자동 답변을 반복해서 받다가 끝나는지 살펴봅니다. 민감한 개인 정보를 불필요하게 요구하지 않으면서도 결과를 다시 확인할 수 있어야 합니다. 책임을 설명하는 문구와 서비스의 실제 동작이 일치해야 신뢰할 근거가 생깁니다.
5. 배포 이후에도 가정과 영향을 다시 확인하기
NIST의 AI 위험 관리 프레임워크는 AI와 관련된 개인·조직·사회적 위험을 관리하는 접근을 제시합니다. 실무에서는 배포 전 성능표만 보관하기보다 운영 중 달라지는 입력과 영향도 살펴볼 필요가 있습니다. 어떤 신호가 나타나면 다시 검토할지 미리 정해 두면 책임이 구체적인 작업으로 이어집니다.
가상의 도서관에서는 새 지역의 이용자가 늘거나 자료 분류 체계가 바뀔 수 있습니다. 이전에 잘 작동한 추천이 새 환경에서도 같은 의미를 가진다고 가정할 수는 없습니다. 특정 이용자가 계속 같은 유형의 자료만 받는지, 수정 요청이 처리되지 않은 채 쌓이는지, 담당자가 결과를 확인하기 어려운지 살펴보세요.
이런 검토는 모든 오류를 예측하겠다는 약속이 아닙니다. 영향을 발견했을 때 중단·수정·설명할 수 있는 구조를 준비하는 일입니다. 서비스 목표를 바꿨다면 평가 기준과 이용자 안내도 함께 바뀌어야 합니다. 이전 기준에서 좋은 점수를 받은 모델이라는 이유로 새로운 용도를 자동 승인해서는 안 됩니다.
6. 윤리 회의를 구체적인 질문으로 마무리하기
윤리 검토 기록에는 결정할 문제, 영향을 받는 사람, 고려한 대안과 선택 이유를 적어 보세요. 기술팀의 성능 수치와 이용자의 경험을 한 표에서 비교하되 서로 같은 종류의 근거라고 취급하지 않습니다. 대표성을 확인하지 않은 설문은 참고 의견으로 사용할 수 있어도 모든 이해관계자의 동의를 대신하지는 않습니다.
마지막으로 그 규칙이 잘못됐다는 사실을 어떻게 발견할지 묻습니다. 불만을 제기하기 어려운 사람의 피해는 기록에 잘 나타나지 않을 수 있습니다. 문의가 적다는 이유만으로 공정한 서비스라고 결론 내리지 말고, 사용 과정과 접근 장벽을 따로 살펴보세요. 문제를 고칠 사람이 누구인지까지 정해야 원칙이 운영과 연결됩니다.
트롤리 문제는 도덕 판단의 차이를 드러내고, Moral Machine은 주어진 상황에서 표현된 선호를 연구합니다. 실제 AI 서비스의 규칙에는 여기에 더해 권리, 제도의 목적과 설명 가능한 책임이 필요합니다. 무엇을 좋아하는지와 무엇을 정당화할 수 있는지를 구분하면, 모델의 선택을 논의하는 범위도 마지막 순간의 희생 결정에서 서비스 전체의 설계로 넓어집니다.