인공 지능에는 편견 문제가 있으며 그것은 우리의 잘못입니다

2016 년 보스턴 대학교와 마이크로 소프트 연구원들은 인공 지능 알고리즘을 연구하면서 매일 사용하는 가장 인기 있고 중요한 서비스의 기반이되는 기술의 인종 차별주의와 성 차별적 경향을 발견했습니다. 이 계시는 인공 지능이 우리 인간이하는 성별, 인종 및 문화적 편견으로 고통받지 않는다는 기존의 지혜에 위배되었습니다.

연구원들은 큰 본문을 분석하여 다른 단어들 사이의 상관 관계를 찾는 AI의 한 유형 인 단어 임베딩 알고리즘을 연구하면서 이러한 사실을 발견했습니다. 예를 들어, 훈련 된 단어 임베딩 알고리즘은 꽃에 대한 단어가 쾌적한 감정과 밀접한 관련이 있음을 이해할 수 있습니다. 보다 실용적인 수준에서 단어 포함은 "컴퓨터 프로그래밍"이라는 용어가 "C ++", "JavaScript"및 "객체 지향 분석 및 디자인"과 밀접한 관련이 있음을 이해합니다. 이력서 스캔 응용 프로그램에 통합되면이 기능을 통해 고용주는 적은 노력으로 자격을 갖춘 지원자를 찾을 수 있습니다. 검색 엔진에서는 의미 적으로 검색어와 관련된 콘텐츠를 불러 와서 더 나은 결과를 제공 할 수 있습니다.

BU와 마이크로 소프트 연구원들은 단어 임베딩 알고리즘에 "컴퓨터 프로그래머"와 남성 대명사, "주부"와 여성 대인을 연관시키는 것과 같은 문제가 있다는 것을 발견했다. 연구 논문에 발표 된 그들의 연구 결과는 "여자가 주부에게있는 것처럼 컴퓨터 프로그래머에게는 남자인가?" AI의 중립에 대한 신화를 밝히고 알고리즘 편견을 밝히는 여러 보고서 중 하나였습니다. 알고리즘이 일상적인 의사 결정에 점점 더 관여함에 따라 결정적인 차원에 도달하는 현상입니다.

알고리즘 바이어스의 기원

머신 러닝 및 딥 러닝 알고리즘은 최신 AI 기반 소프트웨어의 근간입니다. 사전 정의되고 검증 가능한 규칙을 기반으로 작동하는 기존 소프트웨어와 달리 딥 러닝은 자체 규칙을 작성하고 예를 통해 학습합니다.

예를 들어, 딥 러닝을 기반으로 이미지 인식 응용 프로그램을 만들려면 프로그래머는 레이블이 지정된 데이터를 공급하여 알고리즘을 "트레이닝"합니다.이 경우 사진에 포함 된 개체 이름으로 태그가 지정된 사진이 있습니다. 알고리즘이 충분한 예제를 수집하면 유사하게 레이블이 지정된 데이터간에 공통 패턴을 수집하고 해당 정보를 사용하여 레이블이없는 샘플을 분류 할 수 있습니다.

이 메커니즘을 통해 딥 러닝은 규칙 기반 소프트웨어로는 거의 불가능했던 많은 작업을 수행 할 수 있습니다. 그러나 이는 또한 딥 러닝 소프트웨어가 은밀하거나 명백한 편견을 물려받을 수 있음을 의미 합니다.

"AI 알고리즘은 본질적으로 편향되지 않습니다"라고 Boston University의 전기 및 컴퓨터 공학부에서 강의하고 단어 임베딩 알고리즘을 연구 한 Venkatesh Saligrama 교수는 말합니다. "결정적 기능을 가지고 있으며 이들이 훈련하는 데이터에 이미 존재하는 모든 경향을 포착 할 것입니다."

Boston University 연구자들이 테스트 한 단어 임베딩 알고리즘은 Google 뉴스, Wikipedia 및 기타 사회적 편견이 깊이 포함되어있는 다른 온라인 소스에서 수십만 건의 기사를 교육했습니다. 예를 들어, 기술 산업을 지배하는 형제 문화 때문에 남성 이름은 기술 관련 직종에 더 자주 등장하며, 이는 알고리즘을 통해 남성을 프로그래밍 및 소프트웨어 공학과 같은 직무와 연관시킵니다.

BU의 마지막 해 박사 과정 학생 인 Tolga Bolukbasi는“알고리즘은 옳고 그른 것을 구별하는 데있어 인간의 마음의 힘을 가지고 있지 않습니다. 인간은 윤리적 규범에 반하여 행동하기로 결정할 때에도 행동의 도덕성을 판단 할 수 있습니다. 그러나 알고리즘의 경우 데이터가 궁극적 결정 요소입니다.

Saligrama와 Bolukbasi는이 편견에 대한 경고를 최초로 제기 한 것은 아닙니다. IBM, Microsoft 및 토론토 대학 (University of Toronto)의 연구원들은 2011 년에 발표 된 논문에서 알고리즘 차별을 방지 할 필요성을 강조했습니다. 그 당시 알고리즘 편견은 난해한 문제였으며 딥 러닝은 여전히 ​​주류로 향하지 못했습니다. 하지만 오늘날 알고리즘 편향은 이미 뉴스 읽기, 친구 찾기, 온라인 쇼핑, Netflix 및 YouTube에서 비디오 시청 등 우리가하는 많은 일에 이미 주목을 받고 있습니다.

알고리즘 바이어스의 영향

2015 년 Google은 사진 앱을 구동하는 알고리즘이 두 흑인을 고릴라로 태그 한 후 사과해야했습니다. 아마도 훈련 데이터 세트에 흑인 사진이 충분하지 않았기 때문일 것입니다. 2016 년 AI가 심사 한 미인 경연 대회 우승자 44 명 중 거의 모든 사람들이 백인이었고, 일부는 아시아 인이며, 한 명만이 검은 피부를 가졌습니다. 다시, 그 이유는 알고리즘이 대부분 백인들의 사진으로 훈련 되었기 때문입니다.

Google 포토, 모두 망했어. 내 친구는 고릴라가 아닙니다. 트윗 담아 가기

- jackyalciné는 여기서 많이 응답하지 않습니다. DM (@jackyalcine) 2015 년 6 월 29 일

최근에 IBM과 Microsoft의 얼굴 분석 서비스를 테스트 한 결과, 회사의 알고리즘이 피부가 가벼운 남성의 성별을 감지하는 데 거의 결함이 없지만 피부가 어두운 여성의 사진을 제시 할 때 종종 오류가 있음을 발견했습니다.

이러한 사고는 무시할만한 피해를 입힐 가능성이 있지만 건강 관리, 법 집행 및 채용과 같은 더 중요한 영역의 AI 알고리즘에 대해서도 마찬가지입니다. 2016 년에 ProPublica의 조사에 따르면 COMPAS (범죄자의 재범 위험을 평가하는 AI 기반 소프트웨어)는 유색인에 대해 편향되어 있습니다. 이 발견은 특히 일부 주에서는 판사가 COMPAS를 사용하여 누가 자유로이 출입하고 누가 감옥에 머무르는 지 결정하기 때문에 우려와 관련이있었습니다.

또 다른 경우에는 딥 러닝 알고리즘으로 구동되는 Google의 광고 플랫폼에 대한 연구에 따르면 남성보다 여성보다 고임금 일자리에 대한 광고가 더 자주 게재되는 것으로 나타났습니다. 별도의 연구에서 LinkedIn의 구인 광고와 비슷한 문제가 발견되었습니다. 또 다른 사람은 편견 채용 알고리즘이 아프리카 계 미국인 이름을 가진 사람보다 유럽계 미국인 이름을 가진 사람에게 인터뷰 초대를 보낼 가능성이 50 % 더 높다는 것을 보여주었습니다.

대출 승인, 신용 등급 및 장학금과 같은 분야는 비슷한 위협에 직면합니다.

알고리즘 편견은 사회적 편견을 증폭시킬 수있는 방법 때문에 더 걱정이됩니다. 인공 지능이 차갑고 편견이나 편견이없는 수학적 계산이라는 착각에 따라 인간은 그것을 의심하지 않고 알고리즘 적 판단을 신뢰하는 경향이있을 수 있습니다.

에든버러 네이피어 대학 범죄 학자 앤드류 우프 (Andrew Wooff)는 Wired UK와의 인터뷰에서 "시간이 걸리고 자원 집약적 인"정책의 세계가 법 집행관이 알고리즘 결정에 지나치게 의존 할 수 있다고 관찰했다. "경찰이 자신의 의사 결정 프로세스보다 시스템에 더 의존 할 수있는 상황을 상상할 수있다"고 그는 말했다. "일부 문제가 생겼을 때 결정을 정당화 할 수 있도록하기위한 것입니다."

바이어스 된 알고리즘에 의존하여 피드백 루프를 만듭니다. 우리는 알고리즘이 향후 분석하고 학습 할 더 바이어스 된 데이터를 만드는 결정을 내립니다.

이런 종류의 일은 이미 Facebook 및 Twitter와 같은 소셜 미디어 네트워크에서 일어나고 있습니다. 뉴스 피드를 실행하는 알고리즘은 "필터 버블"을 생성하여 사용자의 선호와 편향에 맞는 컨텐츠를 표시합니다. 이로 인해 반대 의견에 대한 관용이 줄어들고 정치적, 사회적 분열을 통해 쐐기를 추진함으로써 사회를 더욱 양극화 할 수 있습니다.

Microsoft의 선임 연구원 인 Jenn Wortman Vaughan은“알고리즘 편향은 모든 그룹에 영향을 줄 수 있습니다. "데이터에 저조한 그룹이 특히 위험 할 수 있습니다."

기술 업계의 여성에 대한 고유 한 차별과 같이 이미 편견으로 알려진 영역에서 AI 알고리즘은 이러한 편견을 강조하고 잘 표현되지 않은 그룹을 추가로 소외시킬 수 있습니다.

Wortman은 건강이 또 다른 중요한 영역이라고 지적했다. 그녀는 "의료 진단에 사용되는 머신 러닝 알고리즘이 한 집단의 데이터에 대해 훈련되어 다른 집단에 대해 잘 수행되지 않으면 심각한 문제를 야기 할 수있다"고 말했다.

바이어스는 또한보다 미묘한 방식으로 해로울 수 있습니다. "작년에 나는 딸에게 이발을 가져갈 계획이었고 영감을 얻기 위해 '유아 이발'의 이미지를 온라인으로 검색했습니다."라고 Wortman은 말합니다. 그러나 반환 된 이미지는 거의 모든 백인 어린이, 주로 스트레이트 헤어, 그리고 놀랍게도 주로 소년이었습니다.

전문가들은이 현상을 "표상 적 피해"라고 부릅니다. 기술이 고정 관념을 강화하거나 특정 그룹을 축소시키는 경우. Wortman은“이러한 편견의 정확한 영향을 정량화하거나 측정하기는 어렵지만 이것이 중요하지 않다는 것을 의미하지는 않습니다.

AI 알고리즘에서 바이어스 제거

AI 편견에 대한 비판적 의미가 점차 커지면서 여러 조직과 정부 기관의 관심이 모아지고 있으며, 다양한 분야에서 AI 사용을 둘러싼 윤리적, 사회적 문제를 해결하기위한 긍정적 인 조치가 취해지고 있습니다.

AI 알고리즘에 크게 의존하는 제품을 보유한 Microsoft는 3 년 전에 사용자가 차별없이 AI 기반 서비스의 향상된 통찰력과 효율성을 누릴 수 있도록 AI (Fateness, Accountability, Transparency, Ethics in AI)라는 연구 프로젝트를 시작했습니다. 편견.

AI 조정 뷰티 컨테스트와 같은 경우 AI 알고리즘의 바이어스 된 동작의 소스를 찾아 수정하는 것이 훈련 데이터 세트에서 사진을 확인하고 변경하는 것만 큼 쉽습니다. 그러나 보스턴 대학교 연구원들이 조사한 단어 삽입 알고리즘과 같은 다른 경우에는 편견이 훈련 데이터에보다 미묘한 방식으로 세분화됩니다.

Microsoft 연구원 인 Adam Kalai와 합류 한 BU 팀은 성별 분류를 기반으로 단어 임베딩을 분류하고 잠재적으로 편향된 유사성을 식별하는 방법을 개발했습니다. 그러나 그들은 최종 결정을 내리지 않았고 아마존의 데이터 관련 업무를위한 온라인 마켓 플레이스 인 Mechanical Turk에서 10 명에 의해 의심되는 각 협회를 운영하여 협회의 제거 여부를 결정할 것입니다.

BU 교수이자 연구원 인 Saligrama는“우리는 프로세스에 우리 자신의 편견을 삽입하고 싶지 않았습니다. "우리는 방금 문제가있는 협회를 발견 할 수있는 도구를 제공했습니다. 인간은 최종 결정을 내 렸습니다."

보다 최근의 논문에서 Kalai와 다른 연구자들은 모든 사람에 대해 동일한 측정 값을 사용하는 대신 다른 그룹의 사람들을 분류하기 위해 별도의 알고리즘을 사용할 것을 제안했습니다. 이 방법은 기존 데이터가 특정 그룹에 유리하게 편향되어있는 도메인에서 효과적 일 수 있습니다. 예를 들어, 프로그래밍 작업에 대한 여성 지원자를 평가하는 알고리즘은 기존 편향의 영향을받는 광범위한 데이터 세트를 사용하는 대신 해당 그룹에 가장 적합한 기준을 사용합니다.

Microsoft의 Wortman은 AI 업계의 포괄 성이 알고리즘의 편견과 싸우는 데 필요한 단계라고 생각합니다. "우리는 AI 시스템이 특정 인구 통계뿐만 아니라 모든 사람에게 유용하기를 원한다면 회사는 AI를 위해 다양한 팀을 고용해야합니다."라고 그녀는 말합니다.

2006 년에 Wortman은 AI 산업에서 공부하고 일하는 여성들이 만나서 네트워크를 형성하고 아이디어를 교환하며 산업계 및 학계의 고위 여성들과 패널 토론에 참석할 수있는 연례 워크샵을 개최하는 WiML (Women in Machine Learning)의 설립을 도왔습니다. 이와 유사한 노력이 또 다른 Microsoft 연구원 인 Timnit Gebru가 설립 한 AI의 새로운 Black in AI Workshop입니다.

Boston University의 Bolukbasi는 AI 알고리즘이 문제를 해결하는 방식을 변경하도록 제안합니다. "알고리즘은 목표를 극대화하는 규칙 세트를 선택할 것입니다. 주어진 입력 출력 쌍에 대해 동일한 결론 세트에 도달하는 방법은 여러 가지가 있습니다." "인간에 대한 객관식 시험의 예를 들어보십시오. 잘못된 사고 과정으로 정답에 도달 할 수 있지만 그럼에도 불구하고 같은 점수를 얻습니다. 고품질의 시험은이 효과를 최소화하도록 설계되어야합니다. 사회적 제약을 인식하는 알고리즘을 만드는 것은 목표에 잘못된 규칙 세트를 배우는 것이 처벌되는이 예제와 유사하게 보일 수 있습니다 (정확하지는 않지만). 이야기."

AI의 불투명도는 공정성을 복잡하게합니다

AI 알고리즘을 공정하게 만드는 또 다른 도전은 "블랙 박스"현상입니다. 예를 들어 범죄 예측 소프트웨어 인 COMPAS 제조업체 인 Northpointe Inc.는 독점 알고리즘 공개를 거부했습니다. COMPAS의 내부 작업에 대한 특권을 가진 유일한 사람들은 판사들이 판사를 통과시키는 데 사용하는 것이 아니라 프로그래머입니다.

기업 비밀과는 별도로 AI 알고리즘은 너무 복잡해져 의사 결정의 이유와 메커니즘이 제작자조차도 피할 수 없습니다. 영국에서 더럼 경찰은 AI 시스템 HART를 사용하여 용의자가 2 년 안에 범죄를 저지를 위험이 낮거나 중간 정도인지 또는 높을지를 결정합니다. 그러나 HART의 2017 년 학술 리뷰에 따르면 "불투명도를 피하기 어렵다"고합니다. 이는 부분적으로 시스템이 사용하는 데이터의 양과 다양성으로 인해 결정의 원인을 분석하기가 어렵습니다. "이러한 세부 정보는 일반 대중에게 무료로 제공 될 수 있지만 완전히 이해하려면 많은 시간과 노력이 필요합니다."

여러 회사와 조직에서 출력 품질을 저하시키지 않으면 서 머신 러닝 알고리즘의 동작을보다 잘 이해할 수 있도록하는 GlassBox를 시작한 Google을 비롯하여 AI에 투명성을 제공하기 위해 노력하고 있습니다. 군대에서의 AI 사용을 감독하는 DARPA (Defense Advanced Research Projects Agency)는 AI 알고리즘이 의사 결정을 설명 할 수 있도록 노력하고 있습니다.

다른 경우에는 편견을 다루는 데 인간의 판단이 중요합니다. Durham Constabulary는 기존의 인종적, 사회적 인간 편견이 HART 알고리즘에 영향을 미치지 않도록 직원들에게 무의식적 편견에 대한 인식 세션을 제공했습니다. 경찰은 또한 인종적 특성과 같은 데이터 요소를 제거하기위한 조치를 취했으며 이는 편향된 결정의 근거를 만들 수 있습니다.

인간의 책임

AI 알고리즘은 다른 관점에서 우리 자신의 편견과 편견을 반영 할 수있는 기회를 제공 할 수 있습니다. 옥스포드 대학 (University of Oxford)의 데이터 윤리 및 알고리즘 연구원 인 산드라 워터 (Sandra Wachter)는“세계는 편향되어 있고, 역사적 데이터는 편향되어있다.

Wachter는 런던의 Alan Turing Institute와 옥스퍼드 대학교 (University of Oxford)의 연구팀의 일원으로 AI 알고리즘에 의한 차별 가능성을 조사하기 위해 규정과 기관을 요구하는 논문을 발표했다.

배스 대학교 (University of Bath)의 컴퓨터 과학자이자 알고리즘 편견에 관한 연구 논문의 공동 저자 인 조안나 브리 슨 (Joanna Bryson)은 또한 가디언 과의 인터뷰에서“많은 사람들이 인공 지능이 편견이 있다는 것을 보여주고있다”고 말했다. "편견이 있고 AI가 그것을 배우고있다"

2016 년 Microsoft는 사람으로부터 배우고 현명한 대화에 참여해야하는 Twitter 봇인 Tay를 출시했습니다. 그러나 Tay가 출시 된 후 24 시간 이내에 Microsoft는 인종 차별 주의자 의견을 공개하기 시작한 후 트위터 사용자와의 대화에서 포착 한 후 종료해야했습니다. 아마도 이것은 인간이 알고리즘 바이어스 현상의 평가와 전파에있어서 우리 자신의 역할을 인정하고 그 효과를 취소하기위한 집단적 조치를 취해야한다는 것을 상기시켜줍니다.

Wachter는“이것은 매우 복잡한 작업이지만 우리 사회가 멀어지지 않아야 할 책임이 있습니다.