openai의 가짜 뉴스 경고가 실제 가짜 뉴스를 트리거 한 방법

비영리 AI 연구실 OpenAI는 지난 달 GPT-2라는 최첨단 텍스트 생성 AI를 도입하면서 AI 묵시적 공황의 물결을 일으켰습니다. 그러나 GPT-2의 성과를 축하했지만 OpenAI는 AI 모델을 대중에게 공개하지 않을 것이라고 선언했다. 잘못된 손으로 GPT-2는 오도하는 뉴스 기사 생성, 온라인으로 다른 사람을 사칭하는 등 악의적 인 목적으로 사용될 수 있다고 선언했다. 소셜 미디어에서 가짜 콘텐츠 제작을 자동화합니다.

예상대로 OpenAI의 발표로 엄청난 뉴스 기사가 생겨 났지만 고급 기술은 무기화 될 수 있지만 AI는 여전히 텍스트 생성을 마스터하기 전에는 아직 갈 길이 멀다. 그럼에도 불구하고 가짜 뉴스 위기를 일으키기 위해서는 텍스트 생성 AI 이상의 것이 필요합니다. 이러한 관점에서 OpenAI의 경고는 과장되었다.

AI와 인간 언어

컴퓨터는 역사적으로 인간의 언어를 다루는 데 어려움을 겪었습니다. 서면 텍스트에는 많은 복잡성과 뉘앙스가 있으므로 모든 것을 고전적인 소프트웨어 규칙으로 변환하는 것은 사실상 불가능합니다. 그러나 최근 딥 러닝 및 신경 네트워크의 발전으로 언어 관련 작업을 처리 할 수있는 소프트웨어를 만드는 다른 접근 방식이 마련되었습니다.

딥 러닝은 기계 번역, 텍스트 요약, 질문 답변 및 자연어 생성과 같은 분야에서 크게 개선되었습니다. 소프트웨어 엔지니어는 많은 예제를 분석하여 자체 동작을 개발하는 알고리즘을 만들 수 있습니다. 언어 관련 작업을 위해 엔지니어는 뉴스 기사, Wikipedia 페이지 및 소셜 미디어 게시물과 같은 신경망 디지털화 된 콘텐츠를 제공합니다. 신경망은 데이터를 신중하게 비교하고 특정 단어가 반복되는 순서로 다른 단어를 어떻게 따르는 지 기록합니다. 그런 다음 이러한 패턴을 복잡한 수학적 방정식으로 바꾸어 텍스트 시퀀스에서 누락 된 단어를 예측하는 등 언어 관련 작업을 해결할 수 있습니다. 일반적으로 딥 러닝 모델에 제공하는 양질의 교육 데이터가 많을수록 작업 수행시 성능이 향상됩니다.

OpenAI에 따르면 GPT-2는 8 백만 개의 웹 페이지와 수십억 개의 단어에 대해 훈련을 받았으며 이는 다른 유사한 모델보다 훨씬 더 많은 것입니다. 또한 고급 AI 모델을 사용하여 텍스트 패턴을 더 잘 적용합니다. GPT-2의 샘플 출력은 모델이 이전 모델보다 긴 텍스트 시퀀스에서 일관성을 유지 관리함을 보여줍니다.

그러나 GPT-2는 자연어 생성 분야에서 한 단계 발전한 반면, 텍스트 작성의 의미와 맥락을 이해할 수있는 AI를 만드는 데있어 기술적 인 혁신은 아닙니다. GPT-2는 알고리즘을 사용하여 이전에 보았던 수십억 개의 텍스트 발췌와 통계적으로 유사한 단어 시퀀스를 생성합니다. 생성되는 내용을 전혀 이해할 수 없습니다.

심층 분석에서 ZDNet의 Tiernan Ray는 GPT-2의 출력 샘플이 용어 복제, 논리 및 일관성 부족과 같은 잘 알려진 아티팩트로 인공 특성을 배신하는 몇 가지 사례를 지적합니다. "GPT-2가 더 많은 아이디어와 논리의 개발을 요구하는 글쓰기에 착수 할 때, 균열은 상당히 넓게 터져 나옵니다"라고 Ray는 말합니다.

통계 학습은 컴퓨터가 문법적으로 올바른 텍스트를 생성하는 데 도움이 될 수 있지만 논리적이고 사실적인 일관성을 유지하려면보다 심도 깊은 개념 이해가 필요합니다. 불행히도, 현재의 AI 혼합이 극복하지 못한 것은 여전히 ​​어려운 과제입니다. 그렇기 때문에 GPT-2가 훌륭한 텍스트 문단을 생성 할 수 있지만 확실한 긴 형식의 기사를 생성하거나 누군가를 설득력 있고 오랜 시간 동안 사칭하기는 어려울 것입니다.

AI 가짜 뉴스 패닉이 과장된 이유

OpenAI의 추론과 관련된 또 다른 문제: AI가 가짜 뉴스 위기를 일으킬 수 있다고 가정합니다.

2016 년에 마케도니아 청소년 그룹이 미국 대통령 선거에 관한 가짜 뉴스를 수백만 명의 사람들에게 퍼뜨 렸습니다. 아이러니하게도, 그들은 적절한 영어 능력조차 가지고 있지 않았습니다. 그들은 웹에서 자신의 이야기를 찾고 서로 다른 콘텐츠를 함께 바느질했습니다. 그들은 신뢰할 수있는 뉴스 소스로 방문자를 신뢰하도록 설득력이있는 웹 사이트를 만들었 기 때문에 성공했습니다. 감각적 인 헤드 라인, 태만 한 소셜 미디어 사용자 및 트렌드 알고리즘이 나머지를 수행했습니다.

그런 다음 2017 년에 악의적 인 행위자들이 카타르 국영 뉴스 웹 사이트와 정부 소셜 미디어 계정을 해킹하고 카타르의 Emir 인 셰이크 타밈 빈 하마드 알 타니를 대신하여 가짜 발언을 게시함으로써 페르시아만 지역에서 외교 위기를 촉발했습니다.

이 기사에서 알 수 있듯이, 가짜 뉴스 캠페인의 성공은 많은 양의 일관된 영어 텍스트를 생성하는 것이 아니라 신뢰를 확립하고 배신하는 데 달려 있습니다.

소셜 미디어에 게시하기 위해 가짜 콘텐츠 제작을 자동화하는 것에 대한 OpenAI의 경고는 더 중요합니다. 왜냐하면 규모와 볼륨이 전통적인 미디어 판매점보다 소셜 네트워크에서 더 중요한 역할을하기 때문입니다. GPT-2와 같은 AI는 특정 주제에 대한 수백만 개의 고유 한 게시물을 소셜 미디어에 넘칠 수 있으며 추세 알고리즘 및 공개 토론에 영향을 줄 수 있습니다.

그러나 여전히 경고는 현실에 미치지 못합니다. 지난 몇 년 동안 소셜 미디어 회사는 자동화 된 행동을 탐지하고 차단하는 기능을 지속적으로 개발해 왔습니다. 따라서 텍스트 생성 AI로 무장 한 악의적 인 행위자는 고유 한 컨텐츠를 만드는 것 이상의 여러 가지 문제를 극복해야합니다.

예를 들어 AI 제작 콘텐츠를 게시 할 수있는 수천 개의 가짜 소셜 미디어 계정이 필요합니다. 더욱 어려워 가짜 계정을 연결할 방법이 없도록하려면 각 계정마다 고유 한 장치와 IP 주소가 필요합니다.

상황이 더 나빠짐: 유사성을 줄이기 위해 계정을 다른 시간에 (가능하면 1 년 이상) 만들어야합니다. 작년 뉴욕 타임즈 조사에 따르면 계정 생성 날짜만으로도 봇 계정을 발견하는 데 도움이 될 수 있습니다. 그런 다음 다른 사용자 및 정책 알고리즘에서 자동화 된 특성을 더욱 숨기려면 계정이 다른 사용자와 상호 작용하고 게시물에 고유 한 톤을 설정하는 등 인간과 같은 행동을 취해야합니다.

이러한 도전 중 어느 것도 극복 할 수는 없지만, 컨텐츠는 소셜 미디어 가짜 뉴스 캠페인에서 수행하는 데 필요한 노력의 일부일뿐입니다. 그리고 다시, 신뢰는 중요한 역할을합니다. 가짜 뉴스 게시물을 올리는 신뢰할 수있는 소셜 미디어 영향력있는 사람은 많은 양의 콘텐츠를 생성하는 알려지지 않은 계정보다 큰 영향을 미칩니다.

OpenAI의 경고 방어

OpenAI의 과장된 경고는 허위 뉴스 자체에 접어 들면서 언론의 과대 광고와 공황의 순환을 일으켰으며, 유명한 AI 전문가들로부터 비판을 받았습니다.

그들은 언론인들에게 결과를 조기에 접할 수 있도록 요청했고 언론은 금수 조치를 취했으며 같은 날 모두 공개되었습니다. 내가 아는 연구원은 큰 모델을 보지 못했지만 언론인은 그랬다. 예, 그들은 의도적으로 그것을 폭파했습니다.

- Matt Gardner (@nlpmattg) 2019 년 2 월 19 일

모든 새로운 인간은 잠재적으로 가짜 뉴스를 생성하고 음모론을 전파하며 사람들에게 영향을 줄 수 있습니다.

아기를 그만 두어야합니까?

- Yann LeCun (@ylecun) 2019 년 2 월 19 일

우리 실험실은 언어 이해에있어 놀라운 돌파구를 찾았습니다. 그러나 우리는 그것이 잘못된 손에 넘어 질 수도 있다고 걱정합니다. 그래서 우리는 그것을 폐기하기로 결정하고 대신에 일반 * ACL 자료만을 게시하기로 결정했습니다. 그들의 위대한 일에 대한 팀의 큰 존경.

- (((? () (? () 'yoav)))) (@yoavgo) 2019 년 2 월 15 일

인공 지능 연구원이자 대략적인 편집인 인 Zachary Lipton은 OpenAI의 "블로그를 사용하고 미성숙 한 작업에 대한 대중의 견해에 대한 관심을 크게 끌고, 아직 지적하지 않은 작업의 인간 안전 측면을 종종 재생한다"고 지적했습니다. 다리를 세우십시오."

비록 OpenAI가 오해의 소지가 났을 때받은 비판과 열을 모두받을 자격이 있지만, 회사가 무책임한 방법으로 대중에게 교육을 제공하더라도 기술의 악의적 인 사용 가능성에 대해 진정으로 걱정하는 것도 옳습니다.

• AI 산업의 윤리적 해의 해 AI 산업의 윤리적 해의 해
• 불공평 한 이점: 인공 지능이 인간처럼 재생 될 것으로 기대하지 않음 불공정 한 이점: 인공 지능이 인간처럼 재생 될 것으로 기대하지 마십시오
• 이 AI는 온라인 트롤링이 발생하기 전에 예측합니다.이 AI는 온라인 트롤링이 발생하기 전에 예측합니다.

지난 몇 년 동안, 우리는 AI 기술이 어떻게 생각과 반성없이 대중에게 공개되어 악의적 인 의도를 위해 무기화 될 수 있는지를 보았습니다. 한 가지 예는 비디오에서 얼굴을 바꿀 수있는 AI 응용 프로그램 인 FakeApp입니다. FakeApp이 출시 된 직후에는 유명인과 정치인이 등장하는 가짜 포르노 비디오를 제작하여 AI 기반 위조의 위협에 대한 우려를 일으켰습니다.

OpenAI의 결정에 따르면 공개적으로 공개 된 기술의 파급 효과에 대해 잠시 멈추고 생각해야합니다. 그리고 우리는 AI 기술의 위험에 대해 더욱 적극적으로 논의해야합니다.

데이비드 바우 (David Bau)는“한 조직이 특정 프로젝트를 일시 중지해도 장기적으로는 변화가 없을 것입니다. 그러나 OpenAI는 그들이하는 모든 일에 많은 관심을 기울이고 있습니다.”라고 말했습니다. MIT의 컴퓨터 과학 및 인공 지능 연구소 (CSAIL)의 연구원은 슬레이트에 말했다.