자연어 기술, 홀로그램이 홀로 코스트 증언을 보존하는 방법

1990 년대에 USC Shoah 재단은 수천 명의 홀로 코스트 생존자와 화상 인터뷰를 실시하여 그들의 이야기를 잊을 수 없었습니다. 이 비영리 단체의 디지털 도서관에는 현재 53, 000 개의 비디오 간증이 있으며 최근 1994 년 르완다 투치 대량 학살, 1937 년 난징 대학살, 제 1 차 세계 대전과 일치하는 아르메니아 대량 학살을 목격 한 사람들의 간증을 포착하기 위해 확대되었습니다.

그러나 로봇과 가상 어시스턴트는 말할 것도없고 가상 현실과 증강 현실이 등장하는 시대에이 조직은 대화 형, 홀로그램과 같은 생존자들의 대화 형, 홀로그램 같은 표현을 통해 현대인의 간증을 포착하는보다 현대적인 방법을 모색하고 있습니다. 후대.

재단은 USC Institute of Creative Technologies (ICT) 및 Conscience Display와 협력하여 증언의 새로운 차원으로 알려진 프로젝트에 대해 협력하고 있습니다. 2012 년부터 진행되어 왔으며, 전 세계 박물관 및 학습 기관에서 제공 될 예정입니다. PCMag는 최근 캘리포니아의 플라 야 비스타를 방문하여 아우슈비츠 생존자 인 에바 코 (Eva Kor)가 사운드 스테이지에서 증언하는 것을 보았습니다.

USC Shoah 재단의 총괄 책임자 인 Stephen D. Smith 박사는 "핵 학살을 경험 한 사람들과 대화하고 증인으로부터 직접들을 수있는 기회를 원했다."

5 일 동안 Smith의 팀은 2 차 세계 대전이 시작된 8 살인 Kor를 인터뷰했습니다. "그녀의 답변을 기록함으로써, 우리는 미래 세대를위한 살아있는 자원을 만들 수있다"고 그는 말했다.

Conscience Display의 전무 이사 인 Heather Maio는 박물관과 교육 환경에서 ICT에서의 작업에 대해 배우기 전에 역사를 공유하기 위해 다양한 기술을 실험 해 왔습니다.

"두 대의 카메라 설정을 사용하여 3D로 테스트를했지만 홀로그램 기술에서 가장 먼 기술을 찾고있었습니다. 2010 년에 ICT를 발견하고 전체 프로젝트를 USC Shoah Foundation에 가져 왔습니다."

Maio는 전통적인 내러티브 간증을 넘어서고 싶었고 자연어 처리를 연구하기로 결정하여 박물관 방문객들은 기록 된 증인과 실제로 대화 할 수있었습니다.

많은 음성 인식이 여전히 개발 중에 있습니다. Maio는 "우리는 가장 큰 언어 대화 어휘와 구문을 가지고 있으며 문맥을 이해하기 때문에 가장 뛰어난 언어 소프트웨어 인 Google의 ASR (자동 음성 인식)을 연결했습니다"라고 말했다. "그러나 우리 목격자들은 제 2 차 세계 대전부터 오늘날 덜 사용되는 단어들, 특히 폴란드어와 이디시어 용어를 사용하고 있습니다. 그러나 저는 정말 빨리 배우고 새로운 단어를 선택하고 매일 더 많은 것을 이해하고 있습니다."

이제 디지털 캡처 스튜디오에 갈 시간이었습니다. 승무원은 공간의 3 분의 2에 걸쳐 녹색 스크린 배경막이있는 방대한 리그를 설정하여 인터뷰 대상자를 나중에 어떤 환경이나 배경으로 배치 할 수있었습니다.

이 팀은 112 대의 카메라가 장착 된 리그, Ximea MQ042MG-CM, Red Epic M Dragons 및 Panasonic HC-X900의 조합을 통해 360 도로 영화를 촬영합니다. Maio는 "이 프로젝트는 복잡한 프로젝트이므로 ICT는 Natural Language 팀이 만든 소프트웨어를 통합 한 편집 프로세스를 위해 Sony의 Vegas Pro에서 실행되는 사용자 지정 시스템을 개발했습니다."라고 말했습니다.

에바 코는 모든 사람을 제자리에두고 카메라 설정의 중심에 앉았습니다. Eva는 1984 년 CANDLES (Auschwitz Nazi Deadly Lab Experiments Survivors의 어린이)를 설립하고 1995 년에 CANDLES Museum을 열었 기 때문에 선택되었습니다. 현재 83 세이며 여전히 압정으로 날카 로워지는 방법에 대한 지침을주의 깊게 들었습니다 그녀의 몸통을 같은 위치에두면 나중에 디지털 렌더링이 연속성을 갖게됩니다. 그런 다음 실제 영화 세트와 같습니다.

"조용히 설정."

"소리!"

"롤 파나소닉."

"파나소닉을 모두 확인하십시오!"

"롤 레드."

"슬레이트주세요."

클래퍼 보드는 편집 팀에게 표기법을 제공하기 위해 쓰러졌습니다. 모든 사람들이 그 날의 대본을보고 스미스는 카메라 리그 외부의 마이크에 기대 었습니다.

"부모님은 히틀러와 직업에 대해 무엇을 말씀하셨습니까?" 그는 물었다.

Kor는 심호흡을했고, 루마니아 Transylvania의 한 마을에서 헝가리 군인들이 어떻게 가족의 작은 농장에 왔는지 자세히 설명했습니다.

증인 계정이 마련된 후 오디오 트리거가 적용되어 향후 청중이 다양한 방식으로 질문을하고 Kor로부터 코 탕트 한 답변을 얻을 수 있습니다. 이는 Kor가 소프트웨어가 응답을 올바르게 분류하고 의미 론적으로 키워드를 적용하도록하기 위해 다양한 방식으로 동일한 질문에 대답해야한다는 것을 의미했습니다.

시청자들로부터 가장 많은 감정을 불러 일으킨 질문은 아이들이 요구하는 종류였습니다. 사실 그들은 가지고있었습니다. 2, 000 개가 넘는 질문이 연구 시험에서 크라우드 소싱되었으며, 그 중 많은 사람들이 일상 생활의 세부 사항에 관한 것이 었습니다. Kor는 가족이 아우슈비츠로 데려 오기 전에 자라는 어린 시절의 기억을 회상했습니다. 그녀는 어머니의 요리, 학교에서의 괴롭힘 문제, 쌍둥이 자매 Miriam이 가장 좋아하는 애완 동물에 대해 설명했습니다.

에바와 미리 암은 쌍둥이이기 때문에 캠프에서 수행 된 끔찍한 실험의 일부가 둘 다 생존했기 때문입니다. 도착하자마자 나머지 가족은 살해당했습니다.

한 시간 동안 녹음 한 후 Kor는 휴식이 필요했습니다. 그래서 절차가 멈췄을 때 스미스는 우리를 완성 된 간증을 보여주기 위해 옆방으로 데려갔습니다. ICT의 출력을 통해 인터뷰 대상자는 2D HD, 3D, VR 또는 디스플레이 모니터 또는 장치를 통해 투사 할 수 있습니다.

랩톱에서 Smith는 브라우저 창을 띄 웠고 홀로 코스트 생존자 인 Pinchas Gutter가 있었고 그의 손은 다리에 부드럽게 껴안고 눈을 보며 우리를 기다렸습니다.

Smith는 손가락을 랩톱 키에 대고 거터가 반응하도록 트리거했습니다. 거터의 얼굴이 밝아졌습니다. 스미스는 질문을하고 손가락을 and 다. 거 터는 마치 마치 다른 도시에서 원격 회의에 앉아있는 것처럼 대답했다.

우리는 모두 다른 국적과 악센트를 가진 몇 가지 질문을했습니다. 그는 모든 것을 얻었고 격렬한 대답을했습니다. 설득력이있었습니다. 믿음의 정지가 완료되었습니다.

Eva Kor는 스튜디오에서 다음 100 개의 질문에 대한 준비가되었습니다. 모두가 다시 제출했습니다. 그러나이 프로젝트에서 놀라운 점은 Kor가 그녀를 물리계에 남겨둔 후 오랫동안 그녀에게 일어난 일에 대한 사람들의 질문에 대답 할 것입니다.