차례:
비디오: IBM Watson: Using the Conversation service! (Pizza Helper/Chatbot) (십월 2024)
대학은 언어 학습에서 먼 길을 걸어 왔으며 강의실에서 전통 수업을 넘어서고 상호 작용없이 미리 녹음 된 수업을 진행했습니다. 이제 학생들은 몰입 형 학습 환경에서 인공 지능 (AI) 및 자연어 처리 (NLP)와 같은 기술에 액세스 할 수 있습니다. 이것이 뉴욕 트로이의 Rensselaer Polytechnic Institute (RPI) 캠퍼스에있는인지 및 몰입 형 시스템 연구소 (CISL)에서 일어나고있는 일입니다. 연구소가 IBM Research와 협력하여 학생들이 거리 시장과 식당이 포함 된 환경에서 AI 에이전트와 상호 작용하는 6 주 여름 과정을위한 기술을 개발했습니다.
"AI-Assisted Immersive Chinese"라는 제목의 코스는 실험실의 CIR (Cognitive Immersive Room)에서 컴퓨터로 생성 된 장면의 360도 파노라마 디스플레이 시스템을 특징으로하며 "상황 실"이라고도합니다. 가상 장면은 중국에서 이루어집니다. 학생들은 Watson Assistant가 제공하는 아바타와 대화하고 말하기와 발음을 수정합니다. CIR에서 학생들은 대화식 인공 지능, 내러티브 생성, 공간 상황 인식, 제스처 및 얼굴 인식 기술을 사용합니다.
CIR은 교육뿐만 아니라 여러 산업 분야에서 IBM Watson의 다양한 잠재력을 보여주는 예입니다. 이러한 산업에는 농업, 인적 자원 (HR) 및 차량 관리가 포함됩니다.
RPI에서 Watson Assistant 외에도 학생들은 Watson Speech to Text, Watson Text to Speech 및 Language Translator를 학습에 사용합니다.
학생들은 RPI 캠퍼스에서 AI를 사용하여 만다린을 배웁니다. (이미지 크레디트: IBM Research / RPI)
적극적인 학습 경험
RPI의 후배 인 줄리안 For (Julian Wong)에게 몰입 형 AI 경험은 만다린을 배울 수있는보다 적극적인 방법을 제공하기 때문에 매력적인 방법이었습니다. 만다린은 음조의 변화가 단어의 의미를 바꿀 수있는 음조 언어이기 때문에 AI 경험의 아바타는 소리에 대한 피드백을 제공하여 Wong과 다른 학생들이 정확한 발음을 얻도록합니다.
Wong에 따르면 CIR에서 AI와 함께 일하면 정규 수업 시간과 균형이 잘 맞습니다. "컴퓨터와 대화를 나눌 때… 언어를 배우는 많은 측면, 특히 언어 기술을 확실히 도울 수있다"고 Wong은 말했다.
Wong의 만다린 수업은 일주일에 4 번입니다. 월요일과 금요일에 그는 RPI의 부교수 Helen Zhou와 함께 전통적인 교실 수업에 참석합니다. 거기서 그는 새로운 어휘를 배우고 구와 문법 구조를 소개합니다. 화요일과 목요일에이 수업은 CIR에서 만나 학생들이 가상 에이전트와 대화를 나눕니다. Wong은 식당 환경에서 학생들은 식당에 앉아 메뉴를보고, 음식을 주문하고, 음식 준비 방법에 대해 웨이터와 이야기하고, 청구서를 지불하는 전체 과정을 거칠 수 있다고 말했다. 다른 환경으로는 정원, 시장 및 학교 캠퍼스가 있습니다.
Zhou에 따르면 몰입 형 강의실의 만다린 수업은 언어와 비디오에 대한 다양한 경험을 제공하기 때문에 전통적인 환경과 다릅니다. 그녀는 전통적인 수업이 덜 몰입적이고 대화식이 될 것이라고 말했다. Zhou 교수는“몰입 형 교실에서의 시뮬레이션에서 학생들과 제품을 구매하도록 설득하기 위해 서로 싸우는 두 명의 요원이 있습니다. "따라서 학생들은 비디오를 보거나 강의를 듣는 것이 아니라 개인적인 경험으로 이해할 것입니다. 교과서에서 배우거나 테이프를 듣는 것보다 더 쉽게 문화를 선택할 수 있다고 생각합니다."
CIR에서 학생들은 상호 작용 한 장면과 관련된 퀴즈를 풀고 손을 들어 대답합니다. 실내 카메라의 컴퓨터 비전 기술이 제스처를 포착합니다. AI 보조원은 장면과 관련된 퀴즈를 제공하며 학생들은 중국어로 된 구절로 답변해야합니다.
"화면에있는 팝업 중 하나를 선택하려면 손바닥을 벌리고 손을 can 수 있습니다."Wong은 설명했습니다. "커서가 현재 켜져있는 것을 선택합니다. 작은 퀴즈의 경우 정답이 무엇인지 알고 있다면 선택한 문자로 손을 옮긴 다음 손을 닫아 선택할 수 있습니다. "올바른지 알려줄 것입니다."
가상 에이전트는 마이크를 입 가까이에 두지 않는 경우를 제외하고 대부분의 시간을 학생들을 이해합니다. 이 시스템에는 발음이 다른 학생을 픽업하는 다른 음성 인식 설정이 있습니다. 또한 교수가없는 경우 대화에서 즉각적인 피드백을 제공합니다. 각자의 시간에 Mandarin 수업의 학생들은 연습 할 음성 클립에 액세스하기 위해 웹 사이트를 방문합니다.
RPI에서의 몰입 형 경험의 멋진 기능은 공간 컨텍스트 인식으로, 화면의 여러 가상 에이전트가 어떤 가상 에이전트와 눈을 마주 치고 있는지 알 수 있습니다. "한 상담원을 보면서 무언가를 말하면 다른 상담원이 아닌 해당 상담원이 응답합니다."Wong은 말했습니다.
학생은 RPI에서 Mandarin 클래스의 일부로 IBM Watson 제스처 및 얼굴 인식 기술을 사용합니다. (이미지 크레디트: IBM Research / RPI )
몰입 형 경험 개발 방법
RPI에서의 몰입 경험은 언어 교수와 게임 디자인 교수가 언어를 가르치는 더 나은 방법을 논의하기 위해 만났을 때 만들어졌습니다. IBM Research의인지 사용자 경험 담당 이사이자 CISL 담당 이사 인 Hui Su에 따르면 롤 플레잉 게임 개발 계획은 곧 실제 시나리오 시뮬레이션을 통해 Mandarin을 가르치는 방법에 대한 논의로 이어 졌다고합니다. IBM과 RPI는 2015 년 말에 코스 개발을 시작했으며 당시 공동 연구소를 설립했습니다. 그런 다음 CISL이 곧 구체화되었습니다.
"실험실의 목적은 학습 및 의사 결정과 관련하여 그룹 활동을 개선하고 그룹 인텔리전스를 향상시키기 위해인지 및 몰입 형 환경을 구축하는 것입니다." "우리는 또한 중요한 상황의 데이터를보고 정보를 이해하고 의사 결정자를위한 결정 또는 권고를 작성하기 위해인지 몰입 형 회의실을 만드는 데 중점을 둡니다."
AI 언어 학습 프로그램의 일환으로 IBM과 RPI는 피치 윤곽 분석을 실험하고 있습니다. Su는이 기술의 작동 방식을 설명했습니다. "음절을 말할 때 음절을 발음하면 기본 기술이 음성을 포착하여 음절을 발음하는 방법을 시각적으로 보여줍니다." "그런 다음 시각적 윤곽선을 사용하고 시각적 윤곽선을 원어민의 시각적 윤곽선과 비교합니다."
그런 다음 학생들은 발음을 조절하여 올바른 톤에 도달 할 수 있습니다. 그들은 특정 음절의 발음을 바꿔야한다는 것을 배웁니다. Su 씨에 따르면 학생들이 Watson 기술을 사용하는 몰입 형 교실에서 Mandarin을 배우면 얻을 수있는 지식을 통해 실제 생활에서 더 많은 대화를 할 수 있습니다.
"전체 아이디어는 학생들이 실습을 할 수 있도록 몰입 형 환경과 AI 기술을 통해 충분한 문화적 맥락을 제공하는 것입니다." "따라서 그들은 실제 사람들과 대화하는 것과 같은 두려움이 없을 것입니다."
학생은 IBM Watson 기술을 사용하여 가상 레스토랑 환경에서 Mandarin을 연습합니다. (이미지 크레디트: IBM Research / RPI )
기술 산업과 학계의 다리
IBM과 RPI는 IBM 연구원과 교직원 간의 교량을 구축 할 수 있으며, IBM은 캠퍼스에 연구원, 즉 Su를 포함시킵니다. 한편 RPI의 교수 인 Zhou는 교실에서 몰입 형 경험을 향상시키는 방법에 대한 디자이너, 사용자 및 교사에게 피드백을 제공합니다.
"나는 학생들에게보다 자연스러운 교실을 제공 할 수 있도록 디자인을 디버그하거나 개선하기 위해 즉각적인 피드백을 제공해야한다"고 Zhou는 말했다. "따라서 많은 작업이 필요하지만 그만한 가치가 있습니다."
언어 학습의 미래
- 2019 년 최고의 언어 학습 소프트웨어 2019 년 최고의 언어 학습 소프트웨어
- IBM, 여러 산업 분야에서 사전 훈련 된 Watson AI 도구 출시 IBM은 여러 산업 분야에서 사전 훈련 된 Watson AI 도구 출시
- AI가 실제로 우리 언어를 말하는가? AI가 실제로 우리 언어를 말하는가?
Zhou에 따르면 이러한 유형의 몰입 형 환경은 실제와 같은 겉보기 환경을 제공 할 수 있기 때문에 가치가 있습니다. Zhou는 "AI 몰입 형 환경은 학생들의 말하기와 듣기 능력을 향상시킬뿐만 아니라 실제 상황에서 그 언어를 사용하는 실용성을 향상시킬 수있다"고 말했다. "그러므로 AI는 강사로서 저에게 더 이상적입니다. 따라서 학생들은 초급 학습자에게도 외국으로 여행하지 않고도 언어를 일찍 사용할 수 있습니다."
RPI에서 제공되는 것과 같은 멀티 모달 학습 환경은 교실에서 AI의 역할을 확장 할 것입니다. AI가 가상 에이전트를 통해 제공하는 경험을 통해 학생들은 필요한 언어 기술을 사용하여 실제 세계의 다양한 시나리오를 해결할 수 있습니다.
