Unity: 지능형 에이전트를 위한 일반 플랫폼_1

https://arxiv.org/pdf/1809.02627.pdf

오늘은 이 논문을 읽어보려고 합니다.

 

이 논문은 유니티 ml-agent를 개발하신 분들이 논문을 작성하신거 같아서 읽게되었습니다.

내용은 당연하게도 ml-agent에대한 내용입니다.

 ml-agent는 환경과 에이전트의 상호작용하기 좋은 환경인 게임 엔진으로 현실적이고 복잡한 시뮬레이션 환경을 제공하려고 노력해왔습니다.  

목차 1에서는 소개이니 넘기도록 하겠습니다.

 

2. 환경 및 시뮬레이터 내부

이 세션에서는 환경과 시뮬레이터의 대해 설명해주고 있습니다 여기서 환경 및 시뮬레이터라는 것은 유니티 게임 엔진을 말하는 거 같습니다.

 

2.1 환경 속성

알고리즘이 점점 더 어려워지는 작업을 해결할 수 있는 환경의 복잡성 의미 있는 과제를 계속하려면 스스로 성장한다고 생각했던거 같습니다. 구체적으로 환경 복잡성에 필요한 요소는 센서, 물리, 에이전트 활동 논리, 그리고 소셜입니다

 

• 센서의 복잡성: 딥러닝의 발전은 크게 많은 양의 시각, 청각 및 텍스트를 처리하는데 초점을 두고 있습니다. 
• 물리적 복잡성:  연구원들이 해결하고자 하는 많은 응용과제 AI에는 풍부한 감각 정보뿐만 아니라 풍부한 제어체계가 포함됩니다. 에이전트는 복잡한 방식으로 동적 환경과 상호 작용 할 수 있습니다. 복잡한 상호작용의 필요성은 종종 대상 도메인의 물리적 속성을 복제하는 환경, 세계에서 요구되고 있습니다. 이러한 현실성은 학습된 정책을 전달하는 것이 목표인 문제에 필수적입니다.
• 작업 논리 복잡성: 예를 들어 오랫동안 AI의 테스트베드 역할을 해 온 바둑게임 연구에는 복잡한 시각적 요소나 복잡한 물리적 상호 작용이 포함되지않지만 오히려 복잡성은 주어진 시간안에 에이전트에게 열려있는 가능성의 넓은 검색 공간에서 비롯됩니다.
• 사회적 복잡서예: 포유류에서 학습을 통해 복잡한 기술을 습득하는 것은 관계를 유지하는 능력과 함계 진화했다고 믿어지고 있습니다. 

2.2 시뮬레이션 속성

위 속성 외에도 시뮬레이터에 의해 부과되는 실질적인 제약이 있습니다. 실험을 위한 환경을 설계할 때 고려해야하는 자체. 구체적으로 시뮬레이션 환경은 연구원이 유연하게 제어해야하며, 필요한 반복 시간을 제공하기 위해 빠르고 분산된 방식으로 실행되어야 합니다.

• 빠르고 분산된 시뮬레이션 : 분석법의 샘플 효율성에 따라 다릅니다. 사용되는 최신 기계학습 알고래ㅣ즈ㅜㅁ은 종종 수십억개의 샘플이 요구됩니다. 따라서 가능한 빨리 해당 데이터를 수집하는 능력이 가장 중요합니다.
• 유동적인 컨트롤 :  시뮬레이터는 또한 연구원 또는 개발자가 유연하게 개발 및 개발 중 시뮬레이션 자체의 구성에 대한 제어 수준, 시뮬레이션을 블랙박스로 취급하는 것은 특정 작업에 대해 충분합니다.  

 

 ml-agent를 사용할 때 필요한 요소들을 살펴보았고 다음 장에서 기존 시뮬레이터가 어땠는지 나와있는데 다음에 살펴보도록 하겠습니다