스튜어드 러셀의 인공지능을 읽어보자(13) : 온라인 검색 에이전트와 미지 환경

저번 글

https://startagainbornagain.tistory.com/104

스튜어드 러셀의 인공지능을 읽어보자(12) : 부분 관찰 가능 환경의 검색

 

 

지금까지는 오프라인 검색(offline search) 알고리즘을 사용하는 에이전트들에 초점을 두었습니다. 그런 에이전트는 실제 세계에 발을 들여놓기 전에 먼저 완전한 해답을 계산하고, 그런 다음에야 해답을 실행합니다. 반면 온라인 검색(online search) 에이전트는 계산과  동작을 교대로 실행합니다.(interleave) 즉, 동작 하나를 실행하고, 환경을 관찰하고, 다음 동작을 계산하는 식으로 진햅합니다. 온라인 검색은 동적 또는 준 동적 영역, 즉 한 곳에서 앉아서 너무 오래 계산하면 불이익이 생기는 환경에서 유용합니다. 온라인 검색은 비결정론적 영역에서도 도움이 되는데, 이는 에이전트가 발생할 수도 있지만 실제로는 발생하지 않는 우발 사건이 아니라 실제로 발생하는 우발 사건에 계산 노력을 집중할 수 있기 때문입니다. 물론 여기에는 절충 관계가 존재합니다. 에이전트가 더 멀리 내다보고 계획할수록 진퇴양난에 빠질 위험이 줄어듭니다.

온라인 검색은 알려지지 않은 환경(미지 환경), 즉 어떤 상태들이 있고 어떤 동작들이 가능한지를 에이전트가 알지 못하는 환경에 꼭 필요한 착안입니다. 에이전트는 탐험 문제(exploration problem)에 처하게 되며, 반드시 자신의 행동들을 실험으로 사용해서 이후 계획을 수립하기에 충분한 지식을 획득해야 합니다.

온라인 검색의 대표적인 예는 새로운 건물에 배치된 로봇이 지도를 구축하기 위해 건물을 탐험하는 것입니다.

.

 

온라인 검색 문제는 읽어 보니 강화 학습과 비슷하네요! 그리고 앞서 말했듯이 실시간으로 검색을 하기 때문에 앞에서 말했던 국소 검색과 같은 것에서 단지 온라인이라는 기능만 추가된 느낌이라 더 길게 설명은 안 하도록 하겠습니다.

다음에는 대항 검색에 대해 알아보도록 하겠습니다.