스튜어드 러셀의 인공지능을 읽어보자(12) : 부분 관찰 가능 환경의 검색

오랜만입니다 ㅠㅠ 많이 늦었죠..? 다시 열심히 하도록 하겠습니다.

 

저번 글 

https://startagainbornagain.tistory.com/99

스튜어드 러셀의 인공지능을 읽어보자(11) : 비결정론적 동작들을 수반한 검색

참고해주시고 이제 시작하겠습니다.

 

이제 부분 관찰 가능성의 문제를 살펴보도록 하겠습니다. 이 경우 에이전트의 지각들만으로는 정확한 상태를 결정할 수 없습니다. 이전 절의 도입부에서 언급했듯이, 만일 에이전트가 여러 가능한 상태 중하나에 있다면, 비록 환경이 결정론적이라고 해도 하나의 동작은 여러 가능한 결과 중 하나로 이어집니다. 이런 부분 관찰 가능한 물리적 상태들에 관한 에이전트 자신의 믿음을 나타냅니다. 이번 절에서는 우선 믿음 상태(belief state)의 연구를 위한 가장 간단한 시나리오에 해당하는, 에이전트에 감지기가 전혀 없는 상황을 살펴봅니다. 그런 다음에는 부분적인 감지 능력과 비결정론적 동작들을 추가합니다.

 

관찰 없는 검색

에이전트의 지각들이 아무런 정보도 제공하지 않는 문제를 가리켜 무감지기(sensorless) 문제 또는 순응(conformant) 문제라고 부릅니다. 무감지기 에이전트는 자신이 어떤 상태에 있는지 알지 못하므로 문제를 풀 가망이 없다고 생각하는 독자도 있을 것입니다. 그러나 무감지기 문제를 풀 수 있는 경우가 꽤 많습니다.

게다가 무감지기  에이전트가 놀랄 만큼 유용 할 수 있는데, 기본적으로 이는 그런 에이전트들이 감지기에 의존하지 않고도 제대로 작동할 수 있기 때문입니다. 예를 들어 제조 시스템에는 초기 위치가 알려지지 않은 상황에서 아무런 감지 없이 일련의 동작들을 이용해서 부품의 방향응 정확히 조정하는 독창적인 방법들이 많이 개발되어 있습니다. 감지에 비용이 많이 든다는 점도 감지를 피하는 또 다른 이유입니다. 예를 들어 의사들은 값비싼 혈핵 검사를 수행하고, 그 결과를 기다리고, 그런 다음에야 좀 더 구체적인 항생제를 처방하거나 입원을 지시하는 대신 그냥 대체로 잘 듣는 광범위한 항생제를 처방하는 경우가 많습니다

 

본 이미지 출처는 그저 사진 참고만을 위해 사용되었습니다(https://m.health.chosun.com/svc/news_view.html?contid=2021021902369)

이는 검사 결과를 기다리는 동안 감염이 너무 많이 진행 될 수 있기 때문입니다.

(아시다시피 제 블로그는 좀 더 넓게 많은 사람들이 인공지능 기초를 알 수 있게 함과 더불어 만약 이 책에 관심이 더 생기게 하여 이 책을 자세히 읽게 하기 위해 몇몇 내용은 생략합니다. 이 점 유의 하셔서 읽어주시기 바랍니다.)

 

무감지 문제를 풀 때는 물리적 상태가 아니라 믿음 상태들의 공간을 검색합니다. 믿음 상태 공간에서 문제는 완전 관찰 가능임을 주목하여 주세요 에이전트는 항상 자신의 믿음 상태를 알고 있기 때문입니다. 더 나아가서, 해답은(있다면) 항상 하나의 동작열입니다.

보통의 문제에서 처럼, 각 동작 이후 받을 지각들을 완전히 예측할 수 있기 때문입니다. 지각들의 집합은 항상 공집합입니다. 따라서 계획해야 할 우발 사건은 존재하지 않습니다. 이는 환경이 비결정론적이라도 참입니다.

 

• 믿음 상태들: 전체 믿음 상태 공간은 모든 가능한 물리적 상태들의 집합을 담습니다.
• 초기 상태: 일반적으로 모든 상태가 초기 상태 일 수 있으나 때에 따라서는 에이전트가 초기 상태에 관한 좀 더 구체적인 지식을 가질 수도 있습니다.
• 동작들: 이는 다소 까다로운데 에이전트가 믿음 상태에 있어도 에이전트는 어떤 동작이 적법한지 확실히 알 수 없습니다.

반면 어떤 적법하지 않은 동작 때문에 세계가 종말을 맞을 수도 있다면 교집합 즉 모든 상태에서 적법한 동작들의 집합만 취하는 것이 안전할 것입니다.

• 언지 모형; 에이전트는 믿음 상태의 어떤 상태가 진짜 상태인지 알지 못합니다. 에이전트는 단지 어떤 동작을 적용하면 믿음 상태에 있는 물리적 상태 중 하나에 동작을 적용해서 나오는 모든 상태 중 하나에 도달 할 수 있음을 알 뿐입니다. 독장 수행 이후 새 믿음 상태를 생성하는 공정을 예측(prediction)단계라고 부릅니다.
• 목표 판정: 에이전트는 확실히 작동하는 계획을 원합니다. 이를 위해서는 한 믿음 상태의 모든 물리적 상태가 테스트 목표를 만족할 때에만 그 믿음 상태가 목표를 만족함이 보장되어야 합니다. 에이전트가 그보다 일찍 우현히 목표를 달성할 수도 있으나, 우연히 목표에 달성했음을 알지는 못합니다.
• 경로 비용: 이 역시 까다롭습니다. 같은 동작의 비용이 상태에 따라 다를 수 있다면, 주어진 한 믿음 상태에서 어떤 동작을 취하는 비용은 여러 값 중 하나일 수 있습니다. 일단 지금은 한 동작의 비용이 모든 상태에서 동일 하며, 따라서 바탕 물리적 문제로부터 비용을 직접 가져올 수 있다고 가정합니다.

관찰 있는 검색

일반적인 부분 관찰 가능 문제에서는 환경이 에이전트를 위해 지각들을 생성하는 방식을 정의 해야합니다. 예를 들어 에이전트에 위치 감지기와 국소 먼지 감지기가 있지만 다른 칸의 먼지를 검출하는 감지기는 없는 '국소 감지' 진공청소기 세계를 정의할 수 있을 것입니다.

형식적인 문제 명세에는 주어진 상태에서 받은 지각을 돌려주는 PERCEPT(S)함수가 포함됩니다

• 예측 시기에는 무감지기 문제에서와 같습니다. 즉, 믿음 상태 B에서 동작 A를 수행할 때 의 예측된 믿음 상태 b^ = PERCEPT(S)가 됩니다.
• 관찰 예측(observation prediction) 시기에는 예측된 믿음 상태에서 관찰 할 수 있는 지각들의 집합을 결정합니다.

각각의 갱신된 믿음 상태 b는 예측된 믿음 상태 b^보다 클 수 없음을 주목하기 바랍니다.

관찰은 무감지기의 경우보다 불확실성을 줄이기만 합니다. 더 나아가서, 결정론적 감지의 경우 서로 다른 가능한 지각들의 믿음 상태들은 서로소(disjoint) 입니다. 이들은 원래의 예측된 믿음 상태들의 한 분할(partition)을 형성합니다.

 

부분 관찰 가능 문제 풀기

앞에서 비결정론적 믿음 상태 문제를 위한 결과 함수를 바탕 물리적 문제와 예측 함수로부터 이끌어 내는 방법을 보았습니다. 그런 형식화가 주어졌다면, AND-OR 검색 알고리즘을 직접 적용해서 해답을 도출 할 수 있습니다.

AND-OR 검색 알고리즘을 믿음 상태 문제에 적용했기 때문에 실제 상태가 아니라 믿음 상태를 판정하는 조건부 계획이 나왔음을 주의하기 바랍니다. 이것은 그래야 마땅한 결과입니다. 부분적으로 관찰 가능한 환경에서 에이전트는 실제 상태의 판정을 요구하는 해답을 실행할 수 없기 때문입니다.

 

푠준 검색 알고리즘을 무감지기 문제에 적용할 때와 마찬가지로, AND-OR 검색알고리즘은 믿음 상태를 여타의 상태처럼 블랙박스로 취급합니다. 무감지기 문제에서처럼, 이 부분은 이전에 생성된 믿음 상태들 중 현재 상태의 포함집합 또는 부분집합에 해당하는 믿음 상태들을 점검해서 개선할 수 있습니다.

또한 무감지기 문제에 대해 설명했던 점진적 검색 알고리즘에 해당하는 버전을 고안하는 것도 가능합니다.

그러면 블랙박스 접근방식보다 속도를 훨씬 높일 수 있을 것입니다.

 

부분 관찰 가능 환경을 위한 에이전트

부분 관찰 가능 환경을 위한 문제 해결 에이전트의 설계는 단순한 문제 해결 에이전트와 비슷합니다. 에이전트는 문제를 형식화하고, 검색 알고리즘을 호출해서 해답을 얻고, 그 해답을 실행합니다.

주된 차이점은 두 가지입니다. 첫째로, 문제에 대한 해답은 동작들의 순차열이 아니라 조건부 계획입니다.

부분 관찰 가능 환경에서 에이전트의 믿음 상태를 유지하는 것은 모든 지능 시스템의 핵심 기능입니다. 그러한 기능을 일컫는 용어는 감시(monitoring), 필터링(filtering), 상태 추정(state estimation) 등으로 다양합니다.

재귀적 상태 추정기(recursive state estimator)에 해당하는 것인데 '재귀적'이라는 이름이 붙은 것은 이 공식이 전체 지각열을 조사하는 것이 아니라 이전 지각하나를 이용해서 새 믿음 상태를 계산하기 때문입니다. 만일 에이전트가 "뒤처지지 않았다면", 계산은 지각이 들어오는 즉시 일어납니다.

환경이 좀 더 복잡해지면 정확한 갱신 계산이 불가능해질 수 있습니다.

그러면 에이전트는 근사적인 믿음 상태를 계산해야 합니다. 이때, 필요하다면 현재 관심이 있는 환경의 측면들에 대한 지각이 미치는 영향에만 초점을 둘수도 있습니다. 이 문제에 대한 대부분의 연구는 확률론적인 연속 상태 환경을 대상으로 이루어졌습니다.

 

오늘은 글이 많았네요 다음 시간은 그림 사진을 늘리도록 하겠습니다.

다음은 온라인 검색 에이전트와 미지 환경을 하도록 하겠습니다