사용자가 구매한 특정 브랜드의 화장품에 대한 정보(예: "아르마니 립스틱")를 초기 상태로 설정합니다.
상위 레벨 추상화 상태 정의:
"아르마니 립스틱"이라는 하위 레벨 상태를 "럭셔리 화장품 브랜드"와 같은 상위 레벨 상태로 추상화합니다.
상위 레벨 정책 학습:
상위 레벨에서 "럭셔리 화장품 브랜드"에 대한 사용자 관심사를 학습합니다.
이를 통해 "사용자는 럭셔리 브랜드를 선호한다"는 상위 레벨 정책을 설정합니다.
하위 레벨 정책 학습:
상위 레벨 정책을 바탕으로 하위 레벨에서 "아르마니 립스틱"과 관련된 더 구체적인 제품 추천 정책을 학습합니다.
상위 레벨 지식을 활용하여 하위 레벨의 복잡도를 줄이고, 더 빠르게 수렴합니다.
3.1.1 에 두번째 방식이라고 나온 설명 보충 설명
내가 이해한 바로는 ... low-level KG에서 PGPR같은 single-level reasoning method를 사용해서 경로를 추출을 함. 그리고 그 경로에 엔티티와 relation이 있을건데, 각 엔티티를 \(r_{ISA}\) 관계를 기반으로 상위 레벨(\(l\)) kg로 노드를 연결을 함. 그리고 상위 레벨 kg에서 하위 경로랑 연결된 노드들에 대해 하위 경로랑 동일한 relation으로 이어주는거임. 그렇게 상위 레벨에서 경로 추출을 하고, 그렇게 만들어진 경로가 \(\hat{\mathcal{G}}^l\)가 되는거임.
그리고 이 경로를 기반으로 상위 레벨 MDP를 다시 정의하고, 여기까지 설명돼있는듯
3.1.2의 weighting function 이해 다시 해보기
### 샘플링 기반 가중치 계산을 통한 Abstract MDP 이해
샘플링 기반 가중치 계산을 통해 Abstract MDP를 이해하는 방법을 설명해 드리겠습니다.
1. **Abstract MDP 설정**: - Ground MDP \( M_0 \)와 Abstract MDP \( M_l \)을 정의 - 상태 추상화 함수 \( \phi \)와 가중치 함수 \( \omega \)를 사용하여 여러 상태를 집계하여 Abstract MDP \( M_l \)을 생성
2. **상태 추상화 함수 \( \phi \)**: - \( \phi \)는 Ground 상태를 추상 상태로 매핑 - 당신의 경우, \( \phi(\text{state1}) = \text{cosmetics} \)이고 \( \phi(\text{state2}) = \text{cosmetics} \)
3. **가중치 함수 \( \omega \)**: - \( \omega \)는 각 Ground 상태가 추상 상태에 기여하는 정도를 결정 - 샘플링 과정에서 각 Ground 상태의 빈도를 기준으로 계산
4. **샘플링 과정**: - 하위 레벨 정책 \( \tilde{\pi_0} \)에 따라 Ground 상태를 샘플링 - 각 Ground 상태의 빈도를 계산하고 이를 정규화하여 가중치를 구함
가중치는 다음과 같이 계산됨: \[ w(\text{state1}) = \frac{\text{state1이 나타난 횟수}}{\text{전체 나타난 횟수}} = \frac{2}{3} \] \[ w(\text{state2}) = \frac{\text{state2가 나타난 횟수}}{\text{전체 나타난 횟수}} = \frac{1}{3} \]
이 가중치는 Abstract MDP \( M_l \)의 추상 전이 함수와 보상 함수를 계산하는 데 사용됨.
### 결론: 당신의 이해는 정확합니다. 샘플링을 통해 각 Ground 상태의 가중치를 결정하고, 이 가중치를 Abstract MDP의 전이 함수와 보상 함수 계산에 사용하는 방법을 정확히 설명하셨습니다. 특히, 각 상태의 가중치가 해당 상태의 발생 빈도를 전체 발생 빈도로 나눈 값이라는 점을 잘 이해하셨습니다.
더 궁금한 점이 있거나 추가 설명이 필요하시면 언제든지 말씀해 주세요!
(이전까지 읽은 내용 대충 생각 정리) \(\hat{\mathcal{G}}^l\)
다중 레벨 KG를 추론하는 가장 간단한 방법은 고수준 관계를 다른 저수준 관계와 동일하게 취급해서, 이를 단일 그래프로 축소하는 것.
-> P1과 P2를 만족할 수 없음. 그리고 추론된 경로가 이해하기 어려울 수 있음
또 다른 방법은 각 레벨에서 MDP를 정의하는 것. 각 레벨에서 MDP정의하고 고수준에서 단일 홉(단일 개념)간의 연결만 고려됨
-> 고수준 MDP가 하위 수준의 세부 연결 정보를 모두 담지 못할 수 있음(고수준 MDP는 개념 간의 연결만 고려하므로 하위 수준에서의 구체적인 전이 경로를 반영하지 않음)
->고수준 MDP에서 생성된 일부 경로는 실제 하위 수준에서 존재하지 않을 수 있음.
-> 고수준에서 합리적으로 보이는 경로가 실제로는 하위수준에서 연결되지 않을 수 있음
-> 각 레벨간 지식을 어떻게 전이할지, 각 추론 홉에서 올바른 레벨을 어떻게 선택할지 불분명. infeasible한 추론 경로를 뽑을수도 있음
그래서 해당 논문에서 제안하는게 abstract MDP
infeasible path를 추출하지 않기 위해 저수준 KG를 염두에 두고 고수준 KG를 통해 추론하는 것이 중요.
고수준 추론 경로를 abstract MDPs(ground MDP를 기반으로 정의됨.)로 정의할 것을 제안
=> 1. infeasible 경로를 추출하지 않음을 증명
=> 2. 고수준에서 학습된 추론 정책이 저수준 추론을 효과적으로 안내할 수 있음(sec 3.1.3)
* abstract MDP : ground MDP의 여러 상태를 하나의 상태로 집계하여 생성된 MDP
3.2 Cascading Actor-Critic
우리는 Cascading Actor-Critic 알고리즘을 설계함
\( M^{L},M^{L-1},...,M^{0} \)의 정책을 학습하기 위해
기본 아이디어 : 고수준 정책을 학습해 사용자에 대한 글로벌한 이해를 얻고 나서 더 세부적인 정보를 고려해 더 낮은 수준에서 점진적으로 고수준 정책을 미세 조정하는 것.
-> top-down 전략 채택(그림 4) : 상위 레벨에서 하위 레벨로 내려가는 전략
처음에 \( M^{L} \)을 해결하면서 가장 높은 레벨의 정책인 \( \pi^{L} \) 을 학습함. 학습된 지식( \( \pi^{L} \) ) 은 L-1로 전달돼서 \( \pi^{L-1} \) 배울 때 효과적으로 검색 공간을 가지치기 할 수 있음. 그리고 더 만족스러운 솔루션으로 수렴을 보장할 수 있음.
이 과정이 반복되면서 순차적으로 \( \pi^{L-1}, \pi^{L-2},..., \pi^{0} \) 을 얻음.
3.2.1 Actor-critic learning at the top level( \( l = L \))
- 여기서 중요한 부분은 추상 MDP에 대한 정을 학습하는 것. (높은 수준의 추상화를 통해 학습 과정을 단순화하는 것을 목표로 함) - 식 (4)는 기저 MDP(\( M^{0} \))의 상태들을 추상 MDP(\( M^{l} \))로 집계하는 데 중요함. - 이 과정은 하위 수준(ground MDP (\( M^{0} \)) ) 에서 샘플링하고, 이 샘플들을 상태 추상화 함수 \( \phi^{l} \)을 사용해 추상 수준\(l\)로 매핑하는 것을 포함함 - 단계별 매핑은 높은 수준의 샘플이 기저 수준의 동적 관계를 정확하게 반영하도록 보장하는데 필수적임.
-> 따라서 전통적인 강화학습 방법을 사용해 추상 MDP를 해결 할 수 있음
이 논문의 방법과 다른 점은..논문의 방법은 최적화 중에 먼저 하위 수준에서 샘플링을 하고, 그런 다음 하위 수준 샘플을 \( \phi^{l} \) 로 수준 \( l \)로 매핑해 고수준 샘플(\( s_{t}^{l}, a_{t}, s_{t+1}^{l}, r_{t+}^{l} \))을 얻어야 한다는 점에서 다름.
이렇게 고수준 데이터(샘플)를 얻고 actor-critic방법을 사용해 추상 MDP에서 정책을 학습하는 듯
우리는(이 논문) RL 방법 중 하나인 actor-critic을 사용(sec3.2.2)
(경로 추론에서 효과적이고 고수준 지식 전이를 용이하게 함)
Actor \(\pi^{L}\)
Actor(또는 정책 네트워크)는 상태에 따라 각 행동을 취할 확률을 출력함. PGPR논문(나중에 따로 리뷰할 예정)을 따르며, 우리는 actor을
three-layer feed-forward network로 설계하고,
활성화 함수로 Exponential Linear Unit(ELU)을 사용하며,
과적합 방지를 위해 드롭아웃을 활용함
구체적인 수식:
$$ x = dropout(ELU(dropout(ELU(s_{t}^{L}W_{1}))W_{2})) \quad \quad (5) $$
왜 유익? - 상위 레벨의 최적 정책은 하위 레벨의 최적 정책과 밀접하게 관련되어 있음. 상위 레벨에서 잘 작동하는 정책은 하위 레벨에서도 좋은 출발점이 된다. - 예를 들어, 특정 상품군(화장품)에 대한 상위 레벨의 정책이 있다면, 이 정책을 하위 레벨(개별 화장품 항목)에 그대로 적용하면 유사한 성능을 기대할 수 있음
구체적인 과정 - 상위 레벨의 정책 (\(\pi^{l+1}\))을 사용해 여러 경로를 생성함 - 이 경로들을 하위 레벨의 정책(\(\pi^{l}\))을 학습하기 위한 기준 레이블로 사용 - 하위 레벨의 정책은 초기화 된 후, critic을 기반으로 더욱 개선됨
따라서 \(\pi^{l}\)을 \(\pi^{l+1}\)의 행동을 복제하여 초기화 함.
즉, \(\pi^{l+1}\)을 사용해 경로를 생성하고, 이 경로를 초기 \(\pi^{l}\)을 학습하기 위한 기준 레이블로 사용.
그 후, \(\pi^{l}\)은 \(\pi^{L}\)과 동일한 방식으로 critic을 기반으로 개선됨(식 (8))
Reward shaping(보상 형성) -> \(V^l\) 학습
\(V^{l}\)을 더 잘 안내하기 위해, 우리는 이론적으로 보장이 잘 되어있는 보상 형성[15]을 사용함. 보상 형성은원래 MDP에서 제공하는 희소한 보상 외에 추가 보상을 추가해 학습 과정을 안내하는 절차임.
구체적으로, \(\mathbf{M}^l=\left\{\mathcal{S}^l, \mathcal{A}, \mathcal{R}^l, \mathcal{P}^l\right\}\) 을 해결하기 위해, 우리는 \(\hat{\mathbf{M}}^l=\left\{\mathcal{S}^l, \mathcal{A}, \mathcal{R}^l+\mathcal{F}^l, \mathcal{P}^l\right\}\)라는 형성된 MDP를 만듦. 여기서 형성함수 \( \mathcal{F}^l \)는 \(V^{l+1}\)을 기반으로 정의됨:
하위 레벨에서 학습을 더 잘 안내하기 위해 추가적인 보상을 제공함. 원래의 보상 외에도 추가적인 정보를 통해 학습을 도움
예를 들어, 특정 행동이 좋은 결과로 이어진다면, 그 행동에 대한 추가 보상을 제공해 에이전트가 더 빠르게 학습할 수 있도록 함
구체적인 과정
보상 형성은 추가적인 보상함수를 정의해 원래의 보상에 더함.
이 추가 보상함수는 상위 레벨의 가치 함수 \(V^{l+1}\)을 기반으로 함
구체적으로, 상태 전이 (\(s^{l}_{t}, s^{l}_{t+1}\))에 대해 상위 레벨에서의 가치 변화량을 추가 보상으로 사용함
즉, 현재 상태와 다음 상태에서의 가치 함수 차이를 보상에 더함.
그림 5는 보상 형성이 상위 레벨(\(\mathrm{M}^{1}\))의 지식을 하위 레벨(\(\mathrm{M}^{0}\))로 어떻게 전이 시키는지를 보여줌.
\(\mathrm{M}^{1}\)을 학습한 결과, \(\mathrm{V}^{1}\)은 Alice가 스포츠 신발보다 얼굴 화장을 더 좋아한다는 것을 알게됨.
즉, \(V^{1}(s_{1}^{1})\,>\,V^{1}(s_{1}^{1\,\prime})\) : 얼굴 화장 상태 \(s^{1}_{1}\)의 가치( \(V^{1}(s_{1}^{1})\) )가 스포츠 신발 상태 \( s_{1}^{1\,\prime} \)의 가치 \( V^{1}(s_{1}^{1\,\prime}) \)보다
이 지식은 형성 함수 \({\mathcal{F}}^{0}\)에 의해 레벨 0으로 전이되며, 이는 즉시 Alice가 Acalme 스니커즈보다 Luminous Silk Foundation을 더 좋아한다는 것을 밝혀줌.이는 Luminous Silk Foundation 에 더 높은 보상을 할당함으로써 이루어짐(즉,\(R^{0}(s_{0}^{0},a_{0})+\mathcal{F}^{0}(s_{0}^{0},s_{1}^{0})>\mathcal{R}^{0}(s_{0}^{0},a_{0}^{\prime})+\mathcal{F}^{0}(s_{0}^{0},s_{1}^{0})\) )
최종 상태(t = T)에서만 0이 아닌 값을 가지는 희소 보상 \({\mathcal{R}}^{0}\)과 비교하여, \({\mathcal{F}}^{0}\)는 각 \(t\leq T\)에 유용한 정보를 제공하며, 이는 탐색 공간(search space)를 가지치기하고 레벨0에서의 학습을 더 만족스러운 해결책으로 수렴하도록 안내함.
각 시간 단계에서 유용한 보상을 제공 -> 에이전트는 보다 효율적으로 탐색 공간을 줄일 수 있음
이는 불필요한 경로를 탐색하는 시간을 줄이고, 더 유망한 경로를 탐색하도록 도움
더 빠른 수렴
형성 보상은 중간 상태에서의 유용한 피드백을 제공 -> 학습 과정이 더 빠르게 수렴하도록 도움
이는 에이전트가 보다 빨리 최적의 정책을 학습할 수 있게
3.3 Multi-level Reasoning Path Extraction
cascading Actor-Critic의 출력을 기반으로 다중 레벨 추론 경로를 추출함.
다중 레벨 경로에서 각 개념 \(c_{t}^{0\sim L}\)(t<T)는 KG의 어느 레벨에도 속할 수 있음.
단일 레벨 경로랑 비교할 때, 다중레벨 경로는 상요자 관심사를 정확하게 표현하는데 필수적인 유연성을 제공함.
우리는 2가지 단계로 다중레벨 경로 \(\tau_{u}^{0\sim L}\)를 추출함 :
다중 레벨 가치 함수 학습( Multi-level Value Function Learning )과 가치 기반 경로 추출( value-based path extraction )
3.3.1 Multi-level Value Function Learning
다중 레벨 가치 함수 \(V^{0\sim L}\) 을 학습해 다중 레벨 상태 \(s_{t}^{0\sim L}=(u,c_{t-K}^{0\sim L},r_{t-K+1}\cdot\cdot\cdot,c_{t-1}^{0\sim L},r_{t},c_{t}^{0\sim L})\) 의 예상 보상을 추정함.이는 단일 레벨 \(l\)에서의 가치 함수 학습 방법을 확장함으로써 달성됨. 구체적으로, 각 반복에서 다음을 수행.
\(\mathcal{P}^{0}\) 및 \(\pi^{0}\)에 따라 \(\mathbf{M}^{0}\) 에서 \(\left(s_{t}^{0},a_{t},s_{t+1}^{0},{\mathcal{R}}^{0}(s_{t}^{0},a_{t})\right)\) 샘플링
\(s^{0}_{t+1}\)의 개념을 무작위로 \(L\) 수준 중 하나에 매핑해 다중 레벨 샘플 \(\left(s_{t}^{0\sim L},a_{t},s_{t+1}^{0\sim L},\mathcal{R}^{0}(s_{t}^{0},a_{t})\right)\) 생성
\( J_{V^{0\sim L}} \)와 \( J_{V^{0\sim L}} \) : 각각 보상 \(\textstyle{\mathcal{R}}^{0}\) 및 학습된 가치 함수 \(V^{0}\)를 사용해 \(V^{0\sim L}\)의 모델 매개변수를 최적화 함.
Interpretation
\( V^{0\sim L} \)의 상태 공간 \(S^{0}{^{\sim L}}\)은 \(S^0\)의 상위 집합임. \(S^0\)인 bottom-level 상태 경우 , \( V^{0\sim L} \) 은 \(V^{0}\)과 같음. 반면 더 높은 수준에서는 \( V^{0\sim L} \)(다중레벨 보상 함수 : 여러 레벨의 보상을 추정.다양한 레벨의 출력들을 결합해 사용자의 관심사를 더 잘 반영) 이 \(\pi^0\)의 다양한 출력을 결합할 추가 기회를 제공하여, \(\pi^0\)가 하위 레벨에서 진정한 사용자 관심사를 포착하지 못하더라도 여전히 좋은 결과를 낼 수 있음.
