Скачать или смотреть [2022] Online Decision Transformer

오늘은 강화 학습(RL)을 시퀀스 모델링 문제로 변환하는 최근 연구의 발전에 대해 소개하고자 합니다. 특히, 오프라인 사전 훈련과 온라인 미세 조정을 통합한 새로운 RL 알고리즘, 'Online Decision Transformers (ODT)'에 대해 탐구해보겠습니다.

1. 강화 학습의 새로운 접근
최근 연구들은 강화 학습을 대규모 언어 모델링과 유사한 접근법을 통해 해결할 수 있는 시퀀스 모델링 문제로 정의하고 있습니다. 하지만, 실제 RL 응용에서는 온라인 구성 요소도 포함됩니다. 여기서는 오프라인 데이터셋에서 사전 훈련된 정책들이 환경과의 특정 상호작용을 통해 미세 조정됩니다.

2. Online Decision Transformers (ODT) 소개
ODT는 시퀀스 모델링에 기반한 RL 알고리즘으로, 오프라인 사전 훈련과 온라인 미세 조정을 통합된 프레임워크 안에서 조화롭게 결합합니다. 우리의 프레임워크는 시퀀스 수준 엔트로피 정규화와 자기 회귀 모델링 목표를 함께 사용하여 효율적인 탐색과 미세 조정을 가능하게 합니다.

3. ODT의 성능 평가
실증적으로, ODT는 D4RL 벤치마크에서 절대 성능 면에서 최첨단 기술과 경쟁력을 가지고 있음을 보여줍니다. 특히, 미세 조정 절차 동안에는 훨씬 더 큰 성능 향상을 보여줍니다.

ODT의 도입은 강화 학습 분야에서 오프라인 사전 훈련과 온라인 미세 조정의 효율적인 통합을 가능하게 하며, 이는 강화 학습의 향후 발전에 중요한 기여를 할 것으로 기대됩니다.