@_vaishnavh와 함께 neurips에서 다음 토큰 예측 실패 + 교사 강제에 대해 대화를 나누었고, 그는 "추론"에 대한 모든 문제/이유를 포괄하는 멋진 최소 합성 문제를 가지고 있다고 생각합니다. 1/5
먼저 중앙 노드와 거기에서 확장되는 여러 "경로"로 구성된 "별 그래프"를 구축하여 시퀀스를 생성합니다. 따라서 중앙 노드는 가지의 개수만큼 이웃을 갖고, 가지의 양 끝에는 하나의 이웃이 있고, 다른 모든 노드는 두 개의 이웃을 갖습니다. 2/5
그러면 "질문"은 노드 ID 쌍으로 구성된 에지 목록, 중앙 노드의 ID, 대상 노드의 ID로 구성된 프롬프트입니다. "답변"은 중심에서 대상까지의 경로를 따라 있는 노드 ID 목록이어야 합니다. 3/5
이제 gpt에 이 내용을 가르치면, 솔루션 경로의 모든 노드(중앙 노드 제외)를 예측하기가 명확해집니다. 이웃은 최대 두 개뿐이므로, 이미 경로에 있는 노드인지 확인하기만 하면 됩니다. 경사하강법은 매우 만족스럽습니다. 로짓 알고리즘도 훌륭합니다. 4/5
중앙 노드로 유지됩니다. 이 노드를 위해서는 기본적으로 *모든 분기*를 탐색하여 어디로 가야 할지 알아야 하며, 이 모든 것이 구축될 때까지는 그래디언트에 아무것도 표시되지 않습니다. 이는 정확히 추론입니다. 복잡한 옵션을 살펴보기 전까지는 어떤 것이 좋은지 알 수 없습니다. 5/5