About Conference

• Important Dates
• Calls for Papers
• Citation and Comparison
• Resubmission

Directions

• EMNLP 는 Empirical 측면이 강조된 학회이므로 Baseline 을 되도록 많이 실험해야 함 기존에 실험하지 못한 baseline reproduce 실험에 집중하고자 함

  → Baseline 실험 결과를 직접 보여줌으로써 RAP, LATS 와 차이가 있음을 보여주고자 함

• 데이터 셋은 기존 submission 과 같이 Multi-hop QA dataset 3개로만 진행

  • HotpotQA, 2WikimultihopQA, Musique

• Abstract 에 Zero-shot 과 Behavior cloning 을 더 강조하는 writing 보충

• Related works 에서 RAP 과 LATS 의 차이를 명확히 언급하여 Novelty 공격 받지 않도록 Writing 보충

• Long paper 의 경우 Reference 를 제외한 내용은 8페이지 까지만 허용되며, 넘기면 desk rejected 될 수 있다고 함

( 현재 내용이 8페이지 좀 넘어서 공백 부분을 줄이거나 내용을 좀 더 줄여야 할 것 같습니다!)

TODO

• Baseline Experiments

  • ToT-BFS, ToT-DFS
  • ToT-BFS, DFS w/ r
  • RAP
  • LATS
  • (시간이 된다면 XoT)
    • 근데 XoT 의 경우는 External knowledge 를 사용하지 않기 때문에 만약 reproduce 를 하게 되면, XoT 에 대한 external knowledge 도 실험을 해야함 (돈과 시간이 얼마나 더 들지 미지수..) 그래서 MCTS 를 사용하는 대표적인 메소드인 RAP 를 실험적으로 비교했으니까 우선순위가 낮지 않을까 생각함

  → IJCAI 제출 때 하지 못한 ToT, RAP, LATS 등 에 대한 Baseline 실험 진행

  → 5shot 실험만 완료된 상황

• 1-shot 실험도 또 진행해야 함

• MZQA BC 실험

  • 진행 시 기존에는 f1 score 가 0 보다 큰 경우의 데이터를 이용하여 Action candidates 를 학습 시켰음

    → 진정한 zero-shot 이라고 주장하지 못했음

  • f1 score 의 조건 없이 train 데이터 100개 모두로 Action candidates 학습 시킨 후 BC 진행

    • 만약 이 실험이 여전히 성능이 기존과 비슷하게 나오면 이 방법을 채택하고, 너무 성능이 처참하거나 애매하면 채택하지 않는 방향으로 생각

• Pseudo Code 추가

• Figure 수정

• Writing 개선