arXiv:2610.31966v1 발표 유형: 신규
요약: 문맥 내 학습을 위한 예시는 종종 의미적 유사성에 의해 선택되며, 이는 구조화된 예측에서의 관련성을 평가하는 데 있어 부적절한 대리변수일 수 있습니다. 우리는 POS 서명 정책을 사용하여 Universal Dependencies 파싱을 위한 예시 선택을 연구합니다. 이 정책은 문장들을 가중치를 부여한 품사 통계로 표현하며, 주석이 달린 교육 데이터 세트에서 길이가 서로 호환되는 골드 라벨 기반의 예시 세 개를 검색합니다. 우리는 미세조정 없이 오픈 웨이트 언어 모델 두 가지를 UD 영어 웹 트리뱅크 테스트 세트의 총 2,077개 문장에 대해 평가하며, 해당 정책을 샷 및 형식이 일치하는 고정형 및 의미적 세 개 샷 기반 베이스라인과 비교하고, 또한 제로샷, 사고 체인, 비평-정제 시스템과도 비교합니다. POS 서명 검색은 두 모델 모두에서 테스트된 프롬프팅 시스템 중 가장 높은 라벨링 부착 점수(각각 72.4와 73.2)를 달성했으며, 의미적 검색보다 각각 1.9점과 2.7점 높은 성과를 보였습니다. 대응 표본 추출을 통한 95% 신뢰구간은 두 비교 모두에서 영점을 포함하지 않습니다. 사고 체인과 정제 방식에 대한 비교 결과는 모델에 따라 다릅니다. 이러한 탐색적 결과는 영어-EWT에서 테스트된 POS 서명 검색 접근법을 우위에 두고 있습니다. 우리는 프롬프트, 아카이브된 출력물 및 평가 코드를 공개합니다.