LLM이 표(table)를 잘 이해하도록 하자: Chain-of-table: Evolving tables in the reasoning chain for table understanding

Chain-of-table: Evolving tables in the reasoning chain for table understanding

Chain-of-table: 테이블 이해를 위한 추론 체인(reasoning chain)에서 진화하는 테이블

 

2024-03-11
by Zilong Wang, Student Researcher, and Chen-Yu Lee, Research Scientist, Cloud AI Team

 

 

원문 링크: https://blog.research.google/2024/03/chain-of-table-evolving-tables-in.html

Chain-of-table: Evolving tables in the reasoning chain for table understanding

 

 

• 사람들은 매일 표를 사용하여 복잡한 정보를 구조화되고 쉽게 접근할 수 있는 형식으로 정리하고 해석함
• 이러한 표의 보편성으로 인해 표 형식의 데이터에 대한 추론은 자연어 처리(NLP)의 핵심 주제였음
• 이 분야의 연구자들은, 언어 모델을 활용하여 사용자가 질문에 답하고, 진술을 검증하고, 표를 기반으로 데이터를 분석하는 데 도움을 주는 것을 목표로 함
• 그러나 언어 모델은 대량의 일반 텍스트로 학습되기 때문에 표 형식 데이터의 본질적인 구조적 특성으로 인해 언어 모델이 완전히 이해하고 활용하기 어려울 수 있음

 

• 최근 LLM은 Chain-of-Thought 및 Least-to-Most와 같은 연구에서 볼 수 있듯이 신뢰할 수 있는 추론 체인(reliable reasoning chains)을 생성하여 다양한 자연어 이해(Natural Language Understanding, NLU) 작업에서 뛰어난 성능을 달성함
• 그러나 LLM이 표 형식의 데이터를 추론하는 데 가장 적합한 방법은 여전히 미해결 과제로 남아 있음

 

• 'Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding'에서는 LLM이 사람들이 표 기반 문제를 푸는 방식과 유사하게 주어진 표를 반복적으로 업데이트하여 사고 과정의 각 부분을 반영하도록 하고, 이를 통해 단계별(step-by-step) 추론이 가능하도록 학습시키는 표 이해 프레임워크를 제안
• 이를 통해 LLM은 테이블을 더 간단하고 관리하기 쉬운 분절(segment)로 변환하여 테이블의 각 부분을 심층적으로 이해하고 분석할 수 있음
• 이 접근 방식은 상당한 개선 효과를 가져왔고 WikiTQ, TabFact, FeTaQA 벤치마크에서 새로운 최고 성능치(state-of-the-art)를 달성
• 아래 그림은 제안된 Chain-of-Table 및 다른 방법론에 대한 개요를 보여줌

 

사이클 선수의 국적과 이름이 같은 셀에 있는 복잡한 표가 주어졌을 때(a), 일반적인 다단계 추론은 정답을 제공할 수 없다. (b) 프로그램 보조(program-aided) 추론은 프로그램(예: SQL 쿼리)을 생성하고 실행하여 답을 제공하지만 질문을 정확하게 해결하는 데는 역부족이다. 이와는 대조적으로, (c)는 복잡한 테이블을 질문에 맞는 버전으로 효과적으로 변환하는 일련의 연산을 반복적으로 샘플링한다.

 

 

Chain-of-Table

• Chain-of-Table에서는 컨텍스트 내 학습(in-context learning)을 사용하여 LLM이 연산을 반복적으로 생성하고 표 형식 데이터에 대한 추론 체인을 표현하도록 테이블을 업데이트하게 함
• 이를 통해 LLM은 이전 작업의 결과를 기반으로 다음 작업을 동적으로 계획할 수 있음
• 이러한 지속적인 테이블의 진화(evolution)는 체인을 형성하여 주어진 문제에 대한 추론 과정을 보다 체계적이고 명확하게 표현함
• 이로써, LLM이 보다 정확하고 신뢰할 수 있는 예측을 할 수 있도록 함

 

• 예를 들어, "어떤 배우가 NAACP* 이미지 상을 가장 많이 받았나요?"라는 질문을 받으면 Chain-of-Table 프레임워크는 표 형식 추론 프로세스(tabular reasoning processes)를 바탕으로 표 형식 연산(tabular operation)을 생성하도록 LLM에 메시지를 표시
• 그 다음, 관련 열을 식별하고 공유된 내용을 기반으로 행을 집계함
• 마지막으로, 집계된 결과를 다시 정렬하여 제기된 질문에 대한 명확한 답변을 제공하는 최종 표를 생성

* National Association for the Advancement of Colored People, 전미 흑인 지위 향상 협회. 미국의 유명 인권 단체.

 

• 표 형식 연산은 제시된 질문에 맞게 테이블을 변환함
• 큰 테이블에서 계산 비용과 성능의 균형을 맞추기 위해 표 형식 행의 하위 집합(subset)에 따라 연산 체인을 구성
• 단계별 연산(step-by-step operations)은 표 형식 연산의 중간 결과를 표시하여 기저의 추론 과정을 드러내고, 이를 통해 해석 가능성(interpretability)과 이해도를 높임

 

Chain-of-Table에서 표 형식 추론 프로세스의 그림. 이 반복적인 프로세스에는 연산 체인을 동적으로 계획하고 변환된 테이블에 중간 결과를 정확하게 저장하는 작업이 포함된다. 중간 결과 테이블은 LLM이 보다 안정적으로 정답을 도출할 수 있도록 안내하는 표 형식의 사고 프로세스 역할을 한다.

 

 

• Chain-of-Table은 세 가지 주요 단계로 구성됨
• 첫 번째 단계에서는 상황에 맞는 학습을 통해 다음 작업을 동적으로 계획하도록 LLM에 지시
• 이 프롬프트에는, 구체적으로 다음 그림에서 볼 수 있는 세 가지 구성 요소가 포함됨

1. 질문 Q: "상위 3위 안에 가장 많은 사이클리스트를 배출한 국가는 어디인가요?"
2. 연산 기록(operation history) 체인(chain): f_add_col(Country) 및 f_select_row(1, 2, 3) 
3. 최신 중간 결과 테이블 T: 변환된 중간 결과 테이블

• 프롬프트에 세 개의 변수(triplet) (T, Q, chain)을 제공하면, LLM은 이전 테이블의 추론 과정을 관찰하고 연산 풀(pool)에서 다음 연산을 선택하여 단계별 추론 체인을 완성할 수 있음

 

Chain-of-Table이 연산 풀에서 다음 연산을 선택하고 연산 인수(arguments)를 생성하는 방법을 보여주는 그림. (a) 체인 오브 테이블은 연산 풀에서 다음 연산을 샘플링한다. (b) 선택한 연산을 입력으로 받아 해당 인수를 생성한다.

 

 

• 다음 연산 f가 결정된 후 두 번째 단계에서는 인수를 생성해야 함
• 위 그림과 같이, Chain-of-Table은 그림과 같이 프롬프트에서 (1) 질문, (2) 선택한 연산과 필요한 인수, (3) 최신 중간 테이블의 세 가지 구성 요소를 고려함
• 예를 들어, f_group_by 연산이 선택되면 인자로 헤더 이름이 필요함
• LLM은 테이블 내에서 적합한 헤더를 선택함
• 선택된 연산과 생성된 인수를 갖춘 Chain-of-Table은 연산을 실행하고 다음 추론을 위해 새 중간 테이블을 구성함

 

• Chain-of-Table는 앞의 두 단계를 반복하여 다음 연산을 계획하고 필요한 인수를 생성함 
• 이 과정에서 테이블 추론 단계의 프록시(proxy) 역할을 하는 연산 체인을 생성함
• 이러한 연산은 각 단계의 결과를 LLM에 제시하는 중간 테이블을 생성
• 결과적으로, 출력 테이블에는 표 형식 추론의 중간 단계들을 포괄하는 정보가 포함됨
• 마지막 단계에서는, 최종 쿼리를 도출하기 위해 이 출력 테이블을 최종 답변을 위한 질문과 함께 LLM에 프롬프트로 제시

 

실험 방법

• 본 연구에서는 PaLM 2-S와 GPT 3.5를 backbone LLM으로 사용하고, WikiTQ, TabFact, FeTaQA의 세 가지 공개된 테이블 이해(table understanding) 벤치마크로 실험을 진행
  WikiTQ와 FeTaQA는 테이블 기반의 질문 답변을 위한 데이터 세트이며, TabFact는 테이블 기반 사실 검증 벤치마크
• 본 포스트에서는 WikiTQ와 TabFact의 결과를 중점적으로 살펴봄
• 일반적인 추론 방법(예: End-to-End QA, Few-Shot QA, Chain-of-Thought) 및 프로그램 보조(program-aided) 방법(예: Text-to-SQL, Binder, Dater)과 Chain-of-Table 방식을 비교

 

더 정확한 답변

• 일반적인 추론 방법과 프로그램 보조 추론 방법에 비해 Chain-of-Table 추론은 PaLM 2와 GPT 3.5에서 더 나은 성능을 발휘함
• 이는 동적으로 샘플링되는 연산과 유용한 중간 결과 테이블에 기인함

 

다양한 모델들의  PaLM 2 및 GPT 3.5를 사용한 WikiTQ 및 TabFact 이해(understanding) 성능 결과 비교

 

 

어려운 문제에 대한 견고성(robustness) 향상

• Chain-of-Table에서 연산 체인이 길수록, 문제와 해당 테이블의 난이도와 복잡도가 높다는 것을 나타냄
• 연구진은 Chain-of-Table에서 연산의 길이에 따라 테스트 샘플을 분류함
• 이를 대표적인 일반 추론 방법 Chain-of-Thought, 프로그램 보조 추론 방법인 Dater와 비교함
• WikiTQ의 PaLM 2 에서의 실험 결과를 이용해 이를 나타냄

 

다양한 길이의 연산 체인이 필요한 질문에 대한 Chain-of-Thought, Dater, 그리고 제안된 WikiTQ의 Chain-of-Table의 성능. 본 연구에서 제안한 atomic 연산은 일반적인 추론 및 프로그램 보조 추론에 비해 성능이 크게 향상되었다.

 

• 특히 Chain-of-Table은 모든 길이의 연산 체인 길이에서 두 가지 기준 방법을 능가하며, Chain-of-Thought에 비해 최대 11.6%, Dater에 비해 최대 7.9%의 큰 차이로 두 방법을 모두 능가함
• 또한, Chain-of-Table의 성능은 다른 기준 방법에 비해 작업 수가 증가하여도 성능이 완만하게 감소하며, 작업 수가 4개에서 5개로 증가해도 최소한의 성능 감소만 나타남

 

큰 테이블에서의 더 높은 견고성

• 토큰 수에 따라 WikiTQ의 테이블을 소규모(2000개 미만), 중간 규모(2000~4000개), 대규모(4000개 이상)의 세 그룹으로 분류함
• 그 다음 가장 최신이며, 가장 강력한 성능의 Baseline인 Dater, Binder 모델과 Chain-of-Table을 비교

 

WikiTQ의 소규모(2000 토큰 미만), 중간 규모(2000~4000 토큰), 대규모(4000 토큰 이상) 테이블에서 Binder, Dater 및 제안된 Chain-of-Table의 성능. 입력 테이블이 클수록 성능이 감소하는데, Chain-of-Table 방식은 완만하게 감소하여 경쟁 모델보다 상대적으로 성능이 크게 높은 것이 관찰된다. (위와 같이 밑줄 친 텍스트는 두 번째로 좋은 성능을, 굵은 글씨는 가장 좋은 성능을 나타낸다.)

 

 

• 예상대로 입력 테이블이 커지면 모델이 더 긴 컨텍스트를 추론해야 하므로 성능이 저하됨
• 그럼에도 불구하고, 제안된 Chain-of-Table 방식의 성능은 완만하게 감소하여 큰 테이블을 처리할 때 두 번째로 좋은 경쟁 모델보다 10% 이상 큰 성능을 보임
• 이는 긴 표 형식의 입력을 처리하는 데 있어 추론 체인(reasoning chain)의 효율성을 보여줌

 

결론

• 본 연구에서 제안한 Chain-of-Table 방식은 테이블 기반 추론의 중간 단계를 표현하기 위해 테이블 구조를 활용하여 LLM의 추론 능력을 향상시킴
• 이 방법은 입력 테이블과 관련 질문에 따라 LLM이 연산 체인을 동적으로 계획하도록 지시함
• 이렇게 추론 과정에서 진화하는 테이블 디자인은 LLM이 테이블을 이해하게 하는 프롬프트에 대한 이해를 새롭게 조명함