Text2SQL 성능 평가를 위한 자동화된 질문 생성 및 검증 프로세스 구축

[DShomin]

❌ 문제점

• 생성한 SQL이 유효한지에 대한 판단이 안됩니다.

✅ 해결 방안

• [직접 생성] : 데이터 카탈로그 정보만으로 데이터 엔지니어가 직접 Best Case를 생성
• [LLM 기반 생성] : 데이터 카탈로그를 Input으로 받는 workflow를 설계하여 Text2SQL 데이터 셋을 만들어 활용

🔍ToDo

• [직접 생성]
  • 🔥
• [LLM 기반 생성] Workflow
  • Question 생성
  • SQL 생성
  • Runnable SQL 확인 (실제 DB Engine 필요)
  • Relevant SQL 확인

Workflow dialog

[DShomin]

Kaggle dataset을 이용하여 테이블 카탈로그 생성, text2sql 질문 생성 샘플을 제작하였습니다.

LLM으로 생성한 테이블 카탈로그 생성, text2sql 질문 생성

• 테이블 카탈로그 생성
• text2sql 질문 생성

Referenced Dataset

사용한 Kaggle dataset

[ehddnr301]

best practice query를 더미데이터셋을 이용해서 미리 만들어두기?
workflow를 인공데이터 태워서 카탈로그만 보고 question을 만들게 하고 해당 question으로 생성되는 sql에 대한 품질?을 검사할수있음.
llm judge가 들어가서 평가를 할수있지않을까

ML 에서의 validation set 과 같은 개념

[DShomin]

@ehddnr301 평가 데이터 셋 제작과 평가 프로세스는 이슈를 분리하는게 좋아 보이는데 어떻게 생각하시나요??

[ehddnr301]

@DShomin 네에 좋습니다!ㅎㅎ

[DShomin]

@DShomin 네에 좋습니다!ㅎㅎ

혹시 오늘 작성해주신 #15 이슈와 평가 프로세스가 같은 맥락일까요?? 그럼 이 이슈를 평가 데이터 셋 제작 관련한 이슈로 변경하려구요

[ehddnr301]

@DShomin 네에 좋습니다!ㅎㅎ

혹시 오늘 작성해주신 #15 이슈와 평가 프로세스가 같은 맥락일까요?? 그럼 이 이슈를 평가 데이터 셋 제작 관련한 이슈로 변경하려구요

아아 네넵! 최근에 Mlflow를 공부해야할일이 있어 겸사겸사 해당부분을 작업하고싶어서 작성했는데 말씀해주신바가 맞습니다!!
(회신이 늦었네요ㅎㅎㅎ...!! 죄송합니다!!)

[ParkGyeongTae]

이 이슈를 평가 데이터셋 제작으로 진행하고, #15 이슈를 평가 프로세스 제작으로 나누는 것으로 이해했습니다~
현재(2025-04-07) 기준 #15 가 우선은 필요하지 않은 기능 이유로 닫혀있습니다.