Recently, while the release of pre-trained general-purpose Large Language Models (LLMs) has accelerated rapidly, research on domain-specific LLMs remains limited. This study presents the implementation of an agriculture-specific LLM using Qwen3-8B. As the importance of leveraging language models in the agricultural sector continues to grow, this paper outlines methods for selecting and preprocessing agricultural datasets, model selection and fine-tuning procedures, and key considerations for domain-specific LLM fine-tuning. Furthermore, it addresses domain-specific vocabulary construction that incorporates the distinct characteristics of agricultural data, including crop names, pests and diseases, pesticide and fertilizer ingredients, and growth stage terms. In the implementation phase, we describe the generation methodology, concrete workflow, and evaluation and validation results for constructing a domain-specific agricultural LLM based on the open-source Small Language Model (SLM), Qwen3-8B. Finally, we examine the feasibility and future improvement directions for applying LLMs to the agricultural domain.
한국어
최근 사전학습된 범용적인 LLM(Large Language Model) 출시가 활발해지고 있지만, 도메인에 특화된 LLM에 대한 연구는 부족한 실정이다. 본 연구는 Qwen3-8B를 활용한 농업 도메인 특화 LLM 구현을 제시한다. 농업 분야에서도 언어모델 활용의 중요성이 커지고 있기 때문에, 농업 특화 데이터셋의 선정과 전처리 방법, 모델 선정 및 파인튜닝 절차, 그리고 농업 특화 LLM 파인튜닝 시 고려해야 할 사항들을 제시하고, 작물명, 병해충명, 농약·비료 성분명, 생육 단계 용어 등 농업 데이터의 특성을 고려한 도메인 특화 어휘 구축을 다룬다. 도메인 특화 LLM 구현에서는 오픈소스 SLM인 Qwen3-8B를 활용하여 실제 농업 도메인 LLM을 생성하는 방법 및 구현 절차, 테스트 및 검증결과를 설명한다. 이를 통해 LLM을 농업 도메인에 적용 가능성을 살펴보고 개선 방향을 제안한다.
목차
[요약] Abstract Ⅰ. 서론 Ⅱ. 이론적 배경 2.1 LLM(Large Language Model) 2.2 LLM 동향 2.3 LLM 파인튜닝 Ⅲ. 연구방법 및 결과 3.1 데이터 수집 및 전처리 3.2 사전 훈련 모델 선정 및 양자화 3.3 하이퍼파라미터 설정 및 파인튜닝 3.4 연구 결과 Ⅳ. 결론 REFERENCES