AgriLLM: Fine-Tuning Large Language Models for Precision Agriculture

Tabla de Contenidos

Abstract
Introduccion
Antecedentes y Trabajo Relacionado
Metodologia: AgriLLM
Experimentos
Resultados
Estudio de Ablacion
Discusion y Limitaciones
Conclusion
Artefactos en Hugging Face Hub
Referencia y Cita BibTeX

Abstract

Presentamos AgriLLM, un modelo de lenguaje de gran escala ajustado mediante tecnicas Low-Rank Adaptation (LoRA) para tareas de asesoria agricola de precision en entornos mediterraneos. Partiendo de Mistral-7B como modelo base, entrenamos sobre un corpus de 45.000 consultas agrologicas en espanol e ingles, abarcando diagnostico fitosanitario, optimizacion de riego, rotacion de cultivos y normativa PAC 2023-2027. AgriLLM alcanza un BLEU de 0.87 en diagnostico fitosanitario y supera a GPT-4o en +12 puntos F1 en dominios especializados de agricultura mediterranea, con un costo de inferencia 18x inferior al de los modelos propietarios comparables. El modelo, dataset y espacio de demostracion se publican integramente en Hugging Face Hub bajo licencia Apache-2.0.

0.87

BLEU Score Fitosanitario

+12

Puntos F1 vs GPT-4o

45K

Consultas de Entrenamiento

18x

Reduccion de Coste

1. Introduccion

La agricultura de precision en la cuenca mediterranea enfrenta desafios unicos: alta variabilidad climatica, patrones de precipitacion irregulares y normativas cambiantes (PAC 2023-2027). Los agricultores —especialmente los de explotaciones familiares medianas— no tienen acceso a asesores agronomicos especializados en tiempo real.

Los modelos de lenguaje de proposito general como GPT-4o ofrecen capacidades impresionantes, pero presentan alucinaciones facticas en dominios altamente especializados como la sanidad vegetal o la quimica del suelo, y su coste operacional los hace inviables para despliegue a escala rural.

💡 Contribucion principal: AgriLLM demuestra que un modelo de 7B parametros ajustado con datos curados de dominio supera a modelos 10x mas grandes en tareas especificas, reduciendo el coste de inferencia hasta 18 veces y habilitando despliegue edge.

1.1 Por que Mistral-7B + LoRA

Seleccionamos Mistral-7B por su arquitectura Grouped Query Attention (GQA) que permite inferencia eficiente con ventanas de contexto de 32K tokens. LoRA nos permite ajustar solo el 0.8% de los parametros del modelo base, manteniendo el conocimiento general mientras inyectamos conocimiento agrologico especializado.

2. Antecedentes y Trabajo Relacionado

Metodo	Ano	Parametros	Dominio	Limitacion
AgriGPT (Chen et al.)	2023	13B	Agricultura general	Solo ingles, sin contexto PAC
PlantDoc-LLM	2024	70B	Fitosanitario	Coste prohibitivo, no multilingue
MedAgri (Rodriguez et al.)	2024	7B	Mediterraneo	Dataset limitado (8K muestras)
AgriLLM (ours)	2026	7B + LoRA	Agricola ES/EN	SOTA en benchmark AgriEval-ES

3. Metodologia: AgriLLM

Corpus
Agrologico 45K consultas ES/EN

→

Preprocesado
+ Filtraje Quality filter

→

Mistral-7B
+ LoRA (r=16) AgriLLM

→

RLHF
Agrologico 6 expertos

→

Despliegue
HF + Edge API + GGUF

Figura 1. Arquitectura del pipeline de entrenamiento de AgriLLM. El corpus multilingue ES/EN pasa por filtraje de calidad antes del ajuste LoRA y el proceso de alineamiento con preferencias de expertos agronomos.

3.1 Funcion de Perdida LoRA

L = L_LM(θ_base + ΔW) donde ΔW = B·A, B ∈ ℝ^(d×r), A ∈ ℝ^(r×k), r=16

3.2 Configuracion de Entrenamiento

Python · train_agri.py

# AgriLLM LoRA Training Configuration
# Cultiva IA Research Lab — 2026

from peft import LoraConfig, get_peft_model
from transformers import MistralForCausalLM, AutoTokenizer

# Cargar modelo base
base_model = MistralForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-v0.3",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# Configuracion LoRA
lora_config = LoraConfig(
    r=16,          # rango de adaptacion
    lora_alpha=32,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

# Aplicar LoRA → solo 0.8% de parametros ajustables
model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()
# trainable params: 58,720,256 || all params: 7,241,732,096 || 0.81%

4. Experimentos

Componente	Configuracion
Dataset	AgriAdvisory-ES v1.0 · 45K pares consulta/respuesta · split 80/10/10
Hardware	4× A100 80GB · VRAM total 320GB · NVLink
Framework	PyTorch 2.3.1 · Transformers 4.42 · PEFT 0.11 · TRL 0.9
Hiperparametros	lr=2e-4 · batch_size=16 · epochs=3 · scheduler=cosine · warmup=200 steps
Tiempo de entrenamiento	18 horas (3 epochs sobre 45K muestras)
Evaluacion	AgriEval-ES (interna) + FLORES-200 subset agricola + human eval (6 agronomos)

5. Resultados

Modelo	BLEU ↑	F1 Fitosanit. ↑	ROUGE-L ↑	Params	Cost/1K tokens
GPT-4o	0.79	0.81	0.77	~1T	$0.015
Claude 3 Sonnet	0.76	0.78	0.74	~70B	$0.012
Llama-3-70B	0.73	0.75	0.71	70B	$0.003
MedAgri-7B	0.68	0.69	0.65	7B	$0.0008
AgriLLM (ours)	0.87	0.93	0.89	7B+LoRA	$0.0008

🔍 Observacion clave: AgriLLM supera a GPT-4o en +12 puntos F1 en diagnostico fitosanitario mediterraneo (p < 0.001, test Wilcoxon) a un coste 18x inferior. El conocimiento especializado supera la escala bruta en dominios de nicho.

6. Estudio de Ablacion

Evaluamos la contribucion de cada componente del pipeline de entrenamiento:

Configuracion	BLEU	F1	Δ vs Full
AgriLLM completo	0.87	0.93	—
− RLHF (sin alineamiento expertos)	0.81	0.86	-7 F1
− Datos PAC (sin normativa)	0.84	0.90	-3 F1
− Datos en espanol (solo EN)	0.72	0.74	-19 F1
LoRA r=4 (vs r=16)	0.83	0.88	-5 F1

⚠️ Hallazgo critico: La eliminacion de datos en espanol provoca una caida de 19 puntos F1, confirmando que el multilingüismo ES/EN es el componente mas critico para el mercado objetivo iberoamericano.

7. Discusion y Limitaciones

Limitaciones actuales:

Conocimiento fitosanitario limitado a cultivos mediterraneos (olivo, vid, citricos, cereales)
Sin soporte de imagenes (diagnostico visual requiere modelo multimodal)
Dataset de entrenamiento con sesgo hacia Espana peninsular; cobertura limitada de Canarias y Portugal
Actualizacion normativa PAC requiere re-training semestral

7.1 Direcciones Futuras

AgriLLM-Vision: Extension multimodal con LLaVA para diagnostico por imagen de cultivos
AgriLLM-Edge: Cuantizacion GGUF (Q4_K_M) para despliegue en dispositivos moviles con conectividad limitada
AgriLLM-LatAm: Expansion del corpus a cultivos tropicales (Mexico, Colombia, Peru)

8. Conclusion

Presentamos AgriLLM, el primer LLM de codigo abierto especializado en asesoria agricola mediterranea multilingüe. Nuestros principales hallazgos:

AgriLLM supera a GPT-4o en diagnostico fitosanitario mediterraneo con solo 7B parametros
El ajuste con LoRA sobre datos curados de dominio supera la escala bruta de modelo
El costo de inferencia es 18x inferior a los modelos propietarios comparables
El modelo, dataset y demo estan disponibles libremente en Hugging Face Hub

9. Artefactos en Hugging Face Hub

Todos los artefactos de investigacion se publican mediante el Publicador de Papers de Cultiva IA y estan vinculados a esta pagina de paper via tags arxiv:2506.14321:

🤖

Modelo

cultivaia/agri-llm-7b-lora

Mistral-7B + LoRA adapters · Apache-2.0

agriculture lora spanish mistral

📦

Dataset

cultivaia/agri-advisory-corpus-es

45K samples · CC-BY-4.0 · ES/EN

agriculture Q&A 100K tokens

🚀

Space (Demo)

cultivaia/agri-llm-demo

Gradio · Chat con AgriLLM · Libre

gradio demo chat

Flujo de Publicacion con Publicador de Papers Cultiva IA

Indexar paper desde arXiv ✓ Completado

El paper arXiv:2506.14321 queda disponible en hf.co/papers/2506.14321

uv run scripts/paper_manager.py index --arxiv-id "2506.14321"

Vincular al modelo ✓ Completado

Tag arxiv:2506.14321 anadido automaticamente a cultivaia/agri-llm-7b-lora

uv run scripts/paper_manager.py link --repo-id "cultivaia/agri-llm-7b-lora" --repo-type "model" --arxiv-id "2506.14321"

Vincular al dataset ✓ Completado

Citation BibTeX insertada en README de cultivaia/agri-advisory-corpus-es

uv run scripts/paper_manager.py link --repo-id "cultivaia/agri-advisory-corpus-es" --repo-type "dataset" --arxiv-id "2506.14321"

Reclamar autoria ✓ Verificado

Los 3 autores han reclamado y verificado su autoria. Papers visibles en perfil publico.

uv run scripts/paper_manager.py claim --arxiv-id "2506.14321" --email "research@cultivaia.com"

Model Card — Metadata YAML generada

--- # cultivaia/agri-llm-7b-lora — README.md language: - es - en license: apache-2.0 tags: - agriculture - text-generation - lora - mediterranean - arxiv:2506.14321 # generado automaticamente por HF Hub library_name: peft base_model: mistralai/Mistral-7B-v0.3 datasets: - cultivaia/agri-advisory-corpus-es metrics: - bleu - f1 pipeline_tag: text-generation ---

10. Referencia y Cita BibTeX

Si utilizas AgriLLM en tu investigacion, por favor cita nuestro trabajo:

@article{fuentes2026agri, title = {AgriLLM: Fine-Tuning Large Language Models for Precision Agriculture Advisory Systems}, author = {Fuentes, Laura and Gimeno, Alvaro and Mendes, Sofia}, journal = {arXiv preprint arXiv:2506.14321}, year = {2026}, url = {https://huggingface.co/papers/2506.14321}, institution = {Cultiva IA Research Lab, Madrid, Spain}, license = {Apache-2.0} }

Reproducibilidad — Recursos

Modelo: hf.co/cultivaia/agri-llm-7b-lora

Dataset: hf.co/datasets/cultivaia/agri-advisory-corpus-es

Paper HF: hf.co/papers/2506.14321

Demo: hf.co/spaces/cultivaia/agri-llm-demo

Codigo: github.com/cultivaia/agri-llm

Licencia: Apache-2.0

AgriLLM: Fine-Tuning de Grandes Modelos de Lenguaje para Sistemas de Asesoria Agricola de Precision

1. Introduccion

1.1 Por que Mistral-7B + LoRA

2. Antecedentes y Trabajo Relacionado

3. Metodologia: AgriLLM

3.1 Funcion de Perdida LoRA

3.2 Configuracion de Entrenamiento

4. Experimentos

5. Resultados

6. Estudio de Ablacion

7. Discusion y Limitaciones

7.1 Direcciones Futuras

8. Conclusion

9. Artefactos en Hugging Face Hub

Flujo de Publicacion con Publicador de Papers Cultiva IA

Model Card — Metadata YAML generada

10. Referencia y Cita BibTeX

AgriLLM: Fine-Tuning de Grandes Modelos de Lenguaje
para Sistemas de Asesoria Agricola de Precision