Existen 2 grandes escuelas a la hora de usar LangChain: La primera será usar un modelo desplegado por alguna empresa (OpenAI con GPT por ejemplo), la segunda será descargar y correr un modelo propio localmente.

La primer opción siempre será más sencilla con la condición de que se debe pagar por consumir los servicios remotamente, sin embargo, la segunda, a parte de permitir soportar los costos personalmente, implicará una mayor personalización del modelo.

A continuación exploraremos esta segunda opción, donde descargaremos un modelo desde Hugging Face con la librería transformers y luego la configuraremos con Langchain.

Librerías y dependencias

Usaremos langchain para manejar el pipeline entero del modelo.

%%capture
!pip install langchain

Posteriormente instalaremos transformes de hugging face y einops/accelerate para distribuir el modelo en gpu/cpu de ser posible.

%%capture
!pip install -q transformers einops accelerate

Con estos requisitos instalados, podemos iniciar con la importación de paquetes. De transformers usaremos el autotokenizer y el pipeline, además de aprovechar una funcionalidad específica de PyTorch.

from transformers import AutoTokenizer, pipeline
import torch