Las cadenas constan de una serie de eslabones que realizarán tareas específicas hasta desembocar en el LLM. A continuación indagaremos sobre las utility chain que son cadenas ya compuestas por varios eslabones.

A continuación haremos uso de una utility chain para resumir el contenido de un paper de 18 páginas sobre criptografía.

Librería y dependencias

Iniciaremos con la instalación de openai y langchain.

%%capture
!pip install openai langchain

Ahora instalaremos unstructured para el manejo de datos desestructurados (como strings), pypdf para la manipulación de estos archivos, chromadb como base de datos vectorial y tiktoken para gestionar el proceso de tokenización de palabras.

%%capture
!pip install unstructured pypdf chromadb tiktoken

Carga de API KEY

Cargaremos la API Key a variables de entorno

import os
from getpass import getpass

OPENAI_API_KEY = getpass("Enter key: ")
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY