El valor agregado que ofrece LangChain es real, sin embargo, su implementación, aunque a nivel de código es sencilla, a nivel de infraestructura puede tener mayor complejidad, indaguemos en ello.
La barrera de entrada a estos modelos hoy en día es extremadamente baja, especialmente dada la alta competencia y la activa representación del open source, por lo que los costos para usar plataformas de terceros son muy bajos.
Es importante tener en cuenta la masificación de los usuarios, por lo que no importa si un prompt cuesta fracciones de centavos, si la cantidad de usuarios se eleva a una escala superior a las decenas de miles, los costos pueden subir exponencialmente.
Otro factor vital es el de la implementación de estos sistemas, donde es vital tener a bordo un equipo de developers capaz de montar sistemas de alta concurrencia para varios usuarios a la vez.
Si usamos proveedores a la hora de implementar LLM estamos propensos a que nuestros datos acaben almacenados en bases de datos desconocidas con propósitos inexactos. Si lo anterior no es especialmente preocupante o relevante a nivel organizacional entonces podremos seguir este rumbo, sin embargo, si manejamos data sensible propia o relacionada a nuestros usuarios entonces debemos abordar el problema desde otra perspectiva.
Para evitar este envío de información podemos montar modelos propios desde el open source, donde correremos los recursos localmente y tendremos control sobre los componentes. Podemos usar agentes open source, embeddings open source, bases de datos vectoriales open source y todo lo demás. Esta alternativa dará mayor control sobre el flujo de los datos pero implicará nuevos costos que deberán ser tenido en cuenta a la hora de determinar la viabilidad del proyecto.
La implementación per sé de estos modelos no es compleja (especialmente gracias a la titánica tarea de Hugging Face con transformers y LangChain con su librería), por lo que un equipo con suficiente experiencia podría montar un sistema bajo una alta concurrencia en un par de semanas. Si se trata de una organización pequeña sin talento especializado, podría tomar algunos días la simple tarea de conectar con las APIs, por lo que la implementación dependerá más de la necesidad y capacidad de los developers y no la complejidad de la tecnología.