La inteligencia artificial (IA) es el tema del momento, pero usarla seriamente presenta desafíos clave: privacidad y costos. Sacarle provecho implica manejar datos confidenciales, y hacerlo en la nube puede generar desconfianza por el uso no autorizado de información.
Además, cuando se integra en procesos productivos, los costos de cómputo pueden acumularse rápidamente debido a la necesidad de amortizar las costosas infraestructuras de servidores con GPUs de alto rendimiento. Surge así la idea de usar IA localmente en hogares o empresas. Esto implica contar con workstations dedicadas que alojan modelos de IA open source.
Lo anterior, permite personalizar servicios tipo ChatGPT con datos propios para mejorar la interacción y los resultados. Estas estaciones ya se usan en entornos académicos y diversas industrias como medicina, marketing y administración.
Estos equipos cuentan con procesadores potentes de al menos 16 núcleos y entre 128 y 256 GB de memoria RAM (como Kingston FURY Renegade PRO). Cabe destacar que, el corazón es la GPU con al menos 24 GB de VRAM para procesar modelos sin retrasos.
Más requerimientos para que tu inteligencia artificial funcione al máximo…
También se requiere almacenamiento NVMe de alta velocidad para manejar grandes archivos sin demoras. Estos equipos pueden superar los USD 10,000, pero el uso compartido justifica la inversión.
Para presupuestos menores, se puede empezar con equipos que incluyan procesadores gamer de 8 núcleos, 32-64 GB de RAM. Además, deben poseer un SSD rápido, y tarjetas gráficas de AMD o NVIDIA con al menos 16-24 GB de VRAM.
Llega a WhatsApp el modo Moana: Cómo activarlo y para qué sirve
Por otro lado, los nuevos laptops “IA PC” aún no tienen la potencia para ejecutar modelos completos de manera local. Los mencionados están diseñados para complementar el uso en la nube. Sin embargo, los modelos futuros traerán más capacidad de procesamiento y memoria.
Lo anterior permitirá eventualmente contar con agentes locales de alto rendimiento en laptops, facilitando el uso de IA en cualquier lugar.