Los modelos de lenguaje de gran tama?o (LLM) han demostrado su utilidad en muchas ¨¢reas de aplicaci¨®n, pero el hecho de que sean grandes puede ser una fuente de problemas: responder a una consulta requiere muchos recursos de c¨®mputo, lo que hace que las consultas sean lentas y caras; los modelos son propietarios y tan grandes que deben ser alojados en una nube por un tercero, lo que puede ser problem¨¢tico para los datos sensibles; y entrenar un modelo es excesivamente caro en la mayor¨ªa de los casos. El ¨²ltimo problema puede resolverse con el patr¨®n RAG, que evita la necesidad de entrenar y afinar los modelos b¨¢sicos, pero los problemas de costo y privacidad suelen persistir. Por ello, cada vez hay m¨¢s inter¨¦s en los modelos de lenguaje peque?os (SLM). En comparaci¨®n con sus hermanos m¨¢s populares, tienen menos pesos y menos precisi¨®n, normalmente entre 3,5 y 10B par¨¢metros. sugieren que, en el contexto adecuado y si se configuran correctamente, los SLM pueden rendir o incluso superar a los LLM. Y su tama?o permite ejecutarlos en dispositivos perif¨¦ricos. Ya hemos mencionado el Gemini Nano de Google, pero el panorama est¨¢ evolucionando r¨¢pidamente, con Microsoft presentando su serie , por ejemplo.
