Descarga de modelos de IA

La pestaña de Modelos le permite descargar y cargar modelos de IA para incrustar texto, incrustar imágenes, capturar imágenes y generar texto. Se pueden descargar múltiples modelos de cada tipo, pero solo uno de cada tipo se puede cargar en la memoria para su uso en un momento dado.

Importante  Primero debe habilitar el servidor de modelos para que la pestaña Modelos esté disponible. Algunos modelos requieren que se incluya un token Hugging Face en la pestaña Model Server (Servidor de modelos) para descargar el modelo. Consulte Iniciar, detener y actualizar el servidor de modelo de IA.

Para añadir un modelo:

  1. Haga clic en la pestaña Servicios de IA > Modelos.

  2. Haga clic en Añadir modelo.

  3. En el cuadro de diálogo Add a Model (Añadir un modelo), introduzca la siguiente información:

    • Nombre del modelo: el nombre exacto del modelo tal y como aparece en el sitio web de Hugging Face.

    • Tipo de modelo: seleccione Incrustación, Captura de imágenes o Generación de texto.

    • Seleccione Yes (Sí) si desea dar permiso para descargar el modelo de Hugging Face.

  4. Haga clic en Añadir modelo.

Para descargar un modelo:

  1. Haga clic en la pestaña Servicios de IA > Modelos.

  2. Haga clic en Descargar, situado junto al modelo que quiere descargar.

  3. Si el modelo no se ha confirmado para la descarga, seleccione Sí en el cuadro de diálogo Añadir modelo y luego haga clic en el botón Añadir modelo.

Nota  Las descargas de modelos fallarán si requieren un token de Hugging Face y aún no ha ingresado uno en la pestaña Servidor de modelos.

Para cancelar la descarga de un modelo:

  1. Haga clic en la pestaña Servicios de IA > Modelos.

  2. Haga clic en Cancelar junto al modelo que se está descargando.

Para cargar un modelo en la memoria:

  1. Haga clic en la pestaña Servicios de IA > Modelos.

  2. Haga clic en Cargar, situado junto al modelo que quiere descargar.

Nota  Los modelos no se pueden cargar hasta que se hayan descargado.

Para administrar la configuración del modelo:

  1. Haga clic en la pestaña Servicios de IA > Modelos.

  2. Haga clic en Administrar en la parte superior derecha de la ventana.

  3. Cambie la cualquiera de los siguientes ajustes:

    • Directorio de caché de modelo local

    • Usar el motor de inferencia vLLM

    • Cargar modelos bajo demanda

    • Modelos de incrustación cargados máximos

    • Modelos de captura de imágenes cargados máximos

    • Modelos de generación de texto cargados máximos

    • Tokens de respuesta máximos: número máximo de tokens en las respuestas de generación de texto. Cuando se establece en -1, cada modelo genera tokens de salida hasta su propio límite. Limitar la respuesta le permite optimizar la latencia y el rendimiento de la respuesta.

Para eliminar un modelo:

  1. Haga clic en la pestaña Servicios de IA > Modelos.

  2. Haga clic en la casilla de verificación junto al modelo o modelos que quiera eliminar.

  3. Haga clic en Eliminar en la parte superior de la ventana.

  4. (Opcional) Seleccione Sí en el cuadro de diálogo Eliminar modelos para eliminar también los archivos de modelo correspondientes del disco.