DeepSeek ha publicado DeepInfer, código para ejecutar su modelo V4.1 Flash en un trabajo de inferencia sin conexión. La ruta publicada es especialmente específica: Linux, un compilador y una versión de Python recientes, y GPU NVIDIA SM100 o NPU Huawei Ascend 950. Esta guía ayuda a un ingeniero a decidir si cumple esos requisitos, compilar el código y comprobar los resultados del ejemplo del repositorio. BIG CHANGE revisó la documentación y los archivos fuente en el commit 774ce244; no compilamos ni ejecutamos DeepInfer.

El gran cambio

  • Qué ha cambiado: DeepSeek documenta ahora una vía de inferencia local para V4.1 Flash, además del modelo alojado y las API. Un equipo con aceleradores compatibles puede inspeccionar y ejecutar el código publicado del motor, sin depender únicamente de una solicitud remota para este modelo.
  • Por qué importa: Esto ofrece a los equipos de infraestructura una forma concreta de evaluar el control sobre una ejecución del modelo, su checkpoint y el entorno que lo rodea. La compilación y el ejemplo publicados son un punto de partida para evaluar; DeepSeek enumera expresamente componentes adicionales necesarios para un servicio de inferencia completo.
  • Qué conviene observar: La decisión de atender cargas reales sigue dependiendo de un sistema de caché KV, de la separación de la codificación visual, el prefill y la decodificación, y del equilibrio de carga entre réplicas de paralelismo de datos. El ejemplo sin conexión de DeepInfer no resuelve esas decisiones de integración ni el costo operativo de un servicio.

Comprueba primero la máquina y el modelo

Esta guía es para un ingeniero con acceso a un clúster de aceleradores compatible, autorización para instalar código fuente y dependencias, y permiso para obtener el checkpoint DeepSeek-V4.1-Flash-1017. El repositorio solo incluye la familia DeepSeek-V4.1-Flash entre los modelos compatibles. Nombra GPU NVIDIA SM100 y NPU Huawei Ascend 950, con Linux, GCC 13 o posterior y Python 3.12. Las compilaciones para NVIDIA requieren CUDA 13; las de Ascend, CANN 9.2. Esos son los requisitos declarados por DeepSeek, no el resultado de una prueba de compatibilidad de nuestro laboratorio.

Planifica el hardware acelerador, la capacidad suficiente para el checkpoint y el costo de ejecutarlo. El README no proporciona un dimensionamiento general de memoria ni una estimación del costo en dólares para el ejemplo sin conexión. Su sección de rendimiento remite a gráficos y a un script de barrido de configuraciones, pero no ofrece una tabla numérica de prefill y decodificación que sirva para estimar una compra. Comprueba la capacidad y los precios de tu propio entorno antes de adquirir hardware o comprometerte con una asignación en la nube.

La primera ejecución predeterminada descarga el checkpoint en la caché de Hugging Face. En su lugar se puede usar un directorio local de modelo de Hugging Face ya preparado, que contenga config.json y archivos safetensors. DeepSeek afirma que esa ruta de directorio local permite ejecutar sin acceso a la red para obtener el modelo. No demuestra que la compilación inicial, la instalación de dependencias o la preparación del checkpoint se hagan sin conexión.

Compila y ejecuta el ejemplo publicado

Los comandos siguientes siguen el README de primeros pasos y la guía de ejemplos de DeepSeek. Son instrucciones basadas en la documentación, no pasos que BIG CHANGE haya probado.

  1. Confirma el entorno. En Linux, compara el modelo del acelerador, la versión de GCC y la de Python con la lista anterior. Crea un entorno de Python 3.12 nuevo y vacío y actívalo antes de instalar DeepInfer. Confirma CUDA 13 en NVIDIA o CANN 9.2 en Ascend. Detente aquí si la máquina queda fuera de la lista de compatibilidad documentada; el repositorio no establece una vía para otras plataformas.
  2. Obtén el código fuente y elige el acelerador. Trabaja desde una copia de confianza del repositorio de DeepInfer. Para la ruta de NVIDIA, mantén exportada la selección del acelerador en la misma terminal que se usará para compilar y ejecutar:
Terminal
   export DEEPINFER_ACCELERATOR=nvidia
   ./build.sh

Usa ascend en lugar de nvidia en el hardware Ascend compatible. El script de compilación instala los requisitos de Python específicos del acelerador, compila las dependencias incluidas y después compila DeepInfer. La ruta de NVIDIA también reinstala la versión del paquete NCCL indicada por el script. Revisa ese script y sus listas de dependencias según la política de software de tu organización antes de ejecutarlos.

  1. Elige el origen del checkpoint. Si no se indica otra opción, el ejemplo obtiene deepseek-ai/DeepSeek-V4.1-Flash-1017 y lo guarda en la caché de Hugging Face en el primer uso. Para una copia local preparada, establece DEEPINFER_HF_MODEL_DIR en ese directorio. La guía de ejemplos indica que un --model_name explícito tiene prioridad sobre esta variable de entorno; acepta un ID de modelo o un directorio local de checkpoint de Hugging Face. Verifica los permisos del directorio y del checkpoint antes de iniciar una ejecución.
  2. Ejecuta el ejemplo desde la raíz del repositorio. El README principal de DeepSeek usa:
Terminal
   python examples/offline_inference.py

El código fuente del ejemplo utiliza de forma predeterminada --ep 8 y ofrece --ep, --dp y --cp como opciones para la distribución en paralelo. La guía de ejemplos muestra distribuciones de ejemplo y remite a --help. Ajusta estos parámetros a los dispositivos realmente asignados; no supongas que la configuración predeterminada es apropiada para una máquina más pequeña.

  1. Comprueba qué produjo el ejemplo. El script comprueba mediante aserciones que cada ejemplo devuelve tokens generados con logaritmos de probabilidad finitos. Imprime la descripción de entrada de cada rango de paralelismo de datos, la salida decodificada, el número de tokens de salida, la tasa de aceptación de tokens del borrador y decode_ppl. Una salida satisfactoria del proceso con esos registros confirma que ese ejemplo concreto se ejecutó en tu entorno. Inspecciona por separado el contenido antes de usarlo para tomar decisiones: las comprobaciones del script no certifican la exactitud de las respuestas, la fiabilidad del servicio ni el rendimiento en pruebas comparativas. La opción --check_structured_output ejecuta las comprobaciones de expresiones regulares, JSON y EBNF del repositorio después de las salidas del ejemplo.

Recupérate de una ejecución fallida

Si falla la compilación, compara primero la plataforma, el compilador, la versión de Python y la de CUDA o CANN con los requisitos del repositorio. Comprueba que el entorno de Python estuviera vacío antes de la instalación y que DEEPINFER_ACCELERATOR siguiera definida en la terminal. El script de compilación tiene rutas de dependencias distintas para NVIDIA y Ascend; compilar para el acelerador equivocado no demuestra que el modelo sea incompatible.

Si al iniciar no se encuentran los pesos o se intenta descargarlos inesperadamente, comprueba si --model_name apunta a un ID de modelo o a un directorio local y si DEEPINFER_HF_MODEL_DIR apunta a un checkpoint local completo. La guía de ejemplos exige config.json y archivos safetensors en el directorio local. Si el ejemplo arranca pero falla una aserción, guarda el comando, las versiones del entorno y el texto del error para investigarlo. No consideres una salida parcial como una ejecución de inferencia satisfactoria.

Usa entradas de ejemplo sin información sensible para evaluar. Mantén checkpoints, instrucciones, salidas y registros dentro de los límites de acceso permitidos por tu organización, y revisa las dependencias y archivos de modelo descargados antes de ejecutarlos. Una ruta local de modelo limita la descarga del modelo por el ejemplo; por sí sola no audita el acceso a la red, protege las entradas ni convierte el código en un servicio privado de producción.

Qué deja el ejemplo en manos del operador

DeepSeek describe DeepInfer como el framework que sustenta su propio servicio a gran escala, mientras presenta la versión pública como inferencia sin conexión. Su README dice expresamente que un servicio completo aún necesita un sistema de caché KV, separación del codificador visual, el prefill y la decodificación, y equilibrio de carga entre réplicas de paralelismo de datos para prefill y decodificación. El motor puede contener parte de esa funcionalidad, pero este repositorio no ofrece un endpoint alojado listo para usar. Los resultados del ejemplo son una comprobación útil de compilación e inferencia, no una prueba de capacidad de procesamiento o disponibilidad a la escala del servicio de DeepSeek.

Esta guía amplía nuestro reportaje sobre la actualización de V4.1 Flash y las API Search y Fetch. Esas API responden a una cuestión de acceso diferente. DeepInfer ofrece a un operador con los medios técnicos necesarios una ruta documentada para evaluar la ejecución del modelo sin conexión. Elegir entre ambas vías requiere su propia evaluación del hardware, la integración, la privacidad y el costo.

Fuentes y lecturas adicionales