Académicos de IA e Ingeniería›⚡ Ejecutando tu primer modelo›Lecciones›Your First Inference in 30 Minutes

⚡

Ejecutando tu primer modelo • Principiante⏱️ 25 min de lectura

Your First Inference in 30 Minutes

Obtén tu primer resultado en 30 minutos

Después de descargar un modelo de código abierto, puedes ejecutarlo en tu propia computadora portátil o alquilar un servidor en la nube, configurando CPU, GPU y el entorno de ejecución según sea necesario. El hardware diferente requiere diferentes preparativos.

Si solo quieres probar qué puede hacer un modelo primero, ModelScope Notebook ofrece un punto de entrada gratuito. Abre un navegador, selecciona una instancia en ejecución y puedes escribir código, descargar modelos y ver resultados directamente en la página web.

Esta lección te guía a través de crear un Notebook, verificar el entorno y cargar un modelo. Sigue los pasos para ver tu primer resultado.

Abre el Notebook y conéctate a una instancia en ejecución

Ve al hub de modelos, encuentra el modelo Qwen/Qwen3-ASR-1.7B y haz clic en "Notebook Quick Development" a la derecha para crear un notebook de ModelScope.

Enlace del modelo: https://www.modelscope.cn/models/Qwen/Qwen3-ASR-1.7B

Haz clic en "Connect Runtime" en la esquina superior derecha para seleccionar una instancia. Aquí elegimos GPU para la demostración. Puedes seleccionar una imagen preinstalada adecuada según las dependencias del modelo.

Verifica si el entorno está listo

Después de cargar la instancia, lo primero es verificar el entorno actual. Puedes ejecutar los siguientes comandos en el notebook:

Verificar la versión de Python

!python3 --version

Resultado:

Verificar las dependencias relacionadas

Cada modelo tiene dependencias diferentes. Necesitas consultar la tarjeta del modelo para obtener información. Según la tarjeta del modelo Qwen3-ASR-1.7B, la dependencia de inferencia es qwen3-asr. Si qwen3-asr falta en el entorno, necesitas instalarlo tú mismo.

# Verificar dependencia
!pip3 show qwen-asr
# Instalar qwen-asr (si falta)
!pip3 install -U qwen-asr

Resultado:

Resultado de la consulta de instalación exitosa:

Verificar la configuración de CPU

!lscpu

Lección 1 de 50% completado

←Volver al programa

Discusión

Iniciar sesión unirse a la discusión

Verificar GPU y memoria de video

Carga el modelo directamente por su nombre

Consulta el código de ejemplo en la tarjeta del modelo para la carga. Los archivos del modelo necesarios se descargarán automáticamente.

import torch
from qwen_asr import Qwen3ASRModel
 
model = Qwen3ASRModel.from_pretrained(
    "Qwen/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("¡Modelo cargado exitosamente!")

Si deseas descargar el modelo por separado, consulta el método de descarga de modelos en la sección 2.5 de este libro. Por ejemplo, para descargar el modelo en el directorio /mnt/workspace/Qwen3-ASR-1.7B, usando la descarga por línea de comando como ejemplo, ejecuta el siguiente comando en la terminal:

# Instalar ModelScope (si no está instalado)
!pip3 install modelscope
# Descargar el repositorio completo del modelo
!modelscope download --model Qwen/Qwen3-ASR-1.7B --local_dir /mnt/workspace/Qwen3-ASR-1.7B

Si tienes los archivos del modelo descargados, puedes reemplazar Qwen/Qwen3-ASR-1.7B con la ruta de tu modelo.

import torch
from qwen_asr import Qwen3ASRModel

model = Qwen3ASRModel.from_pretrained(
    "/mnt/workspace/Qwen3-ASR-1.7B",
    dtype=torch.bfloat16,
    device_map="cuda:0",
    # attn_implementation="flash_attention_2",
    max_inference_batch_size=32, # Batch size limit for inference. -1 means unlimited. Smaller values can help avoid OOM.
    max_new_tokens=256, # Maximum number of tokens to generate. Set a larger value for long audio input.
)
print("¡Modelo cargado exitosamente!")

Pasa un archivo de audio y ve qué reconoce

Una vez que el modelo está cargado, puedes pasar archivos de audio para la inferencia del modelo. Puedes reemplazar el valor de audio con la ruta de tu archivo de audio.

results = model.transcribe(
    audio="https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("¡Inferencia del modelo completada!")

Puedes reemplazar el valor de audio con la ruta de tu archivo de audio para la inferencia del modelo. Haz clic derecho en la carpeta "DSW-GPU" en el espacio de trabajo izquierdo, haz clic en "Upload", selecciona tu archivo de audio local y se cargará en la carpeta "DSW-GPU" del entorno Notebook.

Luego modifica el código de la siguiente manera:

results = model.transcribe(
    audio="/mnt/workspace/asr_en.wav",
    language=None, # set "English" to force the language
)
 
print(results[0].language)
print(results[0].text)
print("¡Inferencia del modelo completada!")

El código y los archivos relacionados de este capítulo se encuentran en: https://www.modelscope.cn/gallery/liucong/54c2ca38-b797-43d1-97ab-4b9f569aaa95

Fundamentos de IA

Maestría en IA

Práctica de IA

Claude Academia

Laboratorio

Desarrollo profesional