Innovación en IA: SambaNova Revoluciona el DeepSeek-R1
SambaNova, la empresa líder en IA generativa, ha hecho un anuncio que promete transformar el panorama del aprendizaje automático. Hoy, su potente modelo DeepSeek-R1 de 671 mil millones de parámetros, funciona en SambaNova Cloud alcanzando velocidades de 198 tokens por segundo (t/s), un logro sin precedentes que supera cualquier competencia en el mercado.
Un Gran Avance en Costos de Entrenamiento de IA
El modelo DeepSeek-R1 ha logrado reducir los costos de entrenamiento de inteligencia artificial en un sorprendente 90%. Sin embargo, su amplia adopción había estado limitada anteriormente por altos costos de inferencia. SambaNova ha eliminado estos obstáculos, permitiendo a desarrolladores y empresas acceder a inferencias en tiempo real de manera rentable y escalable.
Rodrigo Liang, CEO y cofundador de SambaNova, explicó: «Con nuestro chip SN40L RDU, estamos logrando la máxima velocidad en el procesamiento de DeepSeek. Actualmente, podemos alcanzar hasta 198 tokens por segundo por usuario, y esperamos aumentar esta capacidad hasta cinco veces más que los últimos estándares de GPU para finales de año».
Potenciando la Eficiencia de Modelos de Razonamiento
El Dr. Andrew Ng, reconocido experto en inteligencia artificial y fundador de DeepLearning.AI, destacó que la posibilidad de ejecutar el modelo completo de DeepSeek-R1 representa un cambio radical para los desarrolladores. «Los modelos de razonamiento, como el R1, requieren generar una gran cantidad de tokens para ofrecer resultados sobresalientes. Aumentar su velocidad es fundamental», subrayó.
Por su parte, George Cameron, cofundador de Artificial Analysis, corroboró la eficiencia de esta implementación. «SambaNova ha logrado la velocidad de salida más alta registrada para DeepSeek-R1, lo cual es crucial para los modelos de razonamiento que demandan respuestas de alta calidad con tiempos de latencia reducidos».
Reducción Drástica en Requerimientos de Hardware
Uno de los logros más significativos de SambaNova es la reducción de los requisitos de hardware para el DeepSeek-R1. Gracias a su arquitectura de flujo de datos y diseño de memoria de tres niveles, los chips SN40L han logrado hacer que el procesamiento del modelo completo de 671B pase de requerir 40 racks a solo un rack, representando un avance en la eficiencia industrial.
«DeepSeek-R1 es uno de los modelos de IA más avanzados, y hasta ahora, su potencial estaba limitado por la ineficiencia de las GPUs. Sin embargo, hoy marcamos un cambio dramático al permitir inferencias a velocidades inigualables», concluyó Liang.
Preparándose para la Demanda Mundial
SambaNova está expandiendo rápidamente su capacidad para satisfacer la creciente demanda, y se proyecta que a finales de este año ofrecerá más de 100 veces la capacidad global actual para DeepSeek-R1. Esta ampliación convierte a sus RDUs en la solución más eficiente para modelos de razonamiento en el ámbito empresarial.
El modelo completo DeepSeek-R1 671B ya está disponible para todos los usuarios en SambaNova Cloud, permitiendo la integración de capacidades de IA generativa de vanguardia en empresas de todos los tamaños. Para más información y para probar este innovador sistema, visita cloud.sambanova.ai.
Acerca de SambaNova: Con base en Palo Alto, California y fundada en 2017 por expertos de la industria provenientes de Sun/Oracle y Stanford, SambaNova se posiciona no solo como un pionero en la tecnología de IA, sino también como un robusto proveedor de soluciones empresariales escalables.
