SambaNova Revoluciona la Inference con DeepSeek-R1
SambaNova ha dado un gran salto en la tecnología de IA al presentar su modelo DeepSeek-R1 671B, que ya está funcionando en SambaNova Cloud a impresionantes velocidades de 198 tokens por segundo (t/s). Esta solución no solo es la más rápida de su tipo, sino que también ha reducido los costos de entrenamiento de IA en un 10x, rompiendo las barreras de costo que han limitado su adopción generalizada.
Avances en la Eficiencia de IA
La notable velocidad de DeepSeek-R1 no ha estado exenta de desafíos. Anteriormente, los altos costos de inferencia y las ineficiencias habían mantenido a este poderoso modelo a la vanguardia del desarrollo, pero SambaNova ha hecho posible la inferencia en tiempo real y asequible a gran escala, abriendo nuevas puertas para desarrolladores y empresas.
Rodrigo Liang, CEO y cofundador de SambaNova, destaca que «nuestra plataforma, impulsada por el chip SN40L RDU, está llevando a DeepSeek a velocidades 5 veces superiores a la de las últimas GPU en un solo rack, y hacia finales de año, ofreceremos una capacidad 100 veces mayor para el DeepSeek-R1».
La Clave: Eficiencia en Inferencia
Una de las preocupaciones más grandes para el uso de DeepSeek-R1 había sido su necesidad de un recurso de computación significativo para la inferencia, lo que elevaba los costos. Sin embargo, la innovadora arquitectura de flujo de datos y el diseño de memoria de tres niveles de SambaNova han permitido que el sistema reduzca los requisitos de hardware de 40 racks de GPU a solo uno, maximizando así la eficiencia.
«Los modelos como DeepSeek-R1 son unos de los más avanzados en el ámbito de la IA, pero su verdadero potencial había estado limitado por la ineficiencia de las GPU», afirma Liang.
Impacto en el Mercado
Numerosos usuarios, incluidos equipos de ingeniería de Fortune 500, hacen uso de Blackbox AI para optimizar su desarrollo de software. Robert Rizk, CEO de Blackbox AI, expresa: «Nuestra colaboración con SambaNova es crucial para acelerar nuestros flujos de trabajo de codificación autónoma. Las capacidades de los chips de SambaNova son inigualables para servir al modelo completo R1 671B, lo que garantiza una precisión superior».
Un Futuro Prometedor en IA
Sumti Jairath, arquitecto principal de SambaNova, explica que «DeepSeek-R1 es ideal para la arquitectura de memoria de tres niveles de SambaNova», y anticipa que el modelo podría alcanzar una capacidad total de 20,000 tokens/s en el futuro próximo. La compañía se está preparando para alcanzar más de 100 veces la capacidad global actual para DeepSeek-R1, convirtiéndola en la solución más eficiente para modelos de razonamiento.
Acceso Anticipado a DeepSeek-R1
El modelo completo DeepSeek-R1 671B ya está disponible para todos los usuarios en la nube de SambaNova. Para explorar esta innovadora tecnología, visite SambaNova Cloud.
¿Quién es SambaNova?
SambaNova es una compañía que facilita la adopción rápida de capacidades avanzadas de IA generativa en el entorno empresarial. Fundada en 2017 en Palo Alto, California, por expertos en diseño de hardware y software, la empresa ha captado la atención de importantes inversores a nivel global. Para más información, visite sambanova.ai.
Con esta noticia, SambaNova se posiciona como un líder en la evolución de la tecnología de IA, ofreciendo soluciones innovadoras que transforman la manera en que las empresas usan la inteligencia artificial.
