Cultura

Alluxio agrega compatibilidad con Posix y S3 para análisis más rápidos en todo su sistema de distribución de archivos

El desarrollador de sistemas de archivos distribuidos Alluxio Inc. agregó hoy interfaces al almacenamiento Posix y Amazon Web Services Inc. S3 a su plataforma de orquestación de datos de código abierto, en un intento por facilitar la realización de la inteligencia empresarial y la capacitación de modelos utilizando el popular aprendizaje automático y marcos de análisis como TensorFlow y PyTorch.

Específicamente, Alluxio 2.5 agrega acceso a datos Posix a través de una interfaz nativa Java habilitada para Fuse, que es un marco de programación que permite que el código Java que se ejecuta en máquinas virtuales Java interactúe con aplicaciones nativas. Esto mejora el rendimiento hasta cinco veces para cargas de trabajo de alto rendimiento y alta concurrencia, como la capacitación en aprendizaje automático.

El apoyo a Posix es significativo, dijo el director ejecutivo Haoyuan Li, quien co-desarrolló la arquitectura de distribución de archivos mientras era estudiante de posgrado en la Universidad de California en Berkeley. La compañía se centró anteriormente en cargas de trabajo analíticas utilizando marcos de código abierto como Apache Spark, Apache Presto y Apache Hive, que funcionan principalmente con el formato Hadoop HDFS.

“El día de HDFS llegó y se fue”, dijo Li. “Los científicos de datos lo están reemplazando por almacenamiento en la nube y de objetos. Los marcos dominantes como PyTorch facilitan el aprovechamiento de la API de Posix para mejorar el rendimiento de dos a tres veces ”, lo que significa que los modelos que antes tardaban un año en entrenarse ahora se pueden completar en cuatro meses.

S3, HDFS y Posix comprenden la mayoría de las interfaces de programas de aplicación que utilizan las aplicaciones basadas en datos y las herramientas de gestión de datos, dijo la compañía. “A menudo, las tiendas de objetos tienen una desventaja de rendimiento para cosas como los metadatos”, dijo Li. “Tener a Alluxio frente a las tiendas de objetos reduce esa desventaja de rendimiento”.

Los administradores ahora pueden administrar todo el espacio de nombres del sistema de archivos de Alluxio entre los usuarios existentes utilizando una consola de almacenamiento de objetos estándar, lo que facilita la integración de archivos en canalizaciones de datos a gran escala.

LEER  Don Muerte: La Leyenda 💀🔥 - Cortometraje | Garena Free Fire

Se han agregado conectores de almacenamiento nuevos y mejorados para simplificar la integración con los principales proveedores de la nube, incluida la autenticación integrada y el rendimiento mejorado. La nueva versión también mejora el acceso a la API de S3 para una mejor compatibilidad con software de navegación como S3 Browser, que se utiliza para administrar el almacenamiento de S3.

Fundada en 2015, Alluxio ha recaudado 23 millones de dólares en fondos y tiene un buen impulso, dijo Li. “Vemos que los proveedores de nube utilizan cada vez más Alluxio como predeterminado para su orquestación”, dijo, y la compañía está colaborando con cinco de los seis principales proveedores de nube. La compañía dijo que se convirtió en flujo de caja positivo ya que su negocio creció un 350% en el año fiscal más reciente.

Imagen: Interwork / Facebook

Ya que estás aquí …

Muestre su apoyo a nuestra misión con nuestra suscripción de un clic a nuestro canal de YouTube (abajo). Cuantos más suscriptores tengamos, más YouTube le sugerirá contenido empresarial relevante y de tecnología emergente. ¡Gracias!

Apoya nuestra misión: >>>>>> SUSCRÍBETE AHORA >>>>>> a nuestro canal de YouTube.

… También nos gustaría contarte sobre nuestra misión y cómo puedes ayudarnos a cumplirla. El modelo comercial de SiliconANGLE Media Inc. se basa en el valor intrínseco del contenido, no en la publicidad. A diferencia de muchas publicaciones en línea, no tenemos un muro de pago ni ejecutamos anuncios publicitarios, porque queremos mantener nuestro periodismo abierto, sin influencia ni la necesidad de perseguir el tráfico.El periodismo, los informes y los comentarios sobre SiliconANGLE, junto con el video en vivo sin guión de nuestro estudio de Silicon Valley y los equipos de video trotamundos en el cubo – requiere mucho trabajo, tiempo y dinero. Mantener la calidad alta requiere el apoyo de patrocinadores que estén alineados con nuestra visión de contenido periodístico sin publicidad.

Si le gustan los informes, las entrevistas en video y otro contenido sin publicidad aquí, tómese un momento para ver una muestra del contenido de video respaldado por nuestros patrocinadores, tuitea tu apoyoy sigo volviendo a SiliconaANGLE.

Author

Moisés Cabrera

Encantado de emprender, el Internet es como pez en el rio para mi y quiero aportar valor a este mundo digital. Si crees que es de interés estos artículos no dudes en comentar.

¿Te gusta nuestro contenido?Recibe noticias y estrategias digitales a tu correo.

No pierda la oportunidad de recibir también descuentos de nuestros servicios.