Awesome GitHub RepositoriesComputation Serving

SynapseML es una biblioteca de machine learning de Apache Spark diseñada para construir y escalar flujos de trabajo de machine learning y pipelines de datos a través de clústeres distribuidos. Sirve como framework de pipeline de machine learning distribuido y motor de inferencia distribuido para ejecutar predicciones aceleradas por hardware y tareas de deep learning en conjuntos de datos a gran escala. El proyecto funciona como una capa de integración de IA en la nube, permitiendo a los usuarios aplicar servicios de inteligencia artificial preentrenados para texto, visión y voz dentro de pipelines distribuidos. También incluye un conjunto dedicado de herramientas para la detección de anomalías distribuida para identificar valores atípicos multivariados y de series temporales en datos de alta dimensión. La biblioteca cubre una amplia gama de capacidades, incluyendo visión artificial distribuida para análisis de rostros e imágenes, procesamiento de lenguaje natural escalable para análisis de texto y traducción, y el entrenamiento de árboles de decisión potenciados por gradiente (gradient boosted decision trees). Proporciona herramientas para búsqueda de similitud mediante modelado de k-vecinos más cercanos, explicabilidad de modelos mediante atribución de características y la orquestación de flujos de trabajo de aprendizaje por refuerzo. El sistema utiliza una arquitectura de pipeline componible y admite la inferencia de modelos basada en ONNX para compatibilidad multiplataforma.