Awesome GitHub RepositoriesConversation Format Normalization

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

AdalFlow es un framework de agentes de IA autónomos y una librería de aplicaciones LLM diseñada para construir flujos de trabajo modulares. Sirve como una interfaz agnóstica al modelo y orquestador de pipelines RAG, permitiendo a los usuarios desarrollar agentes ReAct que utilizan razonamiento iterativo y ejecución de herramientas externas para resolver tareas complejas. El proyecto se distingue por un sistema de optimización de prompts que utiliza descenso de gradiente textual para refinar automáticamente las plantillas de prompts y ejemplos de pocos disparos (few-shot). Trata la retroalimentación del modelo como una señal diferenciable, permitiendo una forma de retropropagación de LLM para mejorar iterativamente la calidad de la salida basada en métricas de evaluación. El framework cubre una amplia superficie de capacidades, incluyendo generación aumentada por recuperación (RAG) con búsqueda semántica vectorial y reranking, rastreo de ejecución basado en spans para observabilidad y análisis estructurado basado en esquemas. Proporciona una capa de comunicación unificada para numerosos proveedores de modelos propietarios y de código abierto, y admite la conversión de funciones de Python en interfaces de herramientas estandarizadas. El sistema está implementado en Python y se integra con MLflow para el seguimiento y análisis de flujos de trabajo.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS