mindcraft-bots/mindcraft
Mindcraft
Mindcraft este un framework pentru conectarea modelelor de limbaj mari la clienții de jocuri pentru a crea personaje autonome care comunică și efectuează acțiuni într-un mediu simulat. Acesta funcționează ca un orchestrator pentru boți, utilizând un sistem care face legătura între instrucțiunile AI de nivel înalt și pachetele de protocol de joc de nivel scăzut pentru a permite executarea sarcinilor în joc.
Sistemul utilizează retrieval-augmented generation pentru a selecta istoricul conversațiilor relevante și exemplele de cod prin regăsirea contextului bazată pe embedding-uri. Suportă dezvoltarea unor personaje AI specifice prin configurații de profil și facilitează coordonarea multi-agent, permițând mai multor personaje autonome să colaboreze prin limbaj natural și partajarea resurselor pentru a atinge obiective comune.
Framework-ul include un sistem de sarcini orientat pe obiective care descompune obiectivele complexe în pași procedurali și îi validează în raport cu stările lumii. Oferă capabilități pentru orchestrarea lumilor paralele pentru a rula experimente concurente în medii izolate, alături de integrarea text-to-speech pentru narațiunea audio în timp real a acțiunilor agentului.
Proiectul include utilitare pentru importarea fișierelor de lume personalizate și sincronizarea fișierelor de log și a configurațiilor colectate către stocarea cloud la distanță.
Features
- LLM-Driven Agent Loops - Provides the central loop that processes game state and LLM responses to execute actions in the world.
- LLM Integrations - Connects large language models to Minecraft game clients to create autonomous characters capable of performing complex in-game tasks.
- Multi-Agent Coordination Systems - Implements a framework where multiple specialized AI agents collaborate on complex in-game tasks by sharing state and delegating sub-processes.
- Agent Persona Configurations - Uses external configuration files to map backend models and system prompts to specific agent identities.
- Agentic RAG Platforms - Integrates reasoning agents with retrieval-augmented generation to fetch relevant conversation history and coding examples for improved behavior.
- Multi-Agent Collaboration Systems - Facilitates cooperation between multiple agents through natural language communication and resource sharing to achieve shared objectives.
- Agent Persona Definitions - Defines agent behavior and constraints through profile-based system prompts and model configurations.
- Autonomous Agent Simulations - Provides a simulated environment to evaluate the performance of autonomous AI agents on complex tasks.
- Autonomous Goal Pursuit - Executes predefined high-level goals such as item collection to drive autonomous agent behavior.
- LLM Model Integrations - Provides the mechanism for integrating large language models into the game environment to drive autonomous characters.
- Persona Behavioral Refinement - Refines character behaviors and prompts to control how AI agents interact and speak.
- Procedural Task Decomposition - Decomposes complex objectives into smaller procedural steps validated against the game world and inventory.
- Game Automation Bots - Uses the Mineflayer framework to automate in-game tasks like construction and item collection.
- Minecraft Bot Frameworks - Integrates large language models with Minecraft bots to create characters that communicate and act.
- Bot Orchestration Frameworks - Provides a management layer for Mineflayer bots to coordinate multi-agent collaboration and task execution via natural language.
- Contextual Information Retrieval - Uses embedding-based similarity search to select relevant conversation history and code snippets to ground AI responses.
- Contextual Retrieval for Agents - Implements embedding-based retrieval of conversation and code context to improve the precision of agent prompts.
- Game AI Environments - Provides a platform for running parallel isolated game worlds to evaluate how LLM agents handle procedural goals.
- World-State Goal Definitions - Allows creating new objectives by specifying target items and inventories to validate agent success.
- Game Protocol Abstractions - Uses Mineflayer to translate high-level AI instructions into low-level Minecraft protocol packets.
- Parallel World Simulations - Launches multiple isolated game instances simultaneously to run concurrent autonomous agent experiments.
- Scenario-Based Agent Evaluation - Runs agents through generated scenarios to evaluate their ability to complete complex procedural goals.
