edenhill/kafkacat
Kafkacat
Kafkacat هي مجموعة من أدوات سطر الأوامر للتفاعل مع مجموعات Apache Kafka. توفر ثنائياً غير JVM لإنتاج واستهلاك الرسائل، وفحص بيانات تعريف المجموعة، وتصحيح أخطاء بروتوكول Kafka عبر الطرفية.
تعمل الأداة كمنتج ومستهلك قادر على دفع البيانات من الملفات أو الإدخال القياسي وقراءة الرسائل من مواضيع وأقسام محددة. تتضمن مفتشاً لبيانات التعريف لاسترجاع حالة المجموعة وتكوينات الأقسام بنص عادي أو JSON، بالإضافة إلى مصحح بروتوكول لفحص إزاحات الرسائل، والطوابع الزمنية، والحمولات الثنائية.
يغطي المشروع فك تسلسل البيانات باستخدام المخططات أو فك التشفير البدائي والاستعلام القائم على الإزاحة لاسترجاع البيانات من طوابع زمنية دقيقة. كما يوفر أدوات محاكاة لتشغيل وسطاء مؤقتين في الذاكرة لاختبار التكامل وقياس الأداء.
Features
- Kafka Message Production - Functions as a Kafka producer to push data from local files or standard input into clusters.
- Kafka Message Browsers - Acts as a message browser to read and inspect raw data from specific Kafka topics in the console.
- Kafka Producer and Consumer Utilities - Provides a high-performance producer and consumer for sending data to and reading messages from Kafka.
- Kafka Protocol Implementations - Implements the Kafka wire protocol natively via librdkafka for high-performance communication with brokers.
- Cluster Metadata Inspections - Offers tools to inspect the distribution of topics and partitions across a Kafka cluster.
- Kafka Cluster Administration - Provides utilities to inspect topic metadata and partition configurations to verify Kafka broker state.
- Command-Line Tools - Provides a suite of command-line utilities for producing, consuming, and administering Kafka clusters.
- Metadata Inspectors - Includes a metadata inspector to retrieve and display cluster state and topic configurations in plain text or JSON.
- Kafka Schema Deserializers - Converts binary Kafka record keys and values into structured data using schemas or primitive decoders.
- Offset Querying - Provides functionality to retrieve specific message positions based on timestamps for precise time-range consumption.
- Offset Configurations - Allows querying specific message positions by timestamp to consume data from a precise point in time.
- Topic Partition Mapping - Queries cluster state to automatically map Kafka topics to the correct broker nodes before data exchange.
- Protocol Debuggers - Provides a protocol debugger for inspecting message offsets, timestamps, and binary data payloads.
- Native Language Runtimes - Provides a compiled non-JVM binary to eliminate the memory and CPU overhead of a Java Virtual Machine.
- Standard Input/Output Streams - Utilizes standard input and output streams to integrate with other command-line tools in a pipeline.
- Schema-Based Decoders - Transforms binary Kafka payloads into readable text using external schema definitions during retrieval.
- Data Ingestion Pipelines - Generic command-line producer and consumer for Kafka.
