Graphinstruct
C 70 completedPipeline State
completedPipeline Metadata
AI Prompt
Catalog Information
A benchmark framework that evaluates large language models on progressively generating graphs from natural language instructions.
Description
GraphInstruct provides a structured benchmark for assessing how well large language models can generate graph visualizations from textual instructions. It includes a curated set of progressive tasks that incrementally increase in complexity, allowing researchers to track model performance over stages. The framework integrates visualization libraries to render graphs and offers metrics for accuracy, fidelity, and generation speed. Targeted at NLP and graph generation researchers, it facilitates reproducible comparisons across models and encourages the development of more capable instruction‑driven generation systems.
الوصف
يُقدِّم GraphInstruct إطاراً معيارياً منظماً لتقييم قدرة نماذج اللغة الكبيرة على توليد الرسوم البيانية استناداً إلى أوامر نصية. يتضمن مجموعة مختارة من المهام التدريجية التي تزداد تعقيداً تدريجياً، ما يتيح للباحثين تتبع أداء النماذج عبر مراحل مختلفة. يدمج الإطار مكتبات التصوير لتوليد الرسوم البيانية ويُقدِّم مقاييس دقيقة لدرجة الدقة، والوفاء بالمتطلبات، وسرعة التوليد. يستهدف الباحثين في مجال معالجة اللغة الطبيعية وتوليد الرسوم البيانية، ويُمكّنهم من إجراء مقارنات قابلة للتكرار بين النماذج المختلفة. يساهم في دفع تطوير أنظمة توليد أكثر قدرة على التعامل مع أوامر نصية معقدة، مع التركيز على تحسين جودة الرسوم البيانية المولَّدة. كما يتيح إمكانية توسيع نطاق التقييم ليشمل سيناريوهات تطبيقية متنوعة، مما يعزز من فاعلية النماذج في البيئات الواقعية.
Novelty
8/10Tags
Technologies
Claude Models
Quality Score
Strengths
- Good test coverage (52% test-to-source ratio)
- Code linting configured (ruff (possible))
- Consistent naming conventions (snake_case)
- Good security practices \u2014 no major issues detected
Weaknesses
- No LICENSE file \u2014 legal ambiguity for contributors
- No CI/CD configuration \u2014 manual testing and deployment
- 2609 duplicate lines detected \u2014 consider DRY refactoring
- 5 'god files' with >500 LOC need decomposition
Recommendations
- Set up CI/CD (GitHub Actions recommended) to automate testing and deployment
- Add a LICENSE file (MIT recommended for open source)
Security & Health
Languages
Frameworks
Concepts (2)
| Category | Name | Description | Confidence | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Methodology: Repobility · https://repobility.com/research/state-of-ai-code-2026/ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| auto_description | Project Description | Progressive Instruction-Driven LLM Graph Generation Benchmark | 80% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| auto_category | Data/ML | data-ml | 70% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Embed Badge
Add to your README:
