Tg Harvest
B 80 completedPipeline State
completedPipeline Metadata
AI Prompt
Catalog Information
A Python tool that harvests Telegram data from channels, groups, bots, and private chats via the MTProto API.
Description
tg-harvest is a command‑line utility written in Python that connects to Telegram’s MTProto API to retrieve message histories, media, and metadata from channels, groups, bots, and private chats. It offers a clean, typed interface using pydantic models, and presents results in a readable format with rich console output. Users can optionally launch a lightweight Streamlit dashboard to visualize data distributions with Plotly charts. The tool is designed for researchers, analysts, and developers who need structured Telegram data for compliance, sentiment analysis, or content curation. It handles pagination, rate limits, and authentication securely, making data extraction reliable and repeatable.
الوصف
تُعدّ tg‑harvest أداة سطر أوامر مكتوبة بلغة بايثون تتصل بواجهة MTProto الخاصة بتيليغرام لاسترجاع سجلات الرسائل، الوسائط، والبيانات الوصفية من القنوات والمجموعات والروبوتات والدردشات الخاصة. تُقدّم واجهة مدعومة بالنماذج المدققة عبر مكتبة pydantic، وتعرض النتائج في تنسيق سهل القراءة باستخدام مكتبة rich في الطرفية. كما تسمح بفتح لوحة تحكم Streamlit خفيفة الوزن لعرض الرسوم البيانية التفاعلية باستخدام Plotly، ما يتيح تحليل التوزيعات الزمنية والموضوعية للبيانات. صُممت الأداة للباحثين، المحللين، ومطوري البرمجيات الذين يحتاجون إلى بيانات تيليغرام منظمة لأغراض الامتثال، تحليل المشاعر، أو تجميع المحتوى. تدير الأداة عمليات التصفح، حدود المعدل، والمصادقة بأمان، مما يجعل عملية استخراج البيانات موثوقة وقابلة للتكرار.
Novelty
6/10Tags
Technologies
Claude Models
Quality Score
Strengths
- CI/CD pipeline configured (github_actions)
- Good test coverage (97% test-to-source ratio)
- Code linting configured (ruff (possible))
- Consistent naming conventions (snake_case)
- Good security practices \u2014 no major issues detected
- Properly licensed project
Weaknesses
- Potential hardcoded secrets in 1 files
- 232 duplicate lines detected \u2014 consider DRY refactoring
- 1 'god files' with >500 LOC need decomposition
Recommendations
- Move hardcoded secrets to environment variables or a secrets manager
Security & Health
Languages
Frameworks
Concepts (2)
| Category | Name | Description | Confidence | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Repobility · severity-and-effort ranking · https://repobility.com | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| auto_description | Project Description |  | 80% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| auto_category | Testing | testing | 70% | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Embed Badge
Add to your README:
