feat: add evals and coding benchmarks

Author: hwfengcs

.env.example

@@ -1,14 +1,14 @@
-# API 密钥配置示例
-# 根据你使用的 LLM 提供商，配置对应的 API 密钥
+# API key configuration example.
+# Fill in the provider keys you plan to use.
 
-# DeepSeek API 密钥（默认）
+# DeepSeek API key (default provider).
 DEEPSEEK_API_KEY=your_deepseek_api_key_here
 
-# OpenAI API 密钥（可选）
+# OpenAI API key (optional).
 OPENAI_API_KEY=your_openai_api_key_here
 
-# Claude (Anthropic) API 密钥（可选）
+# Claude / Anthropic API key (optional).
 CLAUDE_API_KEY=your_claude_api_key_here
 
-# Google Gemini API 密钥（可选）
-GEMINI_API_KEY=your_gemini_api_key_here
+# Google Gemini API key (optional).
+GEMINI_API_KEY=your_gemini_api_key_here

.github/workflows/ci.yml

@@ -0,0 +1,47 @@
+name: CI
+
+on:
+  push:
+  pull_request:
+
+jobs:
+  test:
+    name: Python ${{ matrix.python-version }} on ${{ matrix.os }}
+    runs-on: ${{ matrix.os }}
+    strategy:
+      fail-fast: false
+      matrix:
+        os: [ubuntu-latest, windows-latest]
+        python-version: ["3.10", "3.11", "3.12"]
+
+    steps:
+      - name: Check out repository
+        uses: actions/checkout@v4
+
+      - name: Set up Python
+        uses: actions/setup-python@v5
+        with:
+          python-version: ${{ matrix.python-version }}
+
+      - name: Install package
+        run: |
+          python -m pip install --upgrade pip
+          python -m pip install -e ".[dev]"
+
+      - name: Compile Python sources
+        run: python -m compileall dm_agent main.py
+
+      - name: Run tests
+        run: python -m pytest
+
+      - name: Run deterministic eval smoke test
+        run: python -m dm_agent.evals.cli --variant full --task direct_finish
+
+      - name: List coding benchmark tasks
+        run: python -m dm_agent.benchmarks.cli --list
+
+      - name: Lint
+        run: python -m ruff check .
+
+      - name: Format check
+        run: python -m black --check .

.gitignore

@@ -1,269 +1,83 @@
-# DeepSeek ReAct 智能体 - Git 忽略规则
-
-# ============================================================================
-# 环境变量和敏感信息
-# ============================================================================
-# 包含 API 密钥的环境变量文件
+# Environment and secrets
 .env
 *.env
 .env.local
 .env.*.local
+config.json
+mcp_config.json
 
-# ============================================================================
-# Python 相关
-# ============================================================================
-# 字节码缓存
+# Python bytecode and caches
 __pycache__/
-*.pyc
-*.pyo
-*.pyd
 *.py[cod]
 *$py.class
+.pytest_cache/
+.mypy_cache/
+.ruff_cache/
+.pyre/
+.coverage
+.coverage.*
+coverage.xml
+htmlcov/
 
-# C 扩展
-*.so
-
-# 分发 / 打包
-.Python
+# Build and packaging output
 build/
-develop-eggs/
 dist/
-downloads/
-eggs/
-.eggs/
-# lib/
-lib64/
-parts/
-sdist/
-var/
-wheels/
-share/python-wheels/
 *.egg-info/
-.installed.cfg
+.eggs/
 *.egg
 MANIFEST
 
-# PyInstaller
-*.manifest
-*.spec
-
-# 单元测试 / 覆盖率报告
-htmlcov/
-.tox/
-.nox/
-.coverage
-.coverage.*
-.cache
-nosetests.xml
-coverage.xml
-*.cover
-*.py,cover
-.hypothesis/
-.pytest_cache/
-cover/
-
-# 翻译
-*.mo
-*.pot
-
-# Django
-*.log
-local_settings.py
-db.sqlite3
-db.sqlite3-journal
-
-# Flask
-instance/
-.webassets-cache
-
-# Scrapy
-.scrapy
-
-# Sphinx 文档
-docs/_build/
-
-# PyBuilder
-.pybuilder/
-target/
-
-# Jupyter Notebook
-.ipynb_checkpoints
-
-# IPython
-profile_default/
-ipython_config.py
-
-# pyenv
-.python-version
-
-# pipenv
-Pipfile.lock
-
-# poetry
-poetry.lock
-
-# pdm
-.pdm.toml
-
-# PEP 582
-__pypackages__/
-
-# Celery
-celerybeat-schedule
-celerybeat.pid
-
-# SageMath
-*.sage.py
-
-# Spyder 项目设置
-.spyderproject
-.spyproject
-
-# Rope 项目设置
-.ropeproject
-
-# mkdocs 文档
-/site
-
-# mypy
-.mypy_cache/
-.dmypy.json
-dmypy.json
-
-# Pyre 类型检查器
-.pyre/
-
-# pytype 静态类型分析器
-.pytype/
-
-# Cython 调试符号
-cython_debug/
-
-# ============================================================================
-# 虚拟环境
-# ============================================================================
+# Virtual environments
+.venv/
 venv/
 env/
 ENV/
-env.bak/
-venv.bak/
-.venv/
-.virtualenv/
+virtualenv/
 
-# ============================================================================
-# IDE 和编辑器
-# ============================================================================
-# VSCode
-.vscode/
+# Test and generated demo output
+test_output/
+eval_reports/
+bench_reports/
+test_*.txt
+demo*.txt
+random*.txt
+*.log
+logs/
+*.tmp
+*.temp
+*.bak
+
+# IDEs and editors
+.idea/
 .vscode/*
 !.vscode/settings.json
 !.vscode/tasks.json
 !.vscode/launch.json
 !.vscode/extensions.json
 *.code-workspace
-
-# PyCharm
-.idea/
-.idea/*
-*.iml
-*.iws
-*.ipr
-
-# Sublime Text
 *.sublime-project
 *.sublime-workspace
-
-# Vim
 *.swp
 *.swo
 *~
-.vim/
 
-# Emacs
-*~
-\#*\#
-/.emacs.desktop
-/.emacs.desktop.lock
-*.elc
-auto-save-list
-tramp
-.\#*
-
-# ============================================================================
-# 操作系统
-# ============================================================================
-# macOS
+# OS files
 .DS_Store
-.AppleDouble
-.LSOverride
-._*
-
-# Windows
 Thumbs.db
-Thumbs.db:encryptable
-ehthumbs.db
-ehthumbs_vista.db
-*.stackdump
-[Dd]esktop.ini
+Desktop.ini
 $RECYCLE.BIN/
 *.lnk
 
-# Linux
-*~
-.directory
-.Trash-*
-
-# ============================================================================
-# 项目特定
-# ============================================================================
-# 日志文件
-*.log
-logs/
-*.log.*
-
-# 临时文件
-*.tmp
-*.temp
-*.bak
-*.swp
-*.swo
-
-# 测试输出
-test_output/
-test_*.txt
-demo*.txt
-random*.txt
-
-# 智能体生成的文件（可选，根据需要调整）
-# sort/
-# output/
-
-# ============================================================================
-# 其他
-# ============================================================================
-# 备份文件
-*.backup
-*.old
+# Local assistant files
+CLAUDE.md
+.claude/
+.clinerules
 
-# 压缩文件
+# Archives and local databases
 *.zip
 *.tar.gz
 *.rar
 *.7z
-
-# 数据库文件
 *.db
 *.sqlite
 *.sqlite3
-
-# 配置文件（如果包含敏感信息）
-# config.ini
-config.json
-mcp_config.json
-
-
-# Claude Code文件
-CLAUDE.md
-.claude
-.clinerules
-