Skip to content

refactor: unify model configuration through Hugging Face config classes - #1574

Open
sufubao wants to merge 2 commits into
ModelTC:mainfrom
sufubao:unify-model-config
Open

sufubao wants to merge 2 commits into
ModelTC:mainfrom
sufubao:unify-model-config

Conversation

@sufubao

@sufubao sufubao commented Sep 15, 2026

Copy link
Copy Markdown
Collaborator

服务工具和模型初始化原先分别解释 config.json,同一份稀疏 LLaVA 配置可能得到不同的维度值。本 PR 通过具体的 Hugging Face Config 类统一默认值、字段和文本组件的解释。

  • load_model_config 返回具体的 PretrainedConfig 子类;缺失家族与旧布局的兼容定义集中在 hf_configs/,附来源与许可。
  • 服务、模型、tokenizer 及视觉/音频调用方接入统一入口,旧引擎仍使用独立 runtime dict;维度别名、RoPE、周期 attention 转换和 finetune/MTP/draft 的局部修改边界保持明确。
  • 保留显式 trust_remote_code 的自定义配置优先级,统一启动早期的 trust 传递。Tarsier 配置保留架构限定,防止 HF 补齐文本类型后改变普通 LLaVA 的路由。
  • 已 rebase 到最新 upstream/main317e70b68),并与 refactor: load built-in model implementations on demand #1571 的模型惰性导入、当前 FP8 KV、分页 prompt-cache 和 Qwen3.5 YaRN 路径完成冲突整合。

验证:

  • Transformers 5.8.0、torch 2.9.1+cu128、triton 3.5.1 下,配置加载、模型初始化、tokenizer 惰性导入及相关基础组件回归 122 passed
  • Black、Flake8、git diff --check 和变更 Python 文件编译检查通过。
  • rebase 后主提交:23ab072b7;当前 head:4bf00dea8

未运行真实权重加载、GPU 推理、生成精度或吞吐评测;torch 版本仍与项目要求的 2.11.0 不一致。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant