Skip to content

feat(llm): 로컬 기본 채팅 모델 qwen3.8-27b 반영 - #704

Merged
riskpw merged 2 commits into
mainfrom
feat/qwen38-default
Sep 2, 2026
Merged

feat(llm): 로컬 기본 채팅 모델 qwen3.8-27b 반영#704
riskpw merged 2 commits into
mainfrom
feat/qwen38-default

Conversation

@riskpw

@riskpw riskpw commented Sep 2, 2026

Copy link
Copy Markdown
Member

배경

DGX `:8002` 가 `qwen3.8-27b-fp8` 로 교체돼 있었고(`--served-model-name qwen3.8-27b qwen3.6-35b-a3b`), 앱은 구 이름 `qwen3.6-35b-a3b` 에만 묶여 있어 UI·카탈로그·capability 가 실체와 달랐다.

변경

  • 기본값 `qwen3.8-27b`: `env.ts` · `env.schema.ts` · `model-pool.ts`
  • 로컬 카탈로그 `local-models.ts`, capability 프리셋 `model-defaults.ts` (+`qwen3.8-27b`)
  • LiteLLM 참조 config: `qwen3.8-27b` 추가, `gpt-3.5-turbo` → 3.8, 구 이름은 호환 alias 유지
  • `.env.example` · `gen-env.mjs` · `qwen-serve.sh` 참조본 동기화
  • `model-pool.test.ts` 기본값 갱신

라이브 실측 (DGX 직접)

  • 도구 호출 `tool_calls` 정상, vision(1px PNG 색 인식) 정상, `reasoning_effort=high` 400 → 기존 `qwen3.8` 정규화 맵이 처리
  • 디코드 약 10.7 tok/s (구 MoE 58 tok/s)
  • 운영 LiteLLM 에 `qwen3.8-27b` 추가 후 게이트웨이 경유 200

검증

  • api tsc·eslint(신규 경고 0) 통과, jest 3236 passed
  • 배포 + openmake-llm delete→start (`.env` LLM_DEFAULT_MODEL) 후 chat.openmake.cc 기본 모델 표시·채팅 확인

🤖 Generated with Claude Code

https://claude.ai/code/session_01BtAjkS2BAQ7JxMsidkdYQD

Jaesang and others added 2 commits September 2, 2026 09:43
DGX :8002 가 qwen3.8-27b-fp8 로 교체된 뒤(--served-model-name qwen3.8-27b qwen3.6-35b-a3b)
앱은 구 이름에만 묶여 있어 UI·카탈로그·capability 가 실체와 어긋났다.

- 기본값: env.ts / env.schema.ts / model-pool.ts → qwen3.8-27b
- 로컬 카탈로그(local-models.ts) id·표시명·설명 교체
- capability 프리셋에 qwen3.8-27b 추가 (toolCalling·thinking·vision — DGX 라이브 실측)
- LiteLLM 참조 config: qwen3.8-27b 추가, gpt-3.5-turbo alias → 3.8, 구 이름은 호환 alias 유지
- .env.example / gen-env.mjs / qwen-serve.sh 참조본 동기화 (DGX 는 docker compose 로 이전됨)
- model-pool 테스트 기본값 갱신

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01BtAjkS2BAQ7JxMsidkdYQD
@github-actions

github-actions Bot commented Sep 2, 2026

Copy link
Copy Markdown
Contributor

평가 회귀 리포트 (9a504aa)

평가 통과율 통과/전체 베이스라인 상태
Routing (Gate 5) 100.0% 120/120 50.0%
Response (Gate 6) 100.0% 30/30 50.0%
  • 데이터셋 버전: routing=0.8.3, response=0.8.3
  • 베이스라인은 OMK_EVAL_PASS_THRESHOLD / OMK_EVAL_RESPONSE_THRESHOLD 환경변수 기준 (이력 비교 아님)
  • 상세 결과: Actions 실행의 evaluation-results-9a504aaaa96519c498d327b13187424704ea8672 아티팩트 참조

@riskpw
riskpw merged commit 37571ca into main Sep 2, 2026
1 check passed
@riskpw
riskpw deleted the feat/qwen38-default branch September 2, 2026 01:09
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant