- ▁(U+2581) 문자를 _(U+005F)와 별도로 처리 - SentencePiece 토큰 결합 로직 추가 (joinSentencePieceTokens) - ▁로 시작하는 토큰: 새 단어 → 공백 추가 - ▁없는 토큰: 이전 단어에 직접 붙임 - cleanSttText에서 ▁→공백 변환 추가 - 프론트엔드에서도 ▁ 문자 정제 추가 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
- ▁(U+2581) 문자를 _(U+005F)와 별도로 처리 - SentencePiece 토큰 결합 로직 추가 (joinSentencePieceTokens) - ▁로 시작하는 토큰: 새 단어 → 공백 추가 - ▁없는 토큰: 이전 단어에 직접 붙임 - cleanSttText에서 ▁→공백 변환 추가 - 프론트엔드에서도 ▁ 문자 정제 추가 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>