Appearance
共 1 篇文章
AI大模型对中文的token处理效率远低于英文,Claude中文贵64%、ChatGPT贵41%,但Qwen/DeepSeek上中文反而比英文便宜35%。原因是tokenizer词表设计。更反常识:古文比现代汉语更省token,但只省在编码端。