| 日本語 | トークン |
|---|---|
| English | Token |
| 中文 | 词元 |
トークンとは
トークンは、大規模言語モデルが文章を処理するときの最小単位で、単語や文字のまとまりにあたります。日本語では1文字が1トークン前後になることが多く、同じ内容でも英語より多くのトークンを消費する傾向があります。利用料金やコンテキストウィンドウの上限はトークン数で決まるため、コスト見積もりの基本単位になります。
Definition (English)
The basic unit a language model uses to process text, roughly a word or a chunk of characters. Pricing and context limits are measured in tokens, making them the basic unit for cost estimates.
释义（中文）
大语言模型处理文本的基本单位，大致相当于一个词或若干字符。费用和上下文上限均以词元数计算，是成本估算的基本单位。
関連する用語
この用語を引用・埋め込む
この釈義は CC BY 4.0（表示 4.0 国際）で提供しています。出典（このページへのリンク）を明記すれば、商用を含めて自由に複製・改変・再配布できます。
出典表記の例
株式会社サオス MFG-AI「製造業AI用語集：トークン」https://mfg-ai.com/terms/token（CC BY 4.0）
HTMLで埋め込む
<blockquote cite="https://mfg-ai.com/terms/token"> <p>トークンは、大規模言語モデルが文章を処理するときの最小単位で、単語や文字のまとまりにあたります。</p> <footer>出典：<a href="https://mfg-ai.com/terms/token">株式会社サオス MFG-AI「製造業AI用語集：トークン」</a>（<a href="https://creativecommons.org/licenses/by/4.0/deed.ja">CC BY 4.0</a>）</footer> </blockquote>
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。