这是一份写给非本事岗的居品司理/运营的token应用指南。不错在了解token主张的同期，也好像知谈想象居品时和token联系的老成点。
自从2022年末OpenAI推出通用大谈话模子ChatGPT后，这两年多样大谈话模子层见叠出，头昏脑胀。可能你们公司也磨拳擦掌，“咱们也要作念AI+居品！”。接着你方位的居品部门喜获一个Epic，“策动如何引入AI升级蓝本的居品”或者“策动引入AI是否不错找到新的增长点”。
这个时候还没怎样了解AI的你，会怎样迈出第一步？你可能还是是LLM的重度使用者，也可能是刚刚体验的小白。但本着居品司理特有的有趣心，你可能开始想知谈的是，大谈话模子究竟有什么魔法，果然不错“听”懂咱们的问题，并给出妥当的回答，巧合候给到的回答甚而还满让东谈主惊喜的。接着可能就会想考，那咱们到底不错怎样使用大谈话模子这个万能型”机“才呢？
Token行为大谈话模子最基本的主张之一，可能很容易在你搜索联系长途的时候频繁出现。
在这里小小剧透一下，token不仅是了解大谈话模子时开始构兵到的基本主张之一，它也很有可能从此颠覆你某些居品技巧，从买卖分析到居品订价，从用户体验到居品方案，都可能因为这个小小的主张让你居品技巧的作念法或经过变的很不雷同。
一、Token的基本主张那到底什么是token呢？Token即是指文本中最小的挑升想的单元。是不是有点概述？咱们来通过一个省略的例子看下大谈话模子是怎样回答咱们的问题，并默契token到底是什么。
1. 大谈话模子怎样回答咱们的问题？当大谈话模子收到咱们一个问题，它的运作旨趣其实很省略，用一个我很心爱的教训说的一个很形象的比方，即是在作念笔墨接龙游戏。也即是给它一个莫得完成的句子，它帮你补完。在补句子的过程中，它会量度接下来接哪个字是最合理的。
比如问大谈话模子，“中国的都门在那处？”，它会以为可能接“北”最合理，然后把输出的内容接在你的问题后头，是以此次的输入就造成，”中国的都门在那处？北“，这个时候它会以为接”京“最合理。接下去叠加上一个设施，然后发现接好”京“之后看起来没什么好接的了。就以为这句句子补收场。那”北京“即是它回答的谜底。
2. Token到底是什么咱们给大谈话模子一个未完成的句子，后头不错接的字有许多不同的可能。比如输入上海大，可能是上海大学，可能是上海大楼，可能是上海大家赛等等等等。
施行上大谈话模子的输出即是给每一个不错接的记号一个机率。”学“是一个记号，”楼“是一个记号，”师“亦然一个记号。是以它的输出其实即是一个几率区分，即给每一个不错选拔的记号一个机率。然后按照这个几率区分投骰子，投到哪个记号，阿谁记号就会被输出出来。这些记号又叫作念token。
这即是咱们频繁所说的，大谈话模子的施行上即是在量度下一个token出现的概率。也恰是因为这么，即使问大谈话模子调换的问题，每次产生的谜底可能也都是不雷同的。因为每次的回答都是有当场性的。
就如同咱们想象MVP居品的时候，最贫困的事情不即是怎样界说这个Minimum么？那”文本中最小的挑升想的单元“里的“最小”指的是什么呢？一个字？一个词？
这件贫困的事情在老练谈话模子时就交给了模子开荒者，模子开荒者会事前设定好token，用于均衡筹划复杂度息兵话信息的诡秘，是以这里的“最小”可能是一个单词，可能是一个子词，也可能是一个字符。
正因为每个模子在开荒的时候会设定好token，是以
不同的谈话模子，界说的token可能不雷同汉文的谈话模子和英文的谈话模子界说的token可能也不雷同接下来，每个token都会被调遣成一串对应且不变的数字，因为基于神经网罗的谈话模子不行默契文本，只可默契数字。
是以，一个模子的token总量不错默契为这个模子的词汇表。而每个token都是一连串的数字，且这个数字是不变的。
二、大谈话模子中token长度收尾模子好像同期科罚token的数目，叫作念token的长度。这个长度是有收尾的。比如咱们使用一个模子，它的token收尾是4096个token，这就意味着你在一次央求中，输入和输出的总token数不行跨越4096个。
Token长度收尾很容易和高下文窗口收尾沾污。
高下文窗口收尾指的是模子在一次交互中不错”记取“若干信息，也即是在通盘对话过程中不错使用的最大token数。高下文窗口决定了模子对输入内容的默契深度和生成输出的材干。比如，模子的高下文窗口大小是4096 token，那么不论你对模子输入若干次信息，统共这些输入和生成的内容加起来不行跨越4096 token。一朝跨越，最早输入的内容可能会被”渐忘“，从而无法用于生成新的输出。
回来来说，
token长度收尾指模子一次输入或输出的总token收余数。高下文窗口收尾指通盘对话过程中，模子好像科罚统共token的最大数目。举个例子
假定咱们在玩传纸条游戏，咱们只可在纸条上写下4096个字符的内容，也即是说咱们之间统共的交流内容不行跨越这个长度。这个即是“高下文窗口收尾”。一朝纸条上的内容跨越了4096个字符，就必须把最早的内容擦掉一些，才能写下新的内容。而“token收尾”即是咱们每次传纸条最多能写的字符，比如咱们诞生了咱们每次传递最多只可写200个字符。那淌若在一次传递中我还是写了180个字符，你就只可写20个字符。
三、想象居品时，token会给到你的”惊喜”和”惊吓”“惊吓”：token 从本事单元升沉为计费单元，况兼可能比你想象的更贵！
影响：引入大谈话模子后，当咱们分析ROI时，淌若莫得把token的使用老本探讨进入，不仅不行为公司产生利润，还可能赔钱。有些时候，token的使用老本甚而可能转变居品的订价战术。
例如：
企业有一个线上模拟老练的居品，专门为用户提供在特定场景下的技巧老练，从而让用户通过刻意老练后在施行使命中也能踏实的施展所需的技巧。平庸当咱们分析这个居品的ROI时，老本这边可能最大的参加是一次性的研发老本以及后续的软件防范老本。
企业想要引入大谈话模子升级这个模拟老练居品，这么不错让用户有更确凿的体验从而达到更好的老练恶果。当咱们分析这个居品的ROI时，不仅要探讨研发老本等，还需要筹划出用户每老练一次token所产生的老本，这个老本不单是是居品发布后用户使用时会产生的，在居品研发测试、GTM的过程中都可能产生。而这些老本不仅会影响GTM Stragety，也会影响到后续的居品订价。
居品司理惟有把token联系的影响成分都充分探讨后，才能升迁用户体验的同期还能保证居品盈利。
“惊吓“：更好的体验？呃，也许没那么好意思好。影响：咱们都知谈在互联网期间性能体验有一个原则是2-5-10原则，也即是当用户好像在2秒以内取得反当令，会嗅觉系统的反应很快，而在2-5秒间会以为还不错，在5-10秒间以为拼凑不错经受，然而当跨越10s时，用户会因为嗅觉糟透了而离开你的居品。然而当咱们引入大谈话模子后，咱们很有可能为了更好的功能用了很长的教导词，用户很有可能因为恭候时候过长平直离开了居品，甚而都莫得契机体验到AI带来的功能升迁。
例如：如故上头阿谁例子，企业想要引入大谈话模子升级模拟老练居品，这个模拟老练中有一个NPC会和用户互动。为了让NPC好像字据用户的输入给到更精确的反馈，咱们给到NPC一个止境贯注的脚本，包含了方方面面的考量。NPC确乎好像止境精确的修升引户每次的输入，然而用户每一次输入之后都需要恭候10秒以上，淌若这个老练的互动是许多轮次的，那彰着用户是莫得这个耐性完成老练的。
居品司理找到准确性和用户体验的最好均衡点，才能让用户感受到AI带来的更好的体验。
”惊喜“：恶果太差？不，只是token收尾了模子施展。影响：在互联网期间，一朝咱们想象居品功能莫得达到咱们的恶果，或者本事完结老本过高或有贫困的时候，咱们需要一王人策动并修改通盘居品。而当你的想要达到的功能是基于大模子时，巧合候你只需要作念一个动作，即是换一个大预言模子，居品功能就达到咱们的预期恶果了。
例如：
企业想要把专有学问库搬进大模子，这么凡是之后用户问到和这个界限联系的问题，AI就能阐扬的止境专科。然而有些学问库止境强盛的。在前边token长度咱们了解到，大谈话模子关于token是有收尾的，淌若咱们选拔了一个模子，它的token收尾是4096，然而可能其中一个学问库自己的量级还是占用了3000个token，再加上联系的教导词所需要的token数，学问库的3000个token在2500个token的时候就被截断。这个时候当用户问到联系学问的时候，准确率惟有60%。然而当咱们换了一个模子，它的token收尾是8192，那么准确率一下子就飙升到92%并达到了居品想象时的期待。
四、结语Token是谈话模子中一个止境蹙迫的基本主张，咱们越了解token，就不错越有用地欺诈大谈话模子，从而匡助咱们在想象AI+居品时愈加的挥洒自如！
本文由 @AI 施行干货 原创发布于东谈主东谈主都是居品司理。未经作家许可，谢绝转载
题图来自Unsplash，基于CC0条约
该文不雅点仅代表作家本东谈主，东谈主东谈主都是居品司理平台仅提供信息存储空间工作