天才一秒记住【长江书屋】地址:https://www.cjshuwu.com
语言是一个终极概念,日常对话、手语、计算机编程语言、数学等都是语言。
数学作为一种语言,具有结构、语法、普世性和精确性,大语言模型能从纯数学中模拟语言结构和模式。
概括地说,语言是人类描述世界最简洁有力的工具,而且它远不止是工具,正如维特根斯坦所说“语言的边界就是思想的边界”
,人类无法用语言描述未知事物,所以语言是人类思维的总和,大语言模型掌握了语言总和也就掌握了可描述世界的信息。
大语言模型的工作原理是用统计学方法推测下一个字出现的概率。
以英文句子“who
is
the
smartest
thinker
so
far?”
为例,先将单词分解成最小单位(token),每个
token
与高维空间中的向量相联系,向量有距离和夹角表示语义和语法的相似性或关系。
如“man”
和“woman”
的距离理论上与“king”
和“queen”
相近,但由于“queen”
在英文中有更多含义,所以“king”
与“queen”
的距离比“man”
和“woman”
更远。
在预测句子中问题的答案时,如“which
professor
is
harry
potter';s
least
favorite?”
,模型会根据计算得出每个结果的概率值,选择概率最大的作为答案,如计算出“snape”
的概率为
0.78
分,就会选择“snape”
。
对于复杂的侦探小说结尾的问题,如根据全文推测凶手,模型需要捕捉每个词的寓意和上下文关系,通过谷歌论文中的数学公式(涉及查询项目
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!