什么是频率列表(Frequency List)？

频率表是一种定量语言分析的工具，它列出了在选定的文本块中出现的所有事物及其发生的频率。语言分析是一个跨学科的领域，研究语言的结构及其使用方式。它结合了人类学、数学、计算机科学和逻辑学的元素，语言分析用于机械翻译等项目，密码学和古代文字的破译。象形文字的第一次翻译涉及频率比较。频率列表可以是单词或字母的列表。字母频率通常用于密码学中。最简单的代码之一是替代密码，每一个字母都被另一个字母或符号替换。例如，消息"拂晓攻击"可能被编码为"zoozhl-zo-azqp"。替换密码的好处是它们不需要码本，但缺点是可以通过比较消息中字母和字母组合的频率来破解它们频率表是定量语言分析的工具。在亚瑟·柯南·道尔的《舞男历险记》中，虚构的侦探夏洛克·福尔摩斯利用频率分析破解了一个替代密码，代码制作者尝试了各种各样的技巧，用频率列表使他们的密码更难破解：滚动密码，其中使用的替换取决于字母在消息中的位置，消除或编码空格，从而无法使用单词频率，保持信息简短，避免使用预期的单词，这样破译者就没有足够的样本用于频率分析最终，任何密码都可以用足够大的样本来破解，这就是为什么更复杂的加密协议已经成为标准。单词和词类的频率列表也被用于古代语言研究中。19世纪20年代，让-弗朗索瓦·查波利安翻译了《罗塞塔石》时，他的研究过程混合使用频率比较和音译来拼凑象形文字。研究表明，对于古代语言，和现代英语一样，1500至2000个单词的核心词汇涵盖了普通文本的85%至90%，这一水平允许读者根据上下文扩大词汇量Zipf定律是以哈佛大学语言学教授乔治·金斯利·齐普夫命名的，它是对频率等级行为的实证观察，它指出事件的频率与事件的排名成反比，事件通常是语言频率列表中的一个单词或字母，但是Zipf定律已经被推广到其他现象，如城市人口和企业收入。频率列表是项目中帮助计算机理解口头和书面语言的重要工具。机械翻译（使用计算机将文档从一种语言翻译成另一种语言）就是一个例子另一个例子是沃森，这台自然语言超级计算机在电视游戏节目《危险边缘》中以参赛者的身份亮相！在2011年2月。单词和用法类型的频率都被整合到他们的编程中，作为寻找意义的工具。