Category: Math&Algorithm

理解连续数据和离散数据

统计学中,将一种类型的数据总称为变量,而变量的数据称为观测,而变量的具体取值为观测值,比如下面的数据中,age和name都是变量,而18和’大红’都具体的取值被称为观测值。

age,name
18,’大红’
21,’小花’ 

同理,在统计学中,离散数据也被称为离散变量,连续数据也被称为连续变量,而如何区分两种变量的区别? 连续变量可以理解为取值范围在理论上是连续不断的,而离散变量则可以理解为取值范围是间断不连… Read the rest “理解连续数据和离散数据”

人工智能基础名词理解

人工智能

人工智能是一个比较广泛的概念,这个概念实际上指的是让机器像人一样思考,其最早由计算机科学之父阿兰图灵在1950年的一篇《计算机器与智能》论文中写出“如果电脑能在5分钟能回答由人类测试者提出的一系列的问题,且超过30%回答让测试者误认为人类所答,则电脑通过测试”,这段话也直接启蒙式的开启了人工智能领域的研究。 而“人工智能”一词,第一次出现在1956年,达特茅斯大学召开的学术会议室,由人工智能… Read the rest “人工智能基础名词理解”

(二)漫话中文分词:Trie、KMP、AC自动机

Trie树

在上一篇文章当中,说到了一些匹配的算法,但是算法有了,还得需要一个高效的数据结构,不能只是通过[‘中国人’, ‘中东人’]等结构来进行存放,可以想象一下,如果有几十万的词,那么这个列表的占用的内存非常大。 Trie树,也被称为前缀树,该词源自单词retrieval,发音和try相同,Trie树可为词库提供一种高效的分词数据结构,该结构本质上是一种树状数据结构,比如”中国人R… Read the rest “(二)漫话中文分词:Trie、KMP、AC自动机”

(一)漫话中文分词:最大匹配,双向最大,最小词数

中文分词是指将文本拆分为单词的过程,而结果集合连接起来是等于原始的文本,而中文分词一直作为NLP领域的比较重要的领域,而大多数的文本挖掘都是以分词为基础,但中文不同于英文,英文每个单词是用空格分隔,整体语义上相对于中文难度低很多。 而业务上一直有中文分词的需求,但是之前因为在忙于另外一个项目,所以一直没有研究。 近期稍空闲开始研究了相关的中文分词算法,发现中文分词总体算比较成熟,但是其中对于未登录词或… Read the rest “(一)漫话中文分词:最大匹配,双向最大,最小词数”

理解条件概率

样本空间(Ω)

样本空间通常指实验或随机所有可能的集合,我们常在说一个概率的时候,实际上是默认忽略掉了样本空间,比如说事件A的概率,实际上指样本空间中,事件A的数量与样本空间的占比。

比如丢硬币,硬币只有正面和反面,那么硬币的样本空间则为:

$$ \displaystyle \{正面,反面\} $$

这个时候常说的正面的概率为二分之一,实际指的是正面事件的数量与样本空间的占比,也就是$ \frac{1}{2} $。 … Read the rest “理解条件概率”