web搜索引擎:通过为数目巨大的web文档建立索引, 使得在www上找寻信息成为可能。
google:强调利用文档包含的信息来改善检索结果
摆渡:国内搜索引擎服务提供商(为sohu, sina, 263等), 中文检索。
搜索引擎的设计:关键建立索引库, 处理用户查询
文档采集:文档库
索引建立:文档表示/向量表示
数据结构设计:数据库
排序函数, 查询处理:排序后的查询结果
文档的采集:
用户主动向系统报告自己的资源
由系统的搜索工具去找寻用户的信息
web robot, 也叫crawler, spider, wanderer, worm等是一个能够沿着超连接web文档集合的程序
给定一些url, web robot能够利用象http这样的标准协议读取相应的文档, 然后沿着文档中的超级链接访问新的文档, 如此继续下去
基于robot的信息搜索系统的缺陷:
给网络和被访问的web服务器带来了较大的负担
不加区分的索取所有可达得文档, 并为之建立索引
索引信息的选区和组织
有的搜索引擎:简单的汇聚用户按一定的格式提供的关于web文档的信息, 它并不去访问文档本身
绝大多数系统:读取web文档, 分析其结构, 提取索引信息
索引对象:字, 词, 短语:全文索引
可根据html文本本身的结构title, 地址url和超级链接区分各个部分的重要性
为了方便用户进行查找, 索引信息必须有一定的组织方式:
yahoo把收集到的索引信息按照主题分类组成一个层次性的目录系统, 每条索引都属于某些子目录, 也就是类别
infoseek, 号称web最大的目录系统, 其索引项也都被归入多层目录结构
索引信息系统若能识别, 归纳出特定领域的深层次结构模式, 并将它与目录系统的自动构造结合起来, 一定可以大大改善信息查询的准确性。
查询处理:
查询:给出文档的某些信息(关键字), 由web查询工具相应的索引数据库, 确定文档的位置。
查询的两个目标:
尽可能的把所有满足查询条件的资源都找出来, 不要有所遗漏, 即较高的查全率(recall)
尽可能的保证查询结果的准确性, 不要把许多关系不大的东西返回给用户, 即较高的查准率
(precision)
第一个目标主要依赖索引数据库的建设
第二个目标主要依赖查询语言的设计
常用的查询技术主要有以下几种:
词组表示和布尔运算
范围查询:把检索限定在满足某些条件的web文档的集合内
结构查询:查询时充分利用html文档的结构, 以提高查询的准确性
通配和词形变化
概念查询;也找出所有包含于查询表达式概念相同的词语的文档
模糊查询:该技术能够让用户对所查询的内容渐渐明朗起来。
自然语言查询
元搜索引擎:同时对多个搜索引擎进行检索的工具
搜索引擎的选择:检索条件的转换, 搜索引擎的评价
结果的融合:删除重复, 合并结果
搜索引擎智能化:
与一般搜索引擎的区别:
对用户提交关键字的要求不同
搜索引起的网络负荷不同
搜索范围局限性不同
实用限制不同
学习能力
信息检索服务系统的种类:
搜索-索引系统
信息过滤系统
浏览助理系统
社会的或合作的系统
搜索-检索系统
目前常用的搜索引擎基本上属于这一类
通常即不采用基本知识的方法也不采用基于交互行为的学习方法
采用一种常规的问题-问答界面形势
信息过滤系统
通常被用来提供所需的email以及新闻组信息
通常相关性反馈来建立用户的profile
具有一种与生据来得危险性, 如果不小心删除了一个重要的邮件信息
利用搜索-检索系统中的许多技术, 但在信息过滤系统中使用的用户profile往往表达了用户的一个相对长期的兴趣, 而在搜索-检索系统中则通常表达为一个短期目标。 过滤是从信息流中去除不相关的信息的动作, 而搜索则在信息库中寻找相关的信息。
浏览助理系统
通过帮助浏览的形似提供服务
webwatcher系统:能够交互的提供关于跟总哪一个链接的建议。 系统通过跟踪其建议是否被采用以及在浏览完成时向用户发出成功与失败的信息询问进行学习
letiza:跟踪用户的浏览行为并试图通过并发的, 自治的探索用户当前位置可达的链接以预测用户的兴趣主体页。 通过用户的浏览行为启发式的推测用户的兴趣, 从而扩展了以best-first搜索的浏览策略
社会的或合作的系统
利用了共享的用户兴趣
其关键思想在于如何匹配相似的用户, 如何利用别的用户的评价或解释。
例子有时用合作过滤技术处理web页得webhound系统, 以及let's browse等
有关信息过滤与推荐的基本技术
信息过滤与推荐是信息处理的一泓方式, 为了使计算机能很好的处理internert上这些办结构化的信息, 往往要:为信息源建立结构化的表示方法。 为用户建立能反映其关注点的用户个性化模型
content-based:
通过分析所检索得internet资源内容(如关键字出现的频度)建立相应文档的结构化模型, 同时用户模型也采用同样的表示模型(称为profile, 帮组用户搜索信息, 推荐链接, 并接受用户的好评)
用户对文档的感兴趣程度变成了同结构模型间相似的比较。
文档表示:向量空间模型vsm
将文档看作是由相互独立的词条组(T1, T2, ...Tn)构成, 对于每一词条Ti都根据其在文档中的重要程度附议一定的权值Wi, 并将T1, T2, ..Tn看成是一个N唯坐标系中的坐标轴, W1, W2, ...Wn为相应的坐标值。
关键词权重的计算:tfidf:词频(关键字在一篇文章中出现的次数)(term frequency,tf)和逆文档频率(inverse document frequency, 即idf)(关键词在所有文档中出现的频率)的成绩来区定
相似形计算:余弦/内积系数表示:
social-based or collaborative-based:
利用共享的用户模型表示各用户对各种对象的关注程度
通过分析该共享模型中用户间的相似性, 将某一用户关注的文档推荐给其他具有共同想法的用户。
并不计算内容的相似形, 而是计算用户之间的相似性。
这个方法是建立在用户对所看到的内容有一定的反馈的基础上的。
event-based:
通过跟踪用户浏览网页的习性, 捕抓相应信息作为信息推荐的依据
典型的单用户及与实践的技术是leatiz
web mining:内容挖掘, 结构挖掘, 使用挖掘
xml:一种元标及语言,提供描述结构化资料的格式。
Monday, 16 July 2007
Subscribe to:
Posts (Atom)