Showing posts with label TOP_CS. Show all posts
Showing posts with label TOP_CS. Show all posts

Saturday, 21 July 2007

普适计算

主机计算(mainframe):多人共享一台计算机
桌面计算(personal computer):一人一台计算机
普适计算(ubiquitous computing):一人可使用多太计算机资源。

计算模式
主机计算模式--分时操作系统
桌面计算模式--个人操作系统, 图形用户界面

人的注意力得发展到目前为止并没有按照摩尔定理发展。
普适计算就是解放人的注意力。 所以它不是高端计算。

定义:
无论何时何地, 只要用户需要, 就可以某些设备访问到所需要的信息
移动设备+嵌入设备+固定设备+互联网
个性化, 自适应, 多摸态得人机的人机交互
无缝移动:在多个具有不同性能的设备上或提供多种不同服务的环境中自由移动, 但不影响或者很少影响用户的使用和操作
协同工作和计算资源的智能分配
普适计算的本质不在于开发新的设备, 在于一种计算模式的创新。

桌面计算模式的局限性:
以计算机为中心而不是以人为中心。
计算资源是私有的, 而不是共享的
计算是固定的, 而不是随时移动的

关键技术
开发针对普适计算的软件平台和中间件
建立新型的人与计算服务的交互通讯
建立面向普适计算模式的新型应用模型:感知上下文计算(context-awareness), 无缝移动(seamless mobility)
提供适合普适计算时代需求的新型服务:移动会议(mobile meeting), 灵感捕捉(notion capture)

思想最早有前xerox parc首席科学家mark weiser在1991年提出
以中间件为核心的企业计算, 让计算能力公用化的网格计算, 倡导平等共享的对等计算,和计算无处不在的普适计算。

mit的oxygen研究计划
未来世界将是一个到处充迟着嵌入式计算机的环境, 他们已经融入了人们的日常生活中。 oxygen希望充分利用这些计算资源, 达到做的更少, 完成更多的目的。人做的少一些,计算机做的多一些。

uc berkeley的endeavour计划
关键就是流体软件的开发, 他可以自适应的选择在何处执行, 在何处存储, 它通过协议获得可用资源并向其他实体的提供服务。

washington的portolano研究计划
根据用户的位置变化而自适应的改变软件的位置等。

cmu的aura研究计划
研究在普及计算时代, 在用户和计算环境之间增加一层软件层aura, 由aura代理用户区管理, 维护分布式计算环境中平凡变化,松散耦合的多个计算设备, 以完成用户的目标任务。人的精力是最宝贵的资源。应该让它集中在用户完成的事情上。

task-driven computing
energy-aware adapatation
multu-fidelity computation
intelligent networking
resource opportunism

task-driven computing
problem:
humans interact at two low a level with computer
result: consume moble user's attention
solution:
support user intentions
support mobility
support proactivity

some research challenges:
design of task definition language with rich expressive power
multi-modal interface for creating and modifying tasks
mechanisms for tracking , suspending and restoring task state
design of platform-independent task apl
platform-specfic implementations of task apl
triggering mechanism for pro-activity

percasive healthcare systems
普适计算是医院在电子化信息化发展中的必然结果
随时随地方便的获得和记录各种诊断信息是该项目的基本目标
项目可以分为移动计算和基于环境的计算两个部分
项目已经投入实际运行
从该项目从理论和实践对普适计算提出了许多新的问题。

操作系统:rtos
ipp for ia and intel sa
网络接口: can 总线
usb接口

计算机软件与网络的五年发展

由于微电子技术的发展, 所以计算机硬件每10年更换一代

50年软件业发展全景图
早期专业服务公司
早期软件产品公司
强大企业解决提供公司
客户大纵市场软件。
软件服务

计算机技术发展定律:
Driver law: 政府支持和市场驱动是计算机技术发展的永恒动力
Moore` law:硅芯片的功能和价格
10 year law: 计算机技术发展经过10年发展有革命性飞跃性发展。
computational force law:计算机资源和环境的不断增强和持续变迁, 软件处理能力极大提高, 渗透性应用能力极大提高,成为科学与技术发展的模仿仿真手段。

网络计算的技术发展趋势:
client/service->clienct/cluster->
client.networking->
smart client/virtual server environment
基于网络的虚拟服务环境是未来趋势

普适计算是21世纪的计算模式
internet计算环境的特征:
开放性
动态性
多态性
无统一控制的真分布性
节电的高度自治性和不可预测性
节电链接的开放性和动态性
人, 设备和软件的多重异构性
使用方式的个性化和灵活性
网络连接环境的多样性。

计算机应用:在计算能力和环境不断增强和持续变迁下, 不断拓展和升入
软件和网络已经作为国家战略的重要部分。
国家计划建以和实施项目预示软件发展的趋势

每年pitmc报告
美国1994年正式提出了高性能计算机系统-hpcc
1995年强调hpcc得好用性和建设国家信息基础设施-nii
1996年把通信置于计算前面, 建设分布协同信息处理环境-dcee
1997年重点转向网格, 提出了information -wide- area- year
1998年提出高端计算high end computing and computation-hecc
1999年提出了基于网格grid计算
2000年重视大规模和海量信息处理
2001年提出了高生产率的计算系统
2002年满足21世纪对高校,安全, 可裁减的网格计算的需求,
2003年开发高性能计算和网络环境和技术, 一切为了国土安全

软件体系概述
软件产品:独立的软件产品形态
嵌入式软件:
软件服务

软件体系:
完整的软件体系对竞争十分重要
开元软件已经形成一个初步完整的软件体系
开元软件已成为软件世界中的重要力量。

开放组织如W3C, OMG, IEFT等国际性中介机构都成为围绕着INTERNET得应用。

90年代, 操作系统似乎没有非常有影响的新的思想产生

近10年来, 嵌入式操作系统是热点。

操作系统未来趋势:
网络化趋势:浏览器应用
微型化趋势:嵌入式系统
构建化趋势:即插即用
专业化趋势:支持QOS服务
可信化趋势:

数据库乡小型化发展和网络应用发展

中间件和操作系统和数据库系成为基础软件体系的三大支柱

嵌入式系统是实现后PC时代数字化智能化产品。

网格计算:支持第三代INTERNET应用

网格:简单概念
在大型科学研究和工程领域, 高性能的网络应用, 如科学仿真, 药物开发等, 需要由各个合作机构的共同参与, 需要使用个机构的拥有的资源, 通过高速的网络共享合作伙伴所拥有的计算, 存储和显示资源来解决复杂的计算问题。 这些地理上分布的资源形成了资源网格, 利用资源网格上的资源进行的分布式计算被称为网格计算。
计算:
在硬件方面, GRID需要讲地理上分布在不同的地方的硬件资源,如网络,计算机,数据仓库以及可是华虚拟现实显示等有机的连接起来。
在软件方面, GRID的作用就像一个中间件, 它将需要的各种硬件和软件资源有机的集成起来以便这些不同的部件能够协同原作。

工业设计学科总述--设计, 创新,文化

工业设计不是工业产品的设计, 也不是工业领域的设计, 而是指形成于工业社会的一种不同于手工业设计与艺术设计的设计思想与设计方法。
它是一个新型的交叉学科, 结合了自然科学, 社会科学与人文科学三大人类知识领域各科学科, 对以工业产品为主的人造物进行系统的, 最优化的设计。 所以工业设计既不是工程设计, 也不是艺术设计,是产品的系统设计。

技术设计:
解决“物-物”关系
工程师
自然科学与工程技术知识
创造物的使用价值
本质是手段的设计(体力的解放)
共性

艺术设计:
解决“人-人”关系
人文知识与社会科学知识
创造审美价值
本质上是情感传递的介质设计(精神解放)
个性

工业设计:
解决“人-物”关系
设计师
自然科学知识, 工程技术知识,人文知识和社会科学知识
创物得文化价值
本质是人的生存方式的设计(目的设计)(体力与精神的追求)
共性与个性的结合

任何一个物得设计,都是在某一个系统中寻求一个使系统保持和谐与协调的过程和结果
工业设计是以设计物为对象, 载人-对象-环境系统中寻求和谐与协调的思想与方法

本质:创造更加合理的生存方式

物应该是人的镜子, 是人的生物特征与文化特征的投射
生存方式的设计, 有提升人的生村质量, 也有可能降低人的生存质量。
一个民族的生存方式就是一个民族的文化, 设计了生存方式也就是设计了文化。

智能信息技术

应用:
符号计算技术
模糊技术
人工神经网络技术
演化计算技术
广义计算技术

模糊技术
模糊性是人类思维和客观事物的普遍具有的属性之一:
世界模糊性
思维模糊性

模糊的普遍性
在客观事物质之间存在着中间过渡,促在着亦此亦彼现象及模糊现象
尽管事务的表现和内在属性尤其确定性, 但是由于观测有段和科研水平所限, 在科学发展的一定阶段上,人们对这些属性的认识带有模糊性
人类通常运用模糊的词语来交流思想,互通信息, 然后进行推理分析, 综合评判, 最后作出分类决策。

人脑的认知过程
获取模糊轮廓印象-〉联想与回忆-〉模糊推理和判断
人脑的重要特点之一就是能对模糊事务进行识别和判断, 人们的行为活动通常是从客观事物获取模糊的印象, 表象以及模糊概念的情况下展开和做出反应的。 人脑对于客观事物的认识,往往只要通过一些模糊的信息的综合便可获得足够精确的结论。

模糊集合的诞生:
正是针对自然环境和人类认识过程中存在的模糊性现象,美国控制论专拣,加利弗里亚大学教授L.A.Zadeh在1965年在Information and Control发表了开创论文Fuzzy sets, 第一次提出了模糊集合的概念, 这标志着数学的应用范围从精确现象扩大到模糊现象的领域, 从而建立了模糊信息处理的新课题。

模糊技术发展
1984年国际模糊系统联合会IFSA成立
1985年, ifsa年会在西班牙召开
1987年, ISFA第二届联辉在日本东京召开, 会上推出了10余套模糊控制软件与硬件
日本和一些发达国家先后掀起了异国模糊技术的热潮, 模糊控制思想广泛接受,特别是采用了魔术技术的新一代家电。

杂志:
中国的《模糊系统和数学》

模糊结合及其表示方法
普通集合式模糊集合的特列
模糊集合是普通集合的扩展

普通集合:
全集U, u是U中的元素, U上的普通集合A`可以用特征函数来表示
XA`(u)=1 UXA`(u)=1 U!
模糊集合
全集U中的元素可以部分的属于模糊集合A, 则模糊集合A可以隶属函数来表示:0<=UA(u)<=1. UA(u)就成为元素对模糊集合A的隶属度, 又称为A得隶属函数

集合元算和我们一般的集合运算相差不多,
模糊集合的运算满足补余律外的所有普通集合运算定律。

模糊检索的特点:
处理对象多样化
信息处理智能化
人机借口自然化

模糊查询
模糊词是表示模糊概念的单词。 模糊词可以用模糊集合来表示, 而模糊词可以用隶属函数来表示
模糊词通过并交补运算就成了模糊词组
语气算子ht是自然语言中这样一些词, 他们放在一个单词前面一加强或减弱与其。这里的t是一个正实数, 当t>1时就称为集中化算子, 当t<1时, 就称为散漫化算子。 可以适当起些名字。
模糊化算子f是自然语言中这样一些词, 他们点缀在一个单词前面, 使其语义模糊化。

有了上述基于模糊集合的定义, FIS得模糊查询q就是由语气算子ht, 模糊化算子f, 模糊词FW(包括清晰词)及其并,交, 补算子所组成。 表达式:q:[ht/f]FW{O[ht/f]FW} . 其中, {U, N, -}; []中的内容可缺省; {}中的内容可重复0次回多次。

模糊检索系统结构:
用户接口:允许用户使用自然语言
程序接口:系统维护
总控模块:接受用户接口以及程序借口送来的操作命令, 进行一系列的分析和处理, 将有关的参数信息转发给相应的处理模块, 并控制转到相应的处理模块执行。
模糊知识管理模块。
模糊检索模块:核心, 同时访问知识库和系统数据库
帮组模块:

其他应用
模糊决策
模糊模式识别: 手写输入识别, 癌细胞诊断。
。。。


人工神经网络技术
1943年, 心理学家McCulloch和数学家Pitts合作提出了形似神经元的数学模型--MP模型, 开创网络研究的时代。
1957年感知机
70年代后期, 已经认识到von neuman 体系结构的局限性,特别是与人脑的智力活动存在较大差异:
计算机布局别学习能力
对于不能用数学模型表达的问题无能为力。
日本第五代计算机计划失败。
许多学者开始转向神经网络计算。
Hopfield(加州工学院)1982年提出了HNN模型
Rumelhart提出了PDP(并行分布)理论, 致力于认知结构微观的探索, 并与1986年提出了多层网络的BP算法;
1987年, 国际神经网络学会诞生.


生物神经元模型:
神经元就是神经细胞, 使脑组织的基本单元。
神经信息处理结构:
信息输入(树突)-〉信息处理(细胞体)-〉(信息传输)轴突-〉信息输出(突触)
细胞体:细胞核, 细胞质, 细胞膜。
轴突:神经纤维, 相当于细胞的输出电缆, 其端部的神经末梢为信号输出端子, 用于传出神经冲动
树突:相当于输入端, 接受来自四面八方的传入神经冲动
突触:细胞与细胞之间通过轴突和树突相互连接, 接口就成为突触,每个细胞有1000-10000个突触, 突触有两种类型, 兴奋性和抑制性。
膜电位:细胞膜内外之间的电位差, 约20-100mv, 膜外为正, 膜内为负
结构可塑性:由于突触地信息传递性是可变的, 随着神经冲动的传递方式的变化, 其传递作用可以增强, 也可以减弱, 即细胞之间的连接是柔性的。
兴奋--当传入冲动的时空整合结果,使膜电位升高, 超过动作电位的域值(40mv)时, 细胞进入兴奋状态, 产生神经冲动, 由轴突输出
抑制--当传入冲动的时空整合结果,使膜电位低于动作电位的域值, 细胞进入抑制状态, 无神经冲动输出。
脉冲和电位转换:突触界面有脉冲/电位信号转换功能,由轴突传递的电脉冲为等幅,横宽, 编码的离散脉冲信号, 而细胞膜电位变化为连续的电位信号, 在突触接口处进行数/模转换是通过神经介质以量子化学方式实现的变幻过程。:电脉冲-〉神经化学物质-〉膜电位
由于突触地结构可塑性, 突触地传递作用有增强, 减弱, 饱和, 所以细胞有学习,遗忘和疲劳效应。

人工神经元是多输入单输出的非线性器件

典型的人工神经网络模型
感知机:分类器
BP网络:多层前向网络
自组织特征映射网络:用于最优映射
Hopfield网络:全廉洁网络, 用于解决组合优化问题, 给n各城市, 寻找一条不重复通过所有城市的最短路线。
双向联想存储器:模式识别。
人工神经网络模型的信息处理能力:
大规模并行分布信息处理(现在计算计只能串行离散符号处理)
分布信息处:信息存储体现在神经元互联的分布, 并以并行分布式处理(现在计算和存储是相互独立的)
高度的努棒性和容错性, 善于联想, 概括, 类比和推广, 任何局部损坏不会影响到整体结果
很强的自学习能力, 系统可以在学习过程中不断完善, 具有创新特点。
具有集体运算能力。

人脑学习学说:
化学学说:认为神经系统把学习后的结果记录在某些生物分子(蛋白质, 核酸, 神经递质)上, 就像遗传信息纪律在DNA上。
突触修正学说:认为学习过程中神经元之间的突触联系发生了变化, 人工神经网络按照突出修正学说来模拟人脑的学习过程。

学习规则:
误差修正学习:根据系统的期望输出与实际输出之间的误差作为连接全调整的参考, 最后减少这种误。
随机性学习:结合随即过程, 概率和能量的概念来调整网络的连接权, 从而使网络的能量大到最小。
毫不性学习:两个神经元同时学习,他们的联系需要加强。

应用:
模式识别
最优化问题
数据库知识获取
数学逼近映射
概率密度函数评估
自动控制
信息处理
风险识别

广义学习的理论基础:
大脑自适应原理:采用自顶向下的方法分析系统水平以及系统水平和回路之间的联系, 用自顶向上的方法分析细胞水平和回路水平及其他们之间的联系, 从而归纳出大脑的自适应原理。

广义学习系统的特点:
高度并行
有机融合
择优进化

广义计算与决策分析
数据库
知识库
。。。

广义计算与企业知识流
信息收集和处理
知识孵化:发现隐性知识
知识产品开发
企业知识控制:
知识管理技:员工知识素质管理与知识学习+ 知识创造+建立企业的知识体系
信息技术:数据仓库技术+知识工程技术+数据挖掘技术

电信行业的数据挖掘系统
分离大客户和普通客户, 进行专业的营销和服务。
TDMS的任务:
流失客户预测
欺诈客户识别
时间序列分析

人工智能

turing test:为了回答人工智能能否真正实现的喜,怒, 哀, 乐得问题?
将人和计算机放在两个不同的房间,在另一个房间里通过网络与他们交谈。 当第三个房间里的人不能区别这两个房间里的回答问题得对象是否是人的时候, 就具备了人工智能。

目前的人工智能两个代表性的观点:
the emperor's new mind
Roger Penrose[uk]
Oxford university press.
观点:
电脑要超过人脑是不可能的
原因:人类不可能在物理层次上理解大脑, 要像人的大脑是不可能的。
电脑的设计的思维是算法的, 只相当于人的逻辑推理的思维方式, 这个方法高效并非一定有效, 而所有根本的, 决定性的判断则必须是创造性地或者是直观的, 如艺术,数学的研究。

K.Warwick[UK]
century-random houe, 1997
电脑--单面的人, 虽然愚蠢, 但能力很强, 且具有一定学习能力, 网络使得电脑成为超级电脑。
智能是否为人类存在的最大奥秘? 智能的主要体现于逻辑, 而逻辑未给错误留有余地, 回顾人类历史的错误, 或者错误才能使人类的最大的奥秘。
Kurt Godel:incompleteness theorem:
within a formal system questions exist that are neither provable on the basis of the axioms that define the system.
所以在人工智能中将思维形式化机器化是有极限的, 在理论上给出了有些事情是做不到的。

Douglas R.Hofstadter
Pulitzer Prize Winner, 1980.

计算机视觉中的困惑
计算机视觉相对于人工智能的其他领域中取得的巨大成功:
六条腿的机器人在月球上漫步
爱国者导弹准确拦截飞毛腿导弹
就同监控系统可以识别飞驰汽车上的号码
计算机可识别人的指纹
这些与人类的视觉活动相比, 显然微不足道, 人类视觉中的视觉含义的包我以及主观经验在视觉中的作用,是及其所不肯能拥有的。
计算机视觉过程:
feature detection and extraction -> texture -> pattern classification -> image interpretation
C.Bloomer 《视觉原理》:人类视觉系统有意义的视觉信息而忽略无意义的视觉信息。
人的头脑从外来的刺激中毫无节制的产生含义。
视觉理解发生的机制还知之不多,但可以肯定这含有非线性突变因素, 而且导致某种结果的因素是不确定的(蝴蝶效应)
这其中摸不去的主观因素不可能通过确定的算法给出。
所以天气预报中有很多不可预测的东西。

计算机下棋:
组成部分:
评估函数(evaluation function)
树状搜索算法(tree searching algorithm)
1940年荷兰心理学家葛鲁特发现:
大师: 组块; 5秒钟摆出一个实际的对局; 若出错,则涉及到一组局势但不影响全局, 并不搜索错祺。
新手:每个棋子的确切位置; 曼的多; 认为是完全不同的棋, 对所有可能进行遍历。
计算机的象棋水平大致相当于新手水平。

在计算机上要实现人的心智能, 充满困境, 要冲破这一困境, 必须有理论性的突破--大自然的机理+算法
目前出现了一些新的尝试:
生物计算
量子计算
光子计算

Tuesday, 17 July 2007

多媒体计算机网络

媒体:信息传播的中介, 信息的载体
计算机-信息处理机
用户-〉计算机-〉用户:键盘符号和终端图文都是媒体
计算机媒体:机器码, 符号码, 文字, 图形, 图像, 声音, 语言(符号解释器, 文字编辑器, 图象处理器, 语音识别器)

多媒体系统:同时抓取, 处理, 存储和显示两种两种以上不同的计算机媒体的系统
特点:计算机控制系统, 集成, 一体化系统, 数字化系统, 可交互系统。

音频, 视频的特点:
是当前多媒体系统的主角
数据量极大:
数字化普通话音:采样率8khz, 精度8bit, 每分钟产生3.84mbit。
数字化高保真话音:采样率44.1khz, 精度16bit, 每分钟产生42mbit。
数字化视频图像:640x480x24bitx30桢,每秒钟221mbit
要求连续,实时, 媒体间同步
数字化的媒体在计算机, 网络中存储, 传输需要较高的时间,空间上的消耗, 代价极大

多媒体对网络的要求
吞吐量:单位时间内通过网络的二进制的位(bit)数; 又称比特率--bps
传输延迟:延迟的变化--网络延迟不稳定引起。 一般用变化的方差表示
等时性:指延迟抖动较小的网络特性
误码率:传输过程中端到端数据变化的度量。

计算机网络的发展史:以太网-〉局域网-〉广域网-〉互联网
因特网:全球范围内各种广域网互联:特点:全球一统, 信息互通, 采用统一通讯协议-TCP/IP 统一的IP地址。
TCP/IP: 基于数据包结构:IP地址

互联网存在的问题
高通量:高速, 宽带:互联网:拥挤, 慢速, 等待
自良保证:连续,实时:互联网:断续, 迟缓
传播效率:广播, 组播

多媒体网络的关键技术
多媒体音频, 视频数据的压缩编码
网络得子良保证(QOS)
组播技术(MULTICASTING)

多媒体数据的压缩编码
目的:在保持信息不变的情况下, 减少总的BIT量;:
减少总的数据量, 缩短每个数据长度
寻找一种可逆得数字编码方法
编码后格式由较少BIT总量-又较少的数据或较小的数值
编码,解码必须是可逆的操作, 可以恢复

多媒体网络压缩技术
音频信号:MP3
视频信号:MPEG系列
MPEG1:VCD家用录像带质量
MPEG2: 广播电视DVD-HDVD
MPEG3: HDVD-取消
MPEG4:低频视频电话会议--互联网
MPEG7:基于内容结构--视频检索
MPEG21:多媒体框架,网络多媒体集成

网络多媒体的应用
IPTV:网络电视
电视频道采样器-〉压缩编码-〉视频服务器-〉调试计算机+遥控/信息计算机
VIDEO ON DEMAND
视频库-〉流媒体发送器-〉VOD点播服务器-〉调试计算机
VIDEO CONFERECING

新一代因特网的提出
世纪之交, 美国:
高性能因特网骨干网系统VBNS的投入运行
160所大学组成的INTERNET 2联盟-UCAID
克林顿宣布的下一代的因特网计划NGI
总称为新一代因特网

因特网的突起
WWW(一种软件)的出现和普及(94-95〕, 使INTERNET能传播图形, 语音等超级数据库; INTERNET开始进入千家万户, 成为各种阶层的喜闻乐见的信息交流形式。
GIGABIT, ATM, SDH高速传播手段, 使得INTERNET传播高质量的声音, 图像成为可能。

新一代的传输基础:DWDM--密集波分复用:以广波为载体传输
DWDM+线速路由+交换HUB组成了GIGABIT为特征的因特网传输基础网络, 称为GBIT网

关键技术:
IPV6
数据包结构:
version(4), prior(4), flow label(24), payload length(16), next head(8), hop limit(8), source address(128), destination address(128), content

ipv6特点之一:可选的扩展头部(next head)
分离放置, 路由器不必每次都检查,
长度可变, 但不超过40bite
增加可选内容:路由选择, 安全认证(authentication), 封装保密(encapsulation), 路由控制, 目标选择(附加终点信息)
ipv6特点之二:128bit的空间地址

关键技术3:mutilcasting
目的:按登记用户分组, 传播信息数据
要求:
同一小组用户只由同一类地址方式host address
用户小组可以使动态变化的(加入或退出)
小组用户分布无地理约束

Monday, 16 July 2007

web搜索

web搜索引擎:通过为数目巨大的web文档建立索引, 使得在www上找寻信息成为可能。
google:强调利用文档包含的信息来改善检索结果
摆渡:国内搜索引擎服务提供商(为sohu, sina, 263等), 中文检索。
搜索引擎的设计:关键建立索引库, 处理用户查询
文档采集:文档库
索引建立:文档表示/向量表示
数据结构设计:数据库
排序函数, 查询处理:排序后的查询结果

文档的采集:
用户主动向系统报告自己的资源
由系统的搜索工具去找寻用户的信息
web robot, 也叫crawler, spider, wanderer, worm等是一个能够沿着超连接web文档集合的程序
给定一些url, web robot能够利用象http这样的标准协议读取相应的文档, 然后沿着文档中的超级链接访问新的文档, 如此继续下去
基于robot的信息搜索系统的缺陷:
给网络和被访问的web服务器带来了较大的负担
不加区分的索取所有可达得文档, 并为之建立索引

索引信息的选区和组织
有的搜索引擎:简单的汇聚用户按一定的格式提供的关于web文档的信息, 它并不去访问文档本身
绝大多数系统:读取web文档, 分析其结构, 提取索引信息
索引对象:字, 词, 短语:全文索引
可根据html文本本身的结构title, 地址url和超级链接区分各个部分的重要性
为了方便用户进行查找, 索引信息必须有一定的组织方式:
yahoo把收集到的索引信息按照主题分类组成一个层次性的目录系统, 每条索引都属于某些子目录, 也就是类别
infoseek, 号称web最大的目录系统, 其索引项也都被归入多层目录结构
索引信息系统若能识别, 归纳出特定领域的深层次结构模式, 并将它与目录系统的自动构造结合起来, 一定可以大大改善信息查询的准确性。

查询处理:
查询:给出文档的某些信息(关键字), 由web查询工具相应的索引数据库, 确定文档的位置。
查询的两个目标:
尽可能的把所有满足查询条件的资源都找出来, 不要有所遗漏, 即较高的查全率(recall)
尽可能的保证查询结果的准确性, 不要把许多关系不大的东西返回给用户, 即较高的查准率
(precision)
第一个目标主要依赖索引数据库的建设
第二个目标主要依赖查询语言的设计
常用的查询技术主要有以下几种:
词组表示和布尔运算
范围查询:把检索限定在满足某些条件的web文档的集合内
结构查询:查询时充分利用html文档的结构, 以提高查询的准确性
通配和词形变化
概念查询;也找出所有包含于查询表达式概念相同的词语的文档
模糊查询:该技术能够让用户对所查询的内容渐渐明朗起来。
自然语言查询

元搜索引擎:同时对多个搜索引擎进行检索的工具
搜索引擎的选择:检索条件的转换, 搜索引擎的评价
结果的融合:删除重复, 合并结果

搜索引擎智能化:
与一般搜索引擎的区别:
对用户提交关键字的要求不同
搜索引起的网络负荷不同
搜索范围局限性不同
实用限制不同
学习能力

信息检索服务系统的种类:
搜索-索引系统
信息过滤系统
浏览助理系统
社会的或合作的系统

搜索-检索系统
目前常用的搜索引擎基本上属于这一类
通常即不采用基本知识的方法也不采用基于交互行为的学习方法
采用一种常规的问题-问答界面形势

信息过滤系统
通常被用来提供所需的email以及新闻组信息
通常相关性反馈来建立用户的profile
具有一种与生据来得危险性, 如果不小心删除了一个重要的邮件信息
利用搜索-检索系统中的许多技术, 但在信息过滤系统中使用的用户profile往往表达了用户的一个相对长期的兴趣, 而在搜索-检索系统中则通常表达为一个短期目标。 过滤是从信息流中去除不相关的信息的动作, 而搜索则在信息库中寻找相关的信息。

浏览助理系统
通过帮助浏览的形似提供服务
webwatcher系统:能够交互的提供关于跟总哪一个链接的建议。 系统通过跟踪其建议是否被采用以及在浏览完成时向用户发出成功与失败的信息询问进行学习
letiza:跟踪用户的浏览行为并试图通过并发的, 自治的探索用户当前位置可达的链接以预测用户的兴趣主体页。 通过用户的浏览行为启发式的推测用户的兴趣, 从而扩展了以best-first搜索的浏览策略

社会的或合作的系统
利用了共享的用户兴趣
其关键思想在于如何匹配相似的用户, 如何利用别的用户的评价或解释。
例子有时用合作过滤技术处理web页得webhound系统, 以及let's browse等

有关信息过滤与推荐的基本技术
信息过滤与推荐是信息处理的一泓方式, 为了使计算机能很好的处理internert上这些办结构化的信息, 往往要:为信息源建立结构化的表示方法。 为用户建立能反映其关注点的用户个性化模型

content-based:
通过分析所检索得internet资源内容(如关键字出现的频度)建立相应文档的结构化模型, 同时用户模型也采用同样的表示模型(称为profile, 帮组用户搜索信息, 推荐链接, 并接受用户的好评)
用户对文档的感兴趣程度变成了同结构模型间相似的比较。
文档表示:向量空间模型vsm
将文档看作是由相互独立的词条组(T1, T2, ...Tn)构成, 对于每一词条Ti都根据其在文档中的重要程度附议一定的权值Wi, 并将T1, T2, ..Tn看成是一个N唯坐标系中的坐标轴, W1, W2, ...Wn为相应的坐标值。
关键词权重的计算:tfidf:词频(关键字在一篇文章中出现的次数)(term frequency,tf)和逆文档频率(inverse document frequency, 即idf)(关键词在所有文档中出现的频率)的成绩来区定
相似形计算:余弦/内积系数表示:

social-based or collaborative-based:
利用共享的用户模型表示各用户对各种对象的关注程度
通过分析该共享模型中用户间的相似性, 将某一用户关注的文档推荐给其他具有共同想法的用户。
并不计算内容的相似形, 而是计算用户之间的相似性。
这个方法是建立在用户对所看到的内容有一定的反馈的基础上的。

event-based:
通过跟踪用户浏览网页的习性, 捕抓相应信息作为信息推荐的依据
典型的单用户及与实践的技术是leatiz

web mining:内容挖掘, 结构挖掘, 使用挖掘
xml:一种元标及语言,提供描述结构化资料的格式。

Friday, 13 July 2007

浙大计算机前沿讲座_GIS信息安全

信息疆域--信息侵略
WIN95--澳大利亚海军发现, 该软件内有一个神秘的黑匣子, 只要入英特网, 它会悄悄的向微软总部发送机器信息。
WIN98--用户通过英特网拨号注册时, 系统自动收集机器内的信息, 甚至身份鉴别资料连接到他的一个数据库中。
INTEL奔腾3--处理器可以通过内置的序列码, 将用户与截取的信息一一对应起来, 破译用户身份和密码, 或在内留下嵌入式病毒, 安装产品隐性通道和可恢复密钥的密码
P-415部队--法国解密80年起美国组织世界性监听和截取民用, 军用通信的庞大体系。 每天能窃听全球30亿个电话, 传真和EMAIL。 美国特工微软合作, 并协助微软在其软件中安装秘密程序, 以供美情报部门截取电子信息
特种部队--欧洲议会2000年2月揭露美国和英国, 加拿大, 澳大利亚和新西兰合作, 通过地面和卫星电子设备建立的信息截取网络系统
美国把有病毒的AF/91微机芯片装入伊拉克从法国购买的用欲防空系统的新型打印机中, 造成亚拉克军事指挥中心主机失灵。

GIS: Geographic information systems: 一种为了获取, 存储, 检索, 分析和显示空间定位数据而建立的计算机化的数据库管理系统。

空间数据分类
矢量数据--用点,线, 面来描述现实世界, 表现地表信息, 通过坐标值来定义, 是数学的表达方式。
珊格数据--用一定的空间分解力来解析地表信息, 通过灰度和色调来定义, 是光学的表达方式
4D:
digital raster graphic
digital orthophoto map
digital elevation model
digital line graphic

图形和属性数据的管理都用现有的关系数据库管理系统
图形数据模式:一种是基于关系模型的方式。 一种是将图形数据的变长部分处理成二进制

应用:
空间查询:几何参数查询, 空间定位查询, 空间关系查询, sql查询


web gis
实现方法1 动态dynamic web gis: 在原有的gis原件基础上,采用cgi技术,网络用户发出请求后服务器将用户需要的部分图像数据转换成gif(jpeg)文件, 传递给用户。 优点:开发快, 成本低。 缺点:数据量大, 数度慢, 效率低
实现方法2:主动active web gis: 采用java工具或空间技术, 网络用户发出请求后,服务器将用户需要的矢量数据传递给用户, 由客户端处理。 优点:主动,速度快, 效率高。 缺点:开发周期长,首次调用花时间大。

必须发挥原数据的作用 matadata:xml 最适合元数据的编程。
GML是基于XML的空间信息编码标准。

数字城市
城市规划建设管理系统
城市管线网管理系统
城市安全管理指挥系统
城市资源信息管理系统
城市社会综合信息管理系统