搜索引擎原理_搜索引擎原理包括哪几个步骤

搜索引擎原理_搜索引擎原理包括哪几个步骤

       大家好，今天我想和大家分享一下我在“搜索引擎原理”方面的经验。为了让大家更好地理解这个问题，我将相关资料进行了整理，现在就让我们一起来学习吧。

1.搜索引擎的搜索原理是什么？

2.搜索引擎的分类及其工作原理

3.搜索引擎是如何实现的

4.浅谈搜索引擎收录的三大原理

5.什么是搜索引擎？

6.全文搜索引擎一般采用什么原理来采集信息

搜索引擎的搜索原理是什么？

       搜索引擎的工作原理：

       1、搜集信息

       搜索引擎的信息搜集基本都是自动的。

       搜索引擎利用称为网络蜘蛛的自动搜索机器人程序来连上每一个网页上的超链接。

       机器人程序根据网页连到其中的超链接，就像日常生活中所说的一传十，十传百，从少数几个网页开始，连到数据库上所有到其他网页的链接。

       理论上，若网页上有适当的超链接，机器人便可以遍历绝大部分网页。

       2、整理信息

       搜索引擎整理信息的过程称为“创建索引”。

       搜索引擎不仅要保存搜集起来的信息，还要将它们按照一定的规则进行编排。这样，搜索引擎根本不用重新翻查它所有保存的信息而迅速找到所要的资料。

       3、接受查询

       用户向搜索引擎发出查询，搜索引擎接受查询并向用户返回资料。

       搜索引擎每时每刻都要接到来自大量用户的几乎是同时发出的查询，它按照每个用户的要求检查自己的索引，在极短时间内找到用户需要的资料，并返回给用户。

       目前，搜索引擎返回主要是以网页链接的形式提供的，这样通过这些链接，用户便能到达含有自己所需资料的网页。

       通常搜索引擎会在这些链接下提供一小段来自这些网页的摘要信息以帮助用户判断此网页是否含有自己需要的内容。

搜索引擎的分类及其工作原理

       搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（FullText Search Engine）、

       目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。

       目录索引虽然有搜索功能，但从严格意义上算不上是真正的搜索引擎，只是一个目录列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。从这个角度说，搜索引擎按其工作方式分为全文搜索引擎和元搜索引擎两种。

工作原理

       搜索引擎的整个工作过程视为三个部分：

       一是蜘蛛在互联网上爬行和抓取网页信息，并存入原始网页数据库；

       二是对原始网页数据库中的信息进行提取和组织，并建立索引库；

       三是根据用户输入的关键词，快速找到相关文档，并对找到的结果进行排序，并将查询结果返回给用户。

       以上内容参考：百度百科-搜索引擎

搜索引擎是如何实现的

       搜索引擎的分类：

       1、全文索引

       搜索引擎分类部分提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间，搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。

       2、目录索引

       目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。

       3、元搜索

       元搜索引擎接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合。

       搜索引擎的工作原理：

       第一步：爬行

       搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。

       第二步：抓取存储

       搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。其中的页面数据与用户浏览器得到的HTML是完全一样的。搜索引擎蜘蛛在抓取页面时，也做一定的重复内容检测，一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不再爬行。

       第三步：预处理

       搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。

       第四步：排名

       用户在搜索框输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程与用户直接互动的。但是，由于搜索引擎的数据量庞大，虽然能达到每日都有小的更新，但是一般情况搜索引擎的排名规则都是根据日、周、月阶段性不同幅度的更新。

扩展资料：

       十大搜索引擎：

       1、百度

       百度是全球最大的中文搜索引擎、最大的中文网站。2000年1月由李彦宏创立于北京中关村，致力于向人们提供“简单，可依赖”的信息获取方式。“百度”二字源于中国宋朝词人辛弃疾的《青玉案·元夕》词句“众里寻他千百度”，象征着百度对中文信息检索技术的执著追求。

       2、谷歌

       Google（中文名：谷歌），是一家美国的跨国科技企业，致力于互联网搜索、云计算、广告技术等领域，开发并提供大量基于互联网的产品与服务，其主要利润来自于AdWords等广告服务。Google由当时在斯坦福大学攻读理工博士的拉里·佩奇和谢尔盖·布卢姆共同创建，因此两人也被称为“Google Guys”。

       3、雅虎

       雅虎是美国著名的互联网门户网站，也是20世纪末互联网奇迹的创造者之一。其服务包括搜索引擎、电邮、新闻等，业务遍及24个国家和地区，为全球超过5亿的独立用户提供多元化的网络服务。同时也是一家全球性的因特网通讯、商贸及媒体公司。

       4、搜狗

       搜狗是搜狐公司的旗下子公司，于2004年8月3日推出，目的是增强搜狐网的搜索技能，主要经营搜狐公司的搜索业务。在搜索业务的同时，也推出搜狗输入法、搜狗高速浏览器。

       5、爱问

       作为首个中文智慧型互动搜索引擎，“爱问”突破了由GOOGLE、百度为代表的算法致胜的搜索模式。 新浪“爱问”在保留了传统算法技术在常规网页搜索的强大功能外，以一个独有的互动问答平台弥补了传统算法技术在搜索界面上智慧性和互动性的先天不足。

       6、搜搜

       搜搜是腾讯旗下的搜索网站，是腾讯主要的业务单元之一。网站于2006年3月正式发布并开始运营。搜搜目前已成为中国网民首选的三大搜索引擎之一，主要为网民提供实用便捷的搜索服务，同时承担腾讯全部搜索业务，是腾讯整体在线生活战略中重要的组成部分之一。

       7、有道

       有道是网易旗下利用大数据技术提供移动互联网应用的子公司。网易有道公司已推出有道词典、有道云笔记、惠惠网、有道推广等一系列产品。

       8、中搜

       中搜是中国国内领先的第三代搜索引擎服务及技术应用提供商。依托第三代搜索引擎和个性化微件，实现了人类知识和搜索技术的融合，通过两大WEB站点、移动APP、云服务平台等载体为网民及企业提供全新的第三代搜索引擎体验。

       9、360搜索

       360综合搜索，属于元搜索引擎，是搜索引擎的一种，是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的（甚至是同时利用若干个）搜索引擎来实现检索操作，是对分布于网络的多种检索工具的全局控制机制。

       10、天网

       天网搜索的前身是北大天网。北大天网由北京大学网络实验室研究开发，是国家重点科技攻关项目“中文编码和分布式中英文信息发现”的研究成果。北大天网于1997年10月29日正式在 CERNET上向广大互联网用户提供Web信息搜索及导航服务，是国内第一个基于网页索引搜索的搜索引擎。

百度百科——搜索引擎

浅谈搜索引擎收录的三大原理

       搜索引擎是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，是为用户提供检索服务的系统。 搜索引擎由搜索器 、索引器、检索器和用户接口四个部分组成，包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

       搜索引擎实现的原理：

       1、通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行；

       2、通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库；

       3、搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理；

       4、用户在搜索框输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程与用户直接互动的。

什么是搜索引擎？

        浅谈搜索引擎收录的三大原理

       　搜索引擎的工作就是在网络上进行数据采集，这也是搜索引擎最基础的工作，其中搜索引擎的内容是来自URL列表中，我们可以通过这些列表不断的收录，储存以及维护，学习搜索引擎的收录流程、原理、收录方式是可以帮助我们提高搜索引擎对网站的收录数量。

        第一点：收录流程

       　在网站中URL是页面的入口地址，蜘蛛程序是通过这些来抓取页面的。蜘蛛不断的从页面中获取资源及存储页面，然后加入到URL列表中，然后再不断的循环，搜索引擎就能在网络中获取很多页面。

       　URL被称为页面的入口，而域名被称为网站的入口，当搜索引擎进入网站抓取网站中的页面时，首先就是要加入搜索引擎的域名列表中，我们常见的搜索引擎列有两种方式，第一种是搜索引擎给我们提供登录信息，然后向搜索引擎提交网站域名，用这种方法只能定期抓取且比较被动，花费的时间也比较长。第二种是通过高质量的链接让搜索引擎在抓取别人网站的.同时看到我们，从而实现对网站的收录，使用这种方法的主动权在我们这边，且速度会比较快一些，如果链接的数量质量比较好，一般在一周内会被搜索引擎收录。

        第二点：收录原理

       　如果我们把网站的页面看成是一个有向图，我们从指定的页面出发，按照某种特定的策略对网站中的页面进行编辑，然后不断的从URL列表中拿出访问的URL，在存储页面同时提取信息，URL可以分为两类一是域名，二是内部URL，如果是判断URL是否被访问过，把URL加入URL列表中就知道了，经过这些工作，搜索引擎可以建立列表、页面URL以及储存页面。

        第三点：收录方式

       　页面收录方式是指搜索引擎抓取页面时所使用的策略，其目的就是为了能在网络中选出较重要的信息，页面收录方式的制定取决于搜索引擎对网络结构的理解，如果是使用相同的抓取策略，搜索引擎在同样的时间会抓取更多的资源，在网站停留的时间更长，被收录的页面也就会越多。

;

全文搜索引擎一般采用什么原理来采集信息

       分类: 电脑/网络 >> 互联网

        问题描述:

        具体点哦，急

        解析:

        搜索引擎指自动从英特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。英特网上的信息浩瀚万千，而且毫无秩序，所有的信息象汪洋上的一个个小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为你绘制一幅一目了然的信息地图，供你随时查阅。

        搜索引擎的工作原理

        搜索引擎的工作原理大致可以分为：

       1、搜集信息：搜索引擎的信息搜集基本都是自动的。搜索引擎利用称为网络蜘蛛(spider)的自动搜索机器人程序来连上每一个网页上的超连结。机器人程序根据网页链到其他中的超链接，就象日常生活中所说的“一传十，十传百……”一样，从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页上有适当的超连结，机器人便可以遍历绝大部分网页。

        2、整理信息：搜索引擎整理信息的过程称为“建立索引”。搜索引擎不仅要保存搜集起来的信息，还要将它们按照一定的规则进行编排。这样，搜索引擎根本不用重新翻查它所有保存的信息而迅速找到所要的资料。想象一下，如果信息是不按任何规则地随意堆放在搜索引擎的数据库中，那么它每次找资料都得把整个资料库完全翻查一遍，如此一来再快的计算机系统也没有用。

        3、接受查询：用户向搜索引擎发出查询，搜索引擎接受查询并向用户返回资料。搜索引擎每时每刻都要接到来自大量用户的几乎是同时发出的查询，它按照每个用户的要求检查自己的索引，在极短时间内找到用户需要的资料，并返回给用户。目前，搜索引擎返回主要是以网页链接的形式提供的，这些通过这些链接，用户便能到达含有自己所需资料的网页。通常搜索引擎会在这些链接下提供一小段来自这些网页的摘要信息以帮助用户判断此网页是否含有自己需要的内容。

搜索引擎的工作原理分为

       全文搜索引擎一般采用搜索器、索引器、检索器和用户接口等四个部分原理来采集信息

       1.搜索器

       搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。

       2.索引器

       索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。

       3.检索器

       检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。

       4.用户接口

       用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。

搜索引擎是如何工作的？

       搜索引擎的工作原理简单来说可以分为三步：

       1、信息采集模块

       信息采集器是一个可以浏览网页的程序，被形容为“网络爬虫”。它首先打开一个网页，然后把该网页的链接作为浏览的起始地址，把被链接的网页获取过来，抽取网页中出现的链接，并通过一定算法决定下一步要访问哪些链接。

       同时，信息采集器将已经访问过的URL存储到自己的网页列表并打上已搜索的标记。自动标引程序检查该网页并为他创建一条索引记录，然后将该记录加入到整个查询表中。信息收集器再以该网页到超链接为起点继续重复这一访问过程直至结束。

       一般搜索引擎的采集器在搜索过程中只取链长比（超链接数目与文档长度的比值）小于某一阈值的页面，数据采集于内容页面，不涉及目录页面。在采集文档的同时记录各文档的地址信息、修改时间、文档长度等状态信息，用于站点资源的监视和资料库的更新。

       在采集过程中还可以构造适当的启发策略，指导采集器的搜索路径和采集范围，减少文档采集的盲目性。

       2、查询表模块

       查询表模块是一个全文索引数据库，他通过分析网页，排除HTML等语言的标记符号，将出现的所有字或词抽取出来，

       并记录每个字词出现的网址及相应位置（比如是出现在网页标题中，还是出现在简介或正文中），最后将这些数据存入查询表，成为直接提供给用户搜索的数据库。

       3、检索模块

       检索模块是实现检索功能的程序，其作用是将用户输入的检索表达式拆分成具有检索意义的字或词，再访问查询表，通过一定的匹配算法获得相应的检索结果。返回的结果一般根据词频和网页链接中反映的信息建立统计模型，按相关度由高到低的顺序输出。

       搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。

       一. 基本概念

       搜索引擎指自动从因特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。因特网上的信息浩瀚万千，而且毫无秩序，所有的信息像汪洋上的一个个小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为用户绘制一幅一目了然的信息地图，供用户随时查阅。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

       二. 工作原理

       1.抓取网页

       每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。

       2.处理网页

       搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

       3.提供检索服务

       用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。

       好了，关于“搜索引擎原理”的话题就讲到这里了。希望大家能够对“搜索引擎原理”有更深入的了解，并且从我的回答中得到一些启示。