所有搜索引擎的目的都是查找和组织互联网上的数据。在搜索引擎发展之前,Internet 是文件传输协议 (FTP) 站点的集合,用户可以在其中搜索特定的共享文件。随着连接到 Internet 的 Web 服务器的主要列表不断增长,万维网成为访问 Internet 的媒介,并且查找和组织分布在 Web FTP 服务器上的文件的需求也在增长。正因为如此,搜索引擎开始更容易地在互联网上的服务器上引导文件。 当用户在网络上搜索关键字时,搜索引擎会计算不同页面之间关键字的相关程度,并根据引擎存储在索引中的内容给出答案。引擎对页面进行排序并聚合与搜索关键字接近的术语。页面根据最重要的内容进行排名,而排名的顺序很大程度上取决于网站的受欢迎程度和成功程度。
对搜索引擎的需求于 1945 年首次被提及。当时,美国工程师、科学家范瓦 WhatsApp 号码 尔·布什在《大西洋月刊》上发表文章,提出了这样的理念: “信息远远超出了我们目前实际使用记录的能力。记录如果要对科学有用,就必须不断使用和保存。我们无法访问记录很大程度上是由于它的人为性。它是索引系统。这不是人类思维的运作方式,它是协作的。” 现代搜索引擎 现代搜索引擎具有复杂的搜索算法。这些算法不断改进、使用和扩展,以提高其性能。 Google、Bing、DuckDuckGo 和 Qwant 等搜索引擎拥有一套先进的算法。他们的搜索超出了传统的搜索结果。 图片1) Archie (1990) 是 Alan Emtage 和 L. Peter Deutsch 开发的第一个索引工具,被认为是第一个基本搜索引擎。
蒙特利尔麦吉尔大学的一个项目最初为万维网奠定了基础。 Gopher 由明尼苏达大学的学生于 1991 年发布,是一种以 FTP 形式用于索引和搜索在线文档的协议。 图片 (2) Lycos创建于(1993 年),作为一个学术项目,但它是第一个取得商业搜索引擎成功的项目。 1999 年,Lycos 成为全球访问量最大的搜索引擎,在 40 个国家/地区可用。 图片(3) 雅虎! (1994),由 Jerry Young 和 David Philo(均为电气工程系学生)在斯坦福大学创建,是一个高级门户网站和搜索引擎。 雅虎最初是杨和费洛最喜欢的网站的简单集合,包括搜索引擎、电子邮件服务、目录和新闻出版等功能。它最初被称为“杰里和大卫的万维网指南”,但随着该网站越来越受欢迎,它更名为雅虎! 图片 (4) Web Crawler由 Brian Pinkerton 于 1994 年创建 WebCrawler 是第一个在线索引完整页面的爬虫。