1.3 搜索引擎简史

随着互联网的发展，搜索引擎的出现是必然的。就像传统的图书馆一样，收藏的书籍、文件多了，必然出现管理、查找困难的问题，这时，索引和搜索就成为必需的了。实际上，搜索引擎原理在很大程度上源于传统文件的检索技术。

网上的资源数量远超出我们的想象与掌控，没有搜索引擎，我们几乎无法有效地利用这些资源，也就没有互联网的今天。

当今社交媒体如日中天，诸如微博、微信、短视频、Facebook、Twitter等应用的使用人次、网站流量、社会影响力已经达到甚至超过百度、Google等互联网巨头。有这样一种倾向和观点，网民现在寻找信息更多的是靠微博、微信、Facebook，而不是搜索引擎。也许搜索引擎已经过时了？

关于这一点，SEO人员其实倒不必担心。也许Google、百度会没落，会消失，但搜索引擎不会。就算微博、微信、Facebook、Twitter在当下十分火热，或者以后再出现新的网络服务，当用户要寻找信息时，一样要在搜索框中输入关键词，或者在移动互联网时代依靠语音输入，这本质上还是搜索，只不过搜索信息的来源可能从搜索引擎收录的页面数据库变成微博、微信、Facebook、Twitter的内部数据库，排名算法从页面相关性、链接，变成用户、好友的推荐程度及评论，但以上数据来源及算法的改变都不能改变用户对搜索功能的需要，也不会改变搜索的基本形式。

只要搜索存在，就会存在哪条信息排在前面的问题，就有SEO的存在。也许搜索引擎这个名字变了，SEO也只是需要改个名字而已。

搜索是近20年互联网变化最快的领域之一，这种变化不仅体现在搜索技术的突飞猛进和其对网络经济的巨大推动上，搜索引擎本身的合纵连横、兴衰起伏也是精彩纷呈，常令人有眼花缭乱、瞠目结舌之感。

了解搜索引擎的发展历史有助于SEO人员理解搜索引擎营销的发展与变革，对未来有更准确的预期。本节就简要列出搜索引擎发展史上的重要事件，其中很多事件对今天的搜索引擎以及SEO行业的形态发展有着至关重要的影响。

1990年

第一个互联网上的搜索引擎Archie出现，用于搜索FTP服务器上的文件。当时，基于HTTP协议的Web还没有出现。

1993年

6月，第一个Web搜索引擎World Wide Web Wanderer出现，它只收集网址，还无法索引文件内容。

10月，第二个Web搜索引擎ALIWEB出现，它开始索引文件元信息（也就是标题标签等信息），但也无法索引文件主体内容。

1994年

1月，Infoseek创立，其搜索服务稍后正式推出。Infoseek是早期最重要的搜索引擎之一，允许站长提交网址就是从Infoseek开始的。百度创始人李彦宏就是Infoseek的核心工程师之一。

4月，Yahoo！由David Filo和Jerry Yang（杨致远）创立。当时还没有注册yahoo.com域名，其网站建在斯坦福大学的域名上。Yahoo！最初不是真正的搜索引擎，而是人工编辑的网站目录，创始人亲自把收集到的有价值的网站列在Yahoo！目录中。在网站数量还不多时，Yahoo！可以实现人工编辑，既为用户提供了方便，又保证了信息质量，这使其迅速成长为网络巨人。

4月，第一个全文搜索引擎（索引文件全部内容）WebCrawler推出。起初它是华盛顿大学的一个研究项目，1995年被美国在线AOL收购，1996年又被Excite收购。2001年停止研发自己的搜索技术，网站成为元搜索引擎（整合、显示多个第三方搜索引擎结果，被称为元搜索引擎）。

6月，Lycos创立并迅速成为最受欢迎的搜索引擎之一。

1995年

1月，yahoo.com域名注册。4月，Yahoo！公司正式成立。

12月，Excite搜索引擎正式上线，成为早期流行的搜索引擎之一。2001年其母公司破产，被InfoSpace购买。2004年被Ask Jeeves收购。

12月，AltaVista创立并迅速成为最受欢迎的搜索引擎，堪称当时的Google。AltaVista在搜索领域开展了很多开创性的工作，其页面排名以站内因素为主，站长提交网址后会被迅速收录。

12月，Infoseek成为网景浏览器的默认搜索引擎。网景（Netscape），是当时浏览器市场的绝对统治者，曾占市场份额的90%以上。后来随着免费的微软IE浏览器推出而逐渐衰落，2008年正式停止研发和技术支援。

1996年

3月，Google的创始人Larry Page和Sergey Brin在斯坦福大学开启了他们的研究项目，当时使用的名称是BackRub，1997年更名为Google。

4月，Yahoo！上市。

5月，Inktomi创立，作为早期重要的搜索技术提供商，其本身并没有可供用户使用的搜索网站或界面，而是专门提供搜索技术给其他公司。Inktomi最先开始使用付费收录的方式，但后来被Google等的成功证明此方式行不通。

5月，Hotbot创立，其最初使用Inktomi数据。1998年被Lycos收购，后来转型为元搜索引擎，显示来自Google、FAST、Teoma和Inktomi的结果。Hotbot也是初期颇流行的搜索引擎之一。

11月，Lycos收录了6000万文件，成为当时最大的搜索引擎。然而这与今天的搜索引擎索引库相比，可以说是小巫见大巫。

1997年

4月，Ask Jeeves上线，于2006年改名为Ask，是唯一一个至今仍真实存在并有一定市场份额的早期搜索引擎。其创立时标榜的特点是“自然语言”搜索，用户可以使用问句形式搜索。起初其雇用大量编辑通过人工编辑搜索结果，但显然（至少今天看来很显然）这种模式行不通，于是不得不使用其他搜索引擎数据。

1998年

2月21日，GoTo（后来改名为Overture）正式启用Pay For Placement（出售搜索结果位置）服务，谁付的钱多，谁就排在前面。这在当时饱受非议，但却是后来所有主流搜索引擎最主要的收入来源，并且是搜索竞价广告（百度推广和Google Ads等）的始祖。

Direct Hit创建，搜索结果的用户点击率是影响其排名的重要因素，Direct Hit因此流行一时，但很快也因此造成搜索质量大幅下降。今天的搜索引擎算法中引入了用户浏览数据，其实早在初期搜索引擎就有探索并留下了教训，一旦处理不好就会被作弊者利用。

1998年中，迪士尼成为Infoseek的控股公司，并将Infoseek转型为门户。早期的搜索引擎没有明确的赢利模式，遇到搜索质量下降、没有收入等困难时，常常采用转型为门户的方法，寄希望于像Yahoo！那样赚网络显示广告的钱，但几乎没有转型成功的例子。这为Google等后来者坚持提高搜索技术、坚持简洁的搜索核心业务提供了前车之鉴。

同样在1998年，AltaVista被卖给Compaq，1999年10月，Compaq也将AltaVista转型为门户，AltaVista走向没落。

1998年中，Yahoo！放弃1996年开始使用的AltaVista，转而使用Inktomi的搜索数据。早期的Yahoo！只在其目录中没有用户寻找的网站时，才显示来自真正搜索引擎的数据。

9月，Google公司正式成立。

MSN搜索推出，但在之后的很长时间里，微软都没有重视搜索引擎，一直到2004年，MSN Search都在使用其他提供商提供的搜索数据和技术。

1999年

5月，AllTheWeb.com创建，并成为搜索技术公司FAST展示其技术的平台。

6月，Netscape放弃Excite搜索引擎，转而使用Google搜索数据，对Google来说是个里程碑式的时刻。

1999年中，迪士尼将Infoseek流量转入Go.com，曾经流行一时的搜索引擎Infoseek消失。Go.com几经波折，目前无声无息。

Lycos停止自己的搜索技术，开始使用AllTheWeb数据。

2000年

1月，Ask Jeeves以5亿美元收购搜索引擎Direct Hit，但并没有进一步发展它。2002年初，Direct Hit正式宣告结束。

1月18日，百度成立，起初仅作为搜索技术提供商向其他网站提供中文搜索服务和数据。

5月，Lycos被西班牙公司Terra Networks收购，改名为Terra Lycos。互联网泡沫破灭后，Terra Lycos渐渐势微。

7月，Yahoo！开始使用Google搜索数据，其以自己当时最强大的网上品牌和流量，培养出日后最强大的竞争对手和掘墓人。

2000年中，GoTo.com基本放弃使用自己网站吸引用户的做法，开始向多家搜索引擎及网站提供付费搜索服务，包括MetaCrawler.com、DogPile.com、Ask Jeeves、AOL、Netscape等。这可能是GoTo.com（后来的Overture）的重大失误之一，它使用了一个具有开创意义的模式，但开创者的品牌名称却没能被普通用户知道，GoTo.com也因此无法与Google这种家喻户晓的品牌抗衡。

10月，Google推出AdWords，以CPM模式，也就是按显示付费的模式，提供搜索广告服务。这个模式并不成功。

2001年

9月，Ask Jeeves收购了Teoma，这是一个与Google一样重视链接的搜索引擎，并且曾经被认为是能与Google抗衡的搜索引擎之一。

10月，百度作为搜索引擎正式上线，并直接独立提供搜索服务。中文搜索迅速进入了百度时代。

2002年

3月，Google Adwords推出PPC形式，也就是按点击付费，成为今天Google Adwords的主流。PPC搜索广告由Overture发明，并由Google发扬光大。从PPC开始，Google Adwords才算真正被客户接受和广泛使用，Google成为充分利用搜索的网络赚钱机器。

5月，美国在线AOL放弃Inktomi，转而使用Google搜索数据。

10月，Yahoo！放弃在用户搜索时先返回Yahoo！目录中数据的做法，全面改为显示Google搜索数据。Yahoo！目录还是最重要的网站目录，但显然使用者越来越少了。

12月，Yahoo！收购苦于没有良好赢利模式的Inktomi，为其2003年一系列收购和整合拉开序幕。显然Yahoo！希望拥有自己的搜索技术，而不想继续依赖其他搜索引擎，如Google。

2003年

2月18日，Overture宣布收购AltaVista。除了广告平台，Overture也拥有了自己的搜索技术。

2月25日，Overture宣布收购FAST的搜索技术部门，FAST拥有AllTheWeb.com，也向另一个著名的搜索网站Lycos提供搜索数据。Overture因此拥有了当时两大主要搜索技术公司。

3月，Google推出后来被称为Adsense的内容广告系统，并向其他内容网站提供广告服务，这也成为很多内容网站的主要收入来源之一。

7月，Yahoo！宣布以16亿美元的价格收购Overture，将Google之外的几乎所有主流搜索技术（Inktomi、AltaVista、FAST）收归旗下。可惜，随着2010年Yahoo！放弃了自己的搜索技术，并转而使用微软Bing服务，Yahoo！以前收购的及自己在此基础上研发多年的搜索技术全部无疾而终。Overture的PPC广告平台被整合，改名为Yahoo！Search Marketing。

2003年，微软MSN开始开发自己的搜索引擎技术。此前，MSN网站一直使用Inktomi等搜索技术提供商的搜索数据。

2004年

2月，正如所有人预料的，Yahoo！在收购了几大搜索公司后推出了自己的搜索引擎，不再使用Google数据和技术。

8月，Google上市。

11月，微软推出了自己的搜索引擎MSN Search，不再使用第三方搜索服务。三雄鼎立时代开启。

2005年

8月，百度上市。

2006年

5月，微软推出类似于Google Adwords的广告系统adCenter。

9月，MSN Search改名Live Search，实际上，MSN网络品牌全部改为Live，并做了大量推广。不过这并没有显著提高微软在搜索市场的份额，Google仍然一枝独秀。

2007年

3月，Google也开始提供类似网站联盟的按转化付费的广告形式。4月，Google收购传统网络广告公司DoubleClick，进入更广泛的网络广告领域。

2009年

6月，微软Live Search改名为必应（Bing）。

7月29日，微软和Yahoo！达成历史性协议，Yahoo！将逐步放弃自己的搜索技术，使用Bing数据。此前几年，Yahoo！始终在困境中挣扎，CEO几度更换，大股东内讧，搜索市场份额不断下降。终于，Yahoo！被自己亲手培养的Google彻底打败在搜索战场。Yahoo！曾经是英雄，但它的时代正式结束了。

2010年

8月25日，Yahoo！开始使用Bing搜索数据。

2011年

2月24日，Google推出旨在减少搜索结果中低质量页面的Panda（熊猫）更新，这对SEO业界影响深远。

2012年

4月24日，Google上线Penguin（企鹅）更新，用以打击作弊链接和低质量链接。Penguin更新使SEO行业对外链制造方法有了全新认识。

8月，360公司推出了360搜索，并凭借其浏览器的市场占有率，迅速提升了其在国内的搜索引擎市场份额。

11月，百度站长平台推出外链查询功能，这使百度站长平台真正成为了中国站长必用的SEO工具。

2013年

2月20日，百度推出绿萝算法，用以打击参与链接买卖的网站。

5月，百度推出石榴算法，用以打击低质量内容页面。

6月，Yahoo！关闭了红极一时的AltaVista。

2014年

9月，在放弃了自己的搜索技术4年后，Yahoo！宣布将自己赖以起家的网站目录于2014年底关闭。

2015年

2015年上半年的某个时间，Google上线RankBrain，这是以人工智能为基础的深入理解查询词意义的系统。RankBrain的上线拉开了人工智能广泛应用于搜索的序幕。

7月，Google上线第29次，也是最后一次进行Panda更新：Panda Update 4.2，这之后Panda成为了Google核心算法的一部分，不再推出单独的Panda更新。

2016年

9月，Google上线第7次，也是最后一次进行Penguin更新：Penguin 4.0，这之后Penguin成为Google核心算法的一部分，页面被重新抓取索引后，将实时通过Penguin算法处理。

2017年

10月，Google开始实施移动优先索引（mobile first index），也就是从原来的索引PC页面转为索引移动页面。移动优化成为SEO的重点。

2018年

3月，Google的第一次核心算法更新（core algorithm update）上线。核心算法更新并不针对某类特定问题，而是每年数次较大规模的整体算法更新。

2003年以来，搜索领域的技术革新不断，以Google为代表的搜索引擎推出了整合搜索、个人化搜索、实时搜索、地图服务、线上文件编辑、网站统计、浏览器、网管工具、超大容量电子邮件、即时通信等多重服务。从总体上看，通常是Google推出新服务，其他搜索引擎很快跟进。

2011年至今，Google连续推出的多个版本的熊猫算法和企鹅算法深深地影响了全球SEO的思维，促使SEO必须更加自然、更强调用户体验。

在国内，除了上面提到的服务，百度更是创建了百科、知道、贴吧等独特服务。在搜索算法上，百度除了推出针对低质量内容和外链的绿萝算法和石榴算法，还进行了冰桶、蓝天、飓风、清风、惊雷等算法更新。2012年以来，百度对SEO也更加开放，不仅推出了百度站长平台（现已改名为百度资源平台），其中的SEO工具也在不断增加和改进，而且以各种形式积极参与到与站长和SEO的对话中，比如参加SEO行业大会，并自行在全国范围内组织与站长的对话会，建立站长与百度工程师直接沟通的渠道。

在国际上，2003年至2009年间，搜索引擎服务商没有大的变化，始终是Google独占鳌头，Yahoo！位居第二，占有不大不小的市场份额，微软Live/Bing位列第三，苦苦追赶而不得。2009年微软推出了Bing，Yahoo！在开始使用Bing技术后（严格地说，Yahoo！已主动退出搜索引擎市场），不仅放弃了自己的搜索技术，而且其搜索服务的市场份额也持续下降，拱手让出第二的位置。

据NetMarketShare统计，2019年10月至2020年9月全球搜索引擎市场份额分布如图1-8所示。

从图1-8中可以看出，Google占据83.64%的市场份额，继续居于绝对领先地位，其市场占有率相比几年前还有所提高。由于中国用户数量庞大，百度排在了第二位，但除了中国，其他国家很少使用百度。Bing所占有的市场份额此时已经超越Yahoo！。

在中文搜索市场，百度独大，Google曾经长期排在第二的位置。2010年，Google在经历风波后退出中国，此后其在中文搜索市场份额持续下降。

据StatCounter统计，2019年百度在中国搜索引擎市场份额的占比为67.09%，搜狗搜索的占比为18.75%，而Google已退至可怜的2.64%，2019年中国搜索引擎市场份额如图1-9所示。