作者:张勤 产品总监
Web2.0时代的到来,会给搜索引擎带来什么?我认为最重要的是提供了一种新的内容来源,即用户创造的内容(User Generated Content,以下简称UGC)。
UGC具有一种社区特有的网络效应(Network Effect)。在美国,很多网站的增长很快,就是充分发挥了社区网站的这种特定效应。网络效应体现在,当加入社区的用户越多,贡献的内容越多,每个用户得到效益也越高;而且,当社区用户数和内容量达到一个关键数量(Critical Mass)的拐点后,网站用户数和内容数增长的加速度都会逐渐变大,直至最终趋缓。
对于搜索引擎而言,UGC不是传统意义上简单的一篇帖子,或者写的一篇博客,它至少包括两部分内容:首先是社会化媒体(Social Media,此处媒体是广义的概念),你会上传自己的照片,或者一段DV视频。其次,当用户在创建这个内容的同时,也会给搜索引擎提供很多新的辅助数据,也就是常说的元数据(Meta Data),这些都会被搜索引擎所利用。
美国《新闻周刊》今年4月份曾经有篇著名的封面文章,标题叫《以我们为中心的互联网》(Putting The ‘We’ in ‘Web’)。文章描述的就是以UGC为核心的Web 2.0站点在美国的飞速发展,比较典型的例子是MySpace、Flickr和YouTube。
我举个例子来说明Web 2.0社区网站的成长之快。Flickr是一个国外的照片共享网站(注:《新闻周刊》杂志封面照片就是Flickr的创始人:Stewart Butterfield和Caterina Fake夫妇)。Flickr最初只是Stewart为妻子Caterina搭建的小网站,但随着网站的用户越来越多,以及网站本身对用户体验的高度重视,口碑效应和网络效应都得到逐步体现,发展非常迅速。2005年3月,Flickr被雅虎收购。1年后,它每天的PV在2000万以上,同比增长4倍;月独立访问用户数在1200万以上,同比增长9倍;而照片标签累计的数量已经达到2.6亿。这个发展速度是相当惊人的。
Web2.0网站的出现,会对网民生活方式产生根本性的影响。Web2.0网站的黏性非常强,它们和传统的门户站点不一样,用户特征更加明显。这是美国8月份的一个互联网上网行为分析,大家可以看到,在右下角,是传统的门户站点(包括雅虎、MSN和AOL),它们是网民生活当中经常使用的站点,体现在网民每月访问它们的天数最多,每天停留在上面的时间最长,访问的网页数量也最多。下方中间的是搜索引擎(Google),用户对它的访问频率也很高,但是停留时间最短。左上方是新出现的Web2.0网站(MySpace,Facebook和Cragslist),虽然网民对这些网站每月使用频率相对于门户不高,用户不可能每天都去访问这些网站,但是这些网站的黏性要远远高于搜索引擎和门户,UGC整体的增长是非常惊人的。
我们来看中国互联网的发展。这张趋势图结合了艾瑞和CNNIC发布的统计数据,我们国家现在宽带用户年增长率超过整体网民的增长,宽带已经成为一个主流的上网方式。到2007年底,互联网渗透率将达到12%,其中宽带用户比例高达63%。我们也看到,因为网民数量的增长,和网民上网经验的增加,加上宽带的普及,国内外VC的大量聚集,使得UGC这类Web2.0网站在中国的发展速度非常快。这当中虽然很多网站是对国外商业模式的复制,但是相信一段时间后会通过市场选择真正催生出一些有价值的Web2.0网站。
由于网民的多元化特征,未来的社区不可能是一家网站独大,而是由不同的网站搭建出不同的社区,来满足不同的用户和应用。从社区用户在整个网民中间的比例来看,这个增长是非常快的。从2005年到未来的2010年,整体网民数量和社区用户数都在逐年增长。到2010年,国内社区用户总数将达到1.4亿,超过六成的网民将成为社区的成员。这么多的网民,这么多的社区用户,将给搜索引擎带来什么样的变化。与传统网站站长或编辑主导的内容不同,社区用户创造的大量的UGC将带来双重的属性,其主观和个性化色彩将更强。
从这个意义上来看,Web2.0将带来一个社会化搜索(Social Search)的时代。下面是搜索引擎发展的历程图。刚开始,在90年代初,只在大学和科研机构里面,很少一部分用户在用搜索引擎。然后是1994年雅虎目录的发布,代表了面向普通大众的搜索引擎的诞生。随着网页的数量从百万向百亿级别突破,Google和Inktomi开始出现,产生了基于蜘蛛抓取、全文索引、链接分析等技术的网络搜索引擎。而未来,将是一个社会化搜索的时代。我们要面对的内容不再是传统的站长和编辑所产生的内容,而是由用户自发所写的博客或上传的照片等,这将是搜索引擎要关注的新内容。社会化搜索需要构建好社区的平台,还要有关键数量的积累和保证质量的激励机制。在网上,网民的内容创造往往很主动,但也很主观。新的搜索服务需要通过机制和技术来挖掘UGC中海量的智慧。
下面我将以雅虎的两个产品来举例说明我们对社会化搜索的探索。
第一个例子是雅虎的知识搜索,它目前已经形成了全球化的知识网络,包括在中国大陆,台湾省,日本,美国,南美和欧洲等市场,我们都有这样一个知识搜索平台(注:雅虎知识搜索在国内叫知识堂,在英语国家叫Answers)。利用这样一个平台,我们实际上可以发挥全球网民的智慧。比如在今年8月11号,好莱坞著名的动作片导演吴宇森就通过雅虎知识搜索向世界各地的网民问了同一个问题:“为什么我们总是痴迷于漫画中的英雄并乐此不疲?”这个问题被同时发布到中国、美国、英国、新加坡,阿根廷,西班牙等雅虎各地区的网站上。我们很快得到了来自不同地区不同文化背景的网民的大量回答,比如在雅虎中国,我们得到了3284个回答和1067条评论。这个例子可以说明,很多主观的知识可以通过社会化搜索的模式来获取,这是传统搜索引擎做不到的。
此外,还可以通过UGC来改进知识和问题型关键词的搜索体验。当我们在使用网页搜索的时候,在输入一个特定类型的关健词后,可以返回雅虎知识堂里面网民的回答,作为一个补充。这样,搜索引擎不仅可以通过算法找到结果,也可以通过补充这些回答帮用户找到满意的答案。
第二个例子是社会化书签(Social Bookmarking)。大家知道,传统的搜索引擎有一个局限,就是不管用户是谁,搜索的结果都是一样的。对于客观的、基于事实的关键词,搜索引擎一般可以提供较好的结果,而对于主观的、基于个人观点的关键词,搜索引擎就无能为力,一般也无法提供高质量的结果,或者干脆没有结果。我们的统计发现,大约有三分之一的用户查询关键词,带有主观色彩,也就是说无法通过传统的搜索方法获得满意的答案。雅虎推出的收藏+产品,就是通过网友们之间的网页收藏和共享,来弥补传统搜索算法的不足。例如,在收藏+里面搜索“Web2.0”,排在第一位的是大众点评网,它是被雅虎用户收藏最多的,反映了网友们一致的看法,这与普通网页搜索的结果截然不同。
总结一下Web2.0对于搜索的影响,我们认为有两点:第一,Web2.0将为传统搜索服务提供具有关键数量的高质量的用户产生的知识和内容;第二,传统搜索可以通过利用UGC中的知识和源数据,来显性的改进搜索体验。这将是搜索引擎在超越了传统信息检索技术后的又一次超越,体现了以人为本的搜索尝试。
最后,我跟大家分享一下雅虎对未来搜索使命的理解,我们把它缩写为一个单词FUSE,英文是融合的意思,但实际上它是四个动作的简称:首先是Find(找到),我们要帮助人们找到他们想要找的信息;然后是Use(使用),我们要帮助用户完成他们工作或生活中的任务或目标;接着是Share(分享),帮助你和朋友一起分享知识,或者在分享中找到新的朋友;最后是Expand(扩展),利用所有网友智慧来丰富全球信息知识库。搜索引擎原来都集中在解决前两个问题:找到和使用;当Web2.0时代UGC越来越重要的时候,搜索引擎更加关注解决后两个问题,即帮助网友们共享和扩展知识。(完)
后记:
1、此文原为参加11月21日艾瑞新搜索年会的发言稿,由于看到网上通过现场速记员记录的文稿中错误较多且信息不全,所以抽空重新整理了一下,并配上了当时演讲的PPT文件(下载链接)。
2、上周三,在雅虎知识搜索的强大竞争压力下,Google关闭了自己的付费问答服务,从一个侧面反映了Web2.0下社会化搜索的成功。
张总您好,这两天在看您的这篇文章,非常有启发。
个人觉得除了在内容上向知识和书签的探索以外,全球范围内做得比较好的UGC的成功模式也很有借鉴意义——MySpace的自由,Cyworld的纯净、Mixi创造的潮流意识,总之能创造一种极尽自由的氛围和潮流时尚的特色,同时又有相对纯净的空间。在众多Web2.0还未形成大格调的时候,希望雅虎中国能够先行一步。
最近除了研习Winter以前写的《中文搜索引擎技术专题》外,还在看《长尾理论》,尝试着应用这个颠覆了帕累托法则的独特理论诠释互联网和新经济。渴望所学,应用所获。
P.S. 最近在香港举行的2006世界电信展又开始让3G应用又好不热闹了,Microsoft、IBM、AVAYA甚至移动运营商都到开始大力抢食即时通讯市场,推出了众多即时通讯应用平台,Yahoo!Messenger要保持住我们的优势啊~!
发布者:--Ma Qiang.Be Outstanding Always-- - 2006年12月12日 22:47yahoo的购物搜索什么时候退出呀?有Alibaba和Taobao还有Koubei,信息源应该很丰富呀,准备推出吗?期待ing....
发布者:购物搜索 - 2006年12月12日 15:21web2.0已经成为过去?
实际上,没有什么技术会成为过去的,只要这种技术还能满足一些人的需要。汽车发明了,自行车成为过去了吗?
何况,现在有什么新的互联网技术可以完全覆盖web2.0?如果没有,则不能说“web2.0已经成为过去”。
实际上,web2.0时代可能才开始。。。。。
Web2.0马上要成为过去了!
发布者:lvyouzhe - 2006年12月10日 10:25百度的网页搜索里面就经常会出现知道、空间里的结果。有些热门的关键字知道、空间里面的结果都会排在前面。为什么用户积极性这么,相信这也是一个很大的原因。
雅虎似乎对自己差了点。
谢文走了,这里上来这么一篇报道,不知道yahoo中国会在明年给世界一个什么形象。又或者,这篇文章的价值仅仅是它在此时被发表了?
拭目以待
Web2.0搜索的特征在于:第一,知识的提供者不但包括现有搜索引擎,还包括用户;第二,用户通过搜索行为快速驱动知识的更新;第三,记录并评估用户搜索行为以保障知识更新的准确性;第四,以用户搜索行为为用户识别标志建立社区.
我曾经长期坚持以固定搜索关键字观察雅虎中国收藏+、百度搜藏中知识更新状况,发现国内搜索引擎目前仅实现了Web2.0搜索的第一个特征,而第二、三、四特征尚未露出端倪。估计2007年国内将会出现令人振奋的同时具备上述四个特征的Web2.0搜索引擎。
是雅虎中国还是百度?
搜索的结果是 of the people, for the people 所以也应该尽可能的by the people.
发布者:木木 - 2006年12月07日 1:41世界上储存知识最多的地方, 不是在机器中, 而是在众人的头脑里. 现在web的概念升到了2.0并且还在不断的进化. 方向在哪里? 我想其中应该有一条是把人们更好的联系起来并聚合他们头脑中海量的信息, 让他们在知识上互相帮助, 各取所需.
几年前偶很喜欢上mop论坛, 时常看到"人肉搜索引擎"这个词, 例如某人发张网友的照片, 问是否是盗用的. 即使现在, 这个问题用一般的搜索引擎仍然很难得到完善的解决. 但是当"人肉搜索引擎"们纷纷冒出来之后(如果真是ppmm ^_^), 大部分盗用的mm的照片基本上总能被某些人识别出来. 这个搜索的问题通过"人"而非机器得到了解决. 当时大家只是把这个称谓当成一个好笑的东西, 但是现在想一下就会发现, 这种所谓的"人肉搜索引擎"就是对海量信息的社会化搜索. 机器对web内容的判断永远代替不了有智商有感情有好恶的人的判断. 随着现在web 2.0的举起, UGC站点的增多和用户参与程度的加强, 搜索引擎其实也从中受益, 得到了一个利用广大用户的知识提升自己的搜索能力的机会. 最终人所贡献的内容和所过滤的信息又反馈给了人类.
为了让搜索引擎的使用者有更好的用户体验, 为了实现对海量信息的有效过滤, 人与机器的紧密结合就是必然. Matrix里的想表达的人和机器要和谐的观点在一定程度上得到了证实. 阿.越想越远了. 打住了.
Flickr 最初只是 Stewart 为妻子 Caterina 搭建的小网站?
似乎不是吧
发布者:Fenng - 2006年12月05日 15:08沙发,好文
发布者:pinong - 2006年12月05日 14:45