(電子商務研究中心訊) 2012年8月，360推出獨立的搜索引擎so.com，宣布正式進入搜索市場。憑借360瀏覽器的優(yōu)勢以及其強調的“安全、干凈、真實”的搜索體驗，360在一周之內獲得了10%的市場份額。
大量用戶使用360搜索訪問百度貼吧、百度知道、百度百科、百度文庫，于是一度占據80%市場份額的搜索企業(yè)百度針對新興的360搜索，很快采取了兩項措施：第一，設置白名單機制的Robots協(xié)議，允許谷歌、必應、搜狗、搜搜在內的搜索引擎訪問百度的上述網站，唯獨不允許360搜索引擎訪問。第二，2012年10月，百度以360違反“Robots協(xié)議”為由，起訴360不正當競爭，并索賠1億元人民幣。
時隔一年，該案在北京一中院開庭審理。這個訴訟案牽涉業(yè)界兩個知名的互聯(lián)網企業(yè)，索賠金額創(chuàng)新高，并將一個原本不起眼的行業(yè)術語——Robots協(xié)議，一下子推到了世人面前。業(yè)界對該案高度關注，因為這場訴訟的結果意味著Robots協(xié)議——一個業(yè)界約定俗成的通訊標準是否會法律化，是否上升為國家意志，以及將會如何決定未來互聯(lián)網的發(fā)展走向。該案的宣判結果在這個網絡化生存的時代，將會影響到每一個人。
什么是Robots協(xié)議？
根據百度百科，Robots協(xié)議的解釋如下：“Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是網絡爬蟲排除標準”(Robots Exclusion Protocol)，網站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協(xié)議的本質是網站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網站內容，而不是作為搜索引擎之間互相限制和不正當競爭的工具。
Robots協(xié)議起源于上世紀90年代，那時搜索技術剛剛出現(xiàn)，搜索蜘蛛(即搜索機器人，Robots)如何抓取數(shù)據還沒有統(tǒng)一的規(guī)范。那個時代，建設網站所用的服務器設備普遍計算能力弱、存儲空間小，如果搜索蜘蛛為了信息實時更新而頻繁索引網站數(shù)據，會造成服務器設備負荷過重，導致網站對用戶的訪問反應過慢。
因此，在1994年，一位荷蘭籍網絡工程師Martijn Koster首次提出Robots協(xié)議。對于當時的網站來說，設置Robots協(xié)議主要有三個目的：首先，是保護網站內部信息不被搜索引擎爬蟲抓??；其次，是引導爬蟲不要抓取對用戶沒有價值的信息；最后，是為了保護中小網站的流量平衡，避免爬蟲快速抓取給網站服務器帶來過大壓力。
由此可以看出，Robots協(xié)議帶有濃厚的時代感和歷史局限性。進入到21世紀后，由于IT設備的計算能力飛速提高，搜索引擎蜘蛛索引網站數(shù)據對服務器造成的影響已經小到可以忽略不計。
而且，隨著搜索引擎在互聯(lián)網里的地位越來越重要，各個網站都需要按照搜索引擎的索引規(guī)則進行優(yōu)化，以盡量讓搜索引擎找到，并使自己盡可能出現(xiàn)在搜索結果的前列。因此，除了在存儲用戶登錄信息等隱私數(shù)據的地方設置禁止搜索引擎訪問的Robots協(xié)議之外，網站都會歡迎搜索引擎訪問自己的網站。
Robots協(xié)議為什么沒被采納為國際標準？
Robots協(xié)議雖然名為“協(xié)議”，但只是行業(yè)慣用的說法。它既不是法律意義上的協(xié)議，也不是國際組織采納的標準，因此不受任何機構保護。
Robots協(xié)議的創(chuàng)始人Martijn Koster說：“Robots協(xié)議是一個未經標準組織備案的非官方標準，它也不屬于任何商業(yè)組織。本協(xié)議不受任何機構保護，所有現(xiàn)有和未來的機器人不一定使用本協(xié)議。”
其實，早在1997年，MartijnKoster曾向IETF(互聯(lián)網工程任務組)提交申請，試圖把Robots協(xié)議作為該組織規(guī)范，但被IETF拒絕。之后，國際電信聯(lián)盟(ITU)、萬維網聯(lián)盟(W3C)的規(guī)范也同樣拒絕采納Robots協(xié)議。歐美電信專家擔心，由于Robots協(xié)議包含排斥性條款，企業(yè)可能會利用Robots協(xié)議的條款限制競爭，從而將后起競爭者擋在門外。
百度Robots協(xié)議有什么特殊的地方？
2008年6月，雅虎、谷歌和微軟共同通過非官方途徑宣布采納Robots作為標準，各大搜索引擎公司開始對Robots協(xié)議進行商業(yè)研究，以期幫助搜索引擎更好地抓取到信息，為用戶提供服務。各種公司標準的Robots協(xié)議開始產生，例如：著名搜索引擎谷歌在自己的Robots協(xié)議中增加了一個指令“archive”，以此限制Google是否保留網頁快照。
然而，Robots協(xié)議也日益成為占市場主導地位的搜索企業(yè)限制競爭的工具。百度的Robots協(xié)議的特別之處，在于其白名單機制——允許除360之外的所有搜索引擎訪問百度網站，這種白名單在全球是絕無僅有的。
如果百度的Robots協(xié)議生效，那么用戶使用360搜索將無法訪問百度貼吧、百度知道、百度百科、百度文庫等內容網站。這意味著百度可以利用自己的市場地位削弱360搜索的競爭力。
這個案例和微軟與谷歌之間的糾紛非常類似。微軟就谷歌不公平地阻礙必應等競爭對手訪問谷歌控制的Youtube視頻網站信息，于2011年4月在歐盟正式提起訴訟。該案已被歐盟反壟斷機構立案調查。在此之前，已經有三家公司向歐盟起訴了谷歌利用主導地位打擊其他搜索引擎的不公平競爭行為。
Robots協(xié)議之爭是3B大戰(zhàn)的延續(xù)？
百度利用Robots協(xié)議屏蔽360搜索，引起業(yè)內的高度關注。工信部和中國互聯(lián)網協(xié)會及時介入，調停百度和360之間的Robots協(xié)議糾紛。
2012年11月1日，中國互聯(lián)網協(xié)會在北京召集多家搜索企業(yè)，共同簽署《互聯(lián)網搜索引擎服務自律公約》。該公約的制定充分體現(xiàn)了互聯(lián)網的精神。一方面，公約對非法律條文規(guī)定，但在國際互聯(lián)網界具有共識的Robots協(xié)議給予了充分的尊重和肯定。另一方面，業(yè)界能夠基于誠信、自主自治的互聯(lián)網精神來解決互聯(lián)網的爭議，共同討論和解決出現(xiàn)的問題。
《互聯(lián)網搜索引擎服務自律公約》明確規(guī)定，“互聯(lián)網站所有者設置Robots協(xié)議應遵循公平、開放和促進信息自由流動的原則，限制搜索引擎抓取應有行業(yè)公認合理的正當理由，不利用Robots協(xié)議進行不正當競爭行為，積極營造鼓勵創(chuàng)新、公平公正的良性競爭環(huán)境。”然而，在各企業(yè)簽署自律公約之后，百度并沒有根據自律公約的要求，對設置白名單Robots協(xié)議屏蔽360搜索給予合理、正當?shù)睦碛?，繼續(xù)屏蔽360搜索對百度內容網站的訪問。
Robots協(xié)議將如何決定互聯(lián)網的走向？
“3B大戰(zhàn)”讓Robots協(xié)議從幕后走向臺前，讓這個簡單的文本文件一下子獲得了整個中國互聯(lián)網世界的關注。百度認為360搜索訪問旗下百度知道、百科、貼吧、旅游等站點的內容，違反了Robots協(xié)議。
360認為，百度的Robots協(xié)議單方面屏蔽了360搜索，卻允許谷歌、必應、雅虎、搜狗、搜搜等搜索引擎正常訪問，也違背了互聯(lián)網的開放精神，是百度利用自己的市場地位濫用Robots協(xié)議，是對360搜索的不正當競爭。
到底Robots協(xié)議應該是像法律一樣，神圣不可侵犯？還是應如其初衷一樣，作為搜索引擎與網站之間溝通和協(xié)商的橋梁？事實上，因為Robots協(xié)議帶有排他性條款，國際組織擔心其會成為企業(yè)競爭的工具，因此拒絕將其采納為國際標準。所以迄今為止，從來沒有任何組織或專家把Robots協(xié)議當成規(guī)范。
微軟就谷歌阻礙必應搜索訪問Youtube網站提起訴訟，以及百度通過Robots協(xié)議單獨屏蔽360搜索訪問百度網站，進一步證明了國際組織的擔憂，即Robots協(xié)議已經越來越成為企業(yè)競爭的工具。
最糟糕的情況顯然是，如果Robots協(xié)議成為國際標準，甚至具有法律效力，像谷歌和百度這樣占據市場優(yōu)勢地位的搜索引擎，可以憑借自己的優(yōu)勢地位，迫使大量知名網站簽署排他性Robots協(xié)議，只允許谷歌或百度的搜索引擎訪問，屏蔽其他一切搜索引擎。
這樣的情況一旦發(fā)生，就會出現(xiàn)馬太效應，大者恒大，全世界只會僅存一兩家搜索企業(yè)，市場競爭就會大大減弱。同時，互聯(lián)網里自由流動的信息會產生割裂，形成信息孤島。用戶訪問A網站要用一個搜索引擎，訪問B網站則需要換一個搜索引擎。
由此，濫用“Robots協(xié)議”，不僅有損互聯(lián)網的平等、分享精神，也違反了不正當競爭法，將會阻礙互聯(lián)網的健康、有序發(fā)展。
專家、學者們怎么說？
正如互聯(lián)網協(xié)會理事長胡啟恒所說：“互聯(lián)網是生而自治的，在日后隨著互聯(lián)網技術應用的不斷發(fā)展，還會有許多新問題出現(xiàn)。”隨著中國搜索市場競爭日趨激烈，Robots協(xié)議本來作為一個行業(yè)約定俗成的、引導搜索蜘蛛更好索引內容的文本文件，現(xiàn)在已經成為企業(yè)之間競爭的工具。Robots協(xié)議進入行業(yè)自律公約，已經舉世罕見，而再一次成為法律訴訟的主題，這更是全球絕無僅有。
專家學者的意見
中搜CEO陳沛：Robots協(xié)議糾紛不是知識產權問題，而是企業(yè)競爭問題。
重慶郵電大學城市化戰(zhàn)略研究院院長童大煥：百度通過白名單、黑名單的機制，限制360搜索引擎索引其內容，而允許其他搜索引擎索引其內容，既不公平，也違背了Robots協(xié)議的初衷，更違背了互聯(lián)網開放、分享的精神。任其濫用，必將造成行業(yè)競爭壁壘，導致搜索引擎信息呈現(xiàn)達不到盡可能完整的目的，阻礙搜索市場的信息自由，損害網民利益。
中國社會科學院知識產權中心副研究員唐廣良：Robots協(xié)議沒有任何法律效力，既不屬于法律保護的技術措施，也不屬于互聯(lián)網運行必須遵循的技術規(guī)范，只是個別網站約定俗成的，就像游戲規(guī)則一樣。關于雙方誰對誰錯不做評價。但這其中的行為是否違法要依據法律，而不是依據某個網絡公司。
互聯(lián)網業(yè)界專家、博客中國創(chuàng)始人方興東：不能利用Robots協(xié)議構建競爭壁壘。如果Robots協(xié)議真的成為法律，那對互聯(lián)網是災難性的，整個互聯(lián)網秩序就會混亂無序。例如，如果一個搜索引擎勢力強大，它完全可能威脅或者利誘很多大型、知名網站與自己簽約，利用Robots協(xié)議阻止其他搜索引擎索引網站內容。這樣，互聯(lián)網就成了被搜索引擎割據的信息孤島，完全違背了互聯(lián)網精神。
工信部電信研究院知識產權中心主任續(xù)俊旗：有關Robots協(xié)議網上的信息也非常多，從目前來看其實不算一個行業(yè)的規(guī)范，只是個別公司制定的，而且沒有達到廣泛認可。它最初主要是為了限制流量，防止把一些沒有價值的東西搜索到頁面，目前來看，大家基本上認可它不是個行業(yè)標準，而且也不具備法律效力?？偟膩碚f，現(xiàn)在互聯(lián)網產業(yè)發(fā)展亂象根源還是規(guī)則不嚴謹，只有到產業(yè)發(fā)展到一定階段才能夠認識到它的規(guī)律性，才能發(fā)現(xiàn)其中的問題和解決問題的辦法；另外一點，我覺得互聯(lián)網還是在創(chuàng)新，創(chuàng)新需要良好的競爭環(huán)境。 （來源：《法制晚報》 編選：網經社）
