一般來說，傳統(tǒng)的目錄頁都是“標題+鏈接”的形式，而有些網(wǎng)站為了更好的用戶體驗，除了標題以外還會加上內容的簡介，慕求讓用戶可以第一時間選擇的自己甘興趣的文章進行閱讀。 例如說：保險博客(公司網(wǎng)站下的一個二級域名子頻道)，這子頻道就是為了能讓用戶有更好的體驗，在目錄頁那里都為每篇文章附加了一段簡介，原以為用戶體驗做好了，搜索引擎也會收錄的不錯，但是有點錯了。一段時間后發(fā)現(xiàn)該頻道的來客很少，收錄也不多，而且發(fā)現(xiàn)收錄的幾乎都是目錄頁，為什么呢?后來通過查看服務器的日志才發(fā)現(xiàn)，蜘蛛來的次數(shù)不少啊，可是幾乎都是爬到目錄頁就就停止了，偶爾才會進一下文章內頁里面。
然后就去研究一下了各大網(wǎng)站的目錄頁看看他們的怎么設置的。發(fā)現(xiàn)了幾大門戶網(wǎng)站的目錄頁幾乎都是比較的傳統(tǒng)的“標題+鏈接”的形式。而網(wǎng)易同時擁有兩種類型的目錄，但他們的收錄情況就不一樣了。傳統(tǒng)的“標題+鏈接”的目錄頁和其的內頁收錄都不錯，至少我查看的頁面都被百度收錄了;但是帶有簡介的目錄頁就不一樣了，本身是被了收錄了，但它上面的鏈接頁面，幾乎都沒怎么被收錄，至少我抽取的幾十篇不同日期發(fā)表的文章都沒有被收錄。按理說網(wǎng)易這么大的網(wǎng)站，文章的點擊率應該都不低啊，為什么還有被收錄呢?而同樣的問題，我在站長網(wǎng)也發(fā)現(xiàn)了，帶有簡介的目錄頁上面的文章內頁幾乎都沒有收錄。
于是就抱著試一試的想法，把公司網(wǎng)站的另一個二級頻道--保險案例的目錄頁進行了改造，做成比較傳統(tǒng)的“標題+鏈接形式”，修改完后的第一天，收錄沒變，查看服務器日志，蜘蛛爬行數(shù)降到了個位數(shù)，而且只爬了一下目錄頁就走了。當時不知道如何是好，心想著再等幾天看看。第二天、第三天。。。。終于收錄上去，雖然目前該頻道只有100篇左右的文章，但是收錄數(shù)達到了90左右，而之前一直在30-40的幅度徘徊。而相比保險博客這個頻道雖然文章數(shù)達到了400多，但收錄數(shù)只有100左右，而且?guī)缀跻话攵际悄夸涰?。看來這個頻道的改造事不宜遲了。
通過這件事情，我個人的總結就是：有時太過追求用戶體驗也不是一件好事，如果能找到一個很好的平衡點去結合網(wǎng)站優(yōu)化和用戶體驗當然是最好的。就好比我上面說的目錄頁問題，在沒有找到更好的結合點之前，不妨還是采有傳統(tǒng)的方式，就像書本的目錄沒有每一節(jié)都帶上簡介，都依然受歡迎(當然前提就是一本好書) 。
最后再說說自己對這件的事情的猜想吧。通過站長工具的蜘蛛模擬爬取，發(fā)現(xiàn)帶有簡介的目錄頁居然有2000多字(當然這個要看簡介的長短，以及設置的文章標題數(shù)目而定，我們公司的網(wǎng)站是10條)，比一般文章還有長。由此我就有這樣一個想法，是不是蜘蛛誤以為帶簡介的目錄頁是一個文章頁，把那些標題都當作一個錨文字鏈接來看，沒有再進一步地去爬取呢?
