依據內容判斷文章相似度，并過(guò)濾重復

此項功能是業(yè)界最為領(lǐng)先的技術(shù)之一，為熊貓獨創(chuàng )。

在熊貓V1.6版本中，增加了依據內容來(lái)判斷文章相似度的功能，并依據相似度判斷結果，來(lái)過(guò)濾內容重復的文章。

熊貓會(huì )在對采集結果文章分詞的基礎上，對分詞結果建立索引，然后依據新的文章的分詞結果快速檢索到相似文章。熊貓為此內置了一個(gè)獨立開(kāi)發(fā)的分詞索引檢索引擎，性能強勁，內存消耗低，CPU占用極低。

默認情況下，熊貓會(huì )自動(dòng)依據采集信息的來(lái)源URL，來(lái)判斷、過(guò)濾重復采集的數據。這也是一個(gè)成熟的采集軟件的必備基礎功能之一。但是出于習慣，互聯(lián)網(wǎng)內容復制、轉載的非常多，不同url下的內容，可能會(huì )完全相同，或基本相同，此時(shí)就無(wú)法依據采集來(lái)源的Url來(lái)判斷數據的重復性。

利用熊貓的分詞索引功能，實(shí)現內容相似度的判斷，可以排除轉載的重復內容。 確保結果的唯一性。

此項功能還有一個(gè)附屬功能：“相似文章列表”的輸出。默認的采集結果中，會(huì )輸出相似文章的ID列表，轉換后，可以附屬在文章的后面，作為“延伸閱讀”使用。

在此功能的基礎上，熊貓新增了對文章摘要的自動(dòng)生成功能。依據文章的內容，自動(dòng)智能挑選最合適的摘要描述文字。