經(jīng)典案例
  • 金融大數(shù)據(jù)解決方案
  • 汽車大數(shù)據(jù)解決方案
  • 政府大數(shù)據(jù)解決方案
  • 鐵路大數(shù)據(jù)解決方案
  • 電力大數(shù)據(jù)解決方案
  • 軍工大數(shù)據(jù)解決方案
  • 解放軍總裝備部
  • 中國(guó)航天科工集團(tuán)
  • 航天科技集團(tuán)

互聯(lián)網(wǎng)輿情監(jiān)測(cè)分析系統(tǒng)軟件

發(fā)布于:2020-01-03 20:37來(lái)源:北京軟件開(kāi)發(fā)公司 作者:北京大數(shù)據(jù)公司 點(diǎn)擊:

網(wǎng)絡(luò)輿情監(jiān)測(cè)分析系統(tǒng)軟件


1.1總體需求

根據(jù)功能說(shuō)明書(shū)要求,其主要包含了下面的工作:
Ø  輿情選題子系統(tǒng)負(fù)責(zé)輿情的宏觀選題,為采集子系統(tǒng)實(shí)施采集提供大致范疇和關(guān)鍵詞。
Ø  輿情采集子系統(tǒng)是整個(gè)系統(tǒng)的直接數(shù)據(jù)來(lái)源,它根據(jù)選題系統(tǒng)提供的采集范疇和關(guān)鍵詞,從互聯(lián)網(wǎng)上按照不同的權(quán)重、不通的采集時(shí)間間隔和不通的采集方式,獲取輿情信息的第一手資料,為分析子系統(tǒng)提供數(shù)據(jù)支撐。
Ø  輿情分析子系統(tǒng)將采集子系統(tǒng)從互聯(lián)網(wǎng)上抽取的數(shù)據(jù)通過(guò)過(guò)濾、分類、聚合等數(shù)據(jù)挖掘方式,進(jìn)行定性分析、定量分析,為人工分析和研判提供技術(shù)支撐。
Ø  輿情報(bào)警子系統(tǒng)將輿情分析子系統(tǒng)分析后的數(shù)據(jù),按照預(yù)先設(shè)定的報(bào)警指標(biāo)進(jìn)行判別,達(dá)到一定的條件及時(shí)通過(guò)各種方式通知相關(guān)人員,為輿情處置贏得時(shí)間。
Ø  輿情發(fā)布子系統(tǒng)為用戶提供友好的人機(jī)界面,進(jìn)行實(shí)時(shí)監(jiān)控、數(shù)據(jù)查詢、統(tǒng)計(jì)與分析,同時(shí)提供豐富的服務(wù)接口為其它系統(tǒng)的二次開(kāi)發(fā)提供數(shù)據(jù)和業(yè)務(wù)支撐。
Ø  任務(wù)管理子系統(tǒng)對(duì)選題子系統(tǒng)、采集子系統(tǒng)、分析子系統(tǒng)和報(bào)警子系統(tǒng)的工作進(jìn)行調(diào)度,充分利用有限的軟硬件和網(wǎng)絡(luò)資源,合理分配調(diào)度任務(wù),使得整個(gè)系統(tǒng)的運(yùn)行條件和服務(wù)能力達(dá)到優(yōu)。北京軟件公司有哪些?
Ø  數(shù)據(jù)管理子系統(tǒng)對(duì)整個(gè)系統(tǒng)的數(shù)據(jù)進(jìn)行管理,及時(shí)分類、歸檔、清洗、備份,優(yōu)化數(shù)據(jù)庫(kù)的查詢效率,提高用戶的體驗(yàn)。
Ø  客戶服務(wù)子系統(tǒng)對(duì)個(gè)系統(tǒng)的用戶進(jìn)行注冊(cè)、訂購(gòu)、支付、權(quán)限管理、滿意度調(diào)查等,為系統(tǒng)的循序漸近的優(yōu)化提供參考依據(jù)。
開(kāi)發(fā)過(guò)程中需要針對(duì)軟件的每個(gè)功能細(xì)節(jié)進(jìn)行設(shè)計(jì)和開(kāi)發(fā),以求開(kāi)發(fā)出一款卓越的人機(jī)交互界面更加人性化、執(zhí)行效率更高、可操作性更強(qiáng)的軟件,確保該軟件成為一款高品質(zhì)的產(chǎn)品。其需求總結(jié)如下:北京大數(shù)據(jù)公司有哪些?
Ø  圖形化設(shè)計(jì)更符合用戶的使用習(xí)慣,方便操作;
Ø  人機(jī)交互界面風(fēng)格基本統(tǒng)一;
Ø  數(shù)據(jù)結(jié)構(gòu)保持完整性和統(tǒng)一性;
Ø  體現(xiàn)系統(tǒng)強(qiáng)大的交互式功能;
Ø  系統(tǒng)功能具備很強(qiáng)的可擴(kuò)展性;
Ø  系統(tǒng)管理和數(shù)據(jù)交互功能更加智能;

 

1.2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)


網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖
輿情監(jiān)測(cè)分析內(nèi)網(wǎng)包括選題及采集服務(wù)器、分析服務(wù)器、報(bào)警服務(wù)器、任務(wù)管理服務(wù)器、輿情發(fā)布及客服Web服務(wù)器集群、數(shù)據(jù)庫(kù)服務(wù)器集群、數(shù)據(jù)存儲(chǔ)。
外網(wǎng)互聯(lián)網(wǎng)對(duì)象包括各類用戶和各類監(jiān)測(cè)對(duì)象,其中用戶通過(guò)“發(fā)布服務(wù)系統(tǒng)”專用網(wǎng)絡(luò)鏈路接入到系統(tǒng)中;系統(tǒng)對(duì)互聯(lián)網(wǎng)對(duì)象進(jìn)行數(shù)據(jù)采集時(shí),則通過(guò)“監(jiān)測(cè)采集系統(tǒng)專用網(wǎng)絡(luò)鏈路”對(duì)監(jiān)測(cè)對(duì)象進(jìn)行采集。外網(wǎng)對(duì)象接入內(nèi)網(wǎng)時(shí),先要經(jīng)過(guò)防火墻進(jìn)行過(guò)濾。北京軟件開(kāi)發(fā)公司有哪些?

1.3系統(tǒng)主要功能需求

網(wǎng)絡(luò)輿情監(jiān)測(cè)分析系統(tǒng)包括:輿情選題子系統(tǒng)、輿情采集子系統(tǒng)、輿情分析子系統(tǒng)、輿情報(bào)警子系統(tǒng)、輿情發(fā)布子系統(tǒng)、任務(wù)管理子系統(tǒng)、數(shù)據(jù)管理子系統(tǒng)、客戶服務(wù)子系統(tǒng)八大了系統(tǒng)。

1.3.1需求功能圖如下圖所示:


需求功能圖

1.3.3功能模塊

1.3.3.1輿情選題子系統(tǒng)

網(wǎng)絡(luò)輿情的選題是輿情監(jiān)測(cè)機(jī)構(gòu)對(duì)于準(zhǔn)備實(shí)施監(jiān)測(cè)的輿情主題或題目的一種設(shè)想和構(gòu)思,選題名稱一般由監(jiān)測(cè)范圍、關(guān)鍵詞、服務(wù)對(duì)象等構(gòu)成。
通過(guò)實(shí)時(shí)監(jiān)測(cè)論壇首頁(yè)推薦、門戶網(wǎng)站新聞排行、BBS熱帖排行、博客標(biāo)簽排行、微博話題排行和搜索引擎與百科熱詞,可直接獲得網(wǎng)絡(luò)輿情的選題。

1.3.3.1.1對(duì)門戶網(wǎng)站及論壇首頁(yè)進(jìn)行監(jiān)測(cè)

在網(wǎng)絡(luò)輿情監(jiān)測(cè)中,為了迅速查找近期重大網(wǎng)絡(luò)熱點(diǎn),我們應(yīng)該關(guān)注新聞門戶網(wǎng)站和論壇的熱點(diǎn)排行榜。另外,對(duì)于當(dāng)天的重大網(wǎng)絡(luò)輿情監(jiān)測(cè)也要注意門戶新聞網(wǎng)熱點(diǎn)排行。包括:
新浪熱門新聞排行、人民網(wǎng)新聞排行榜、騰訊新聞排行、新華網(wǎng)24小時(shí)新聞排行、鳳凰網(wǎng)點(diǎn)擊新聞排行、央視網(wǎng)新聞臺(tái)排行、網(wǎng)易新聞排行、搜狐新聞網(wǎng)評(píng)排行榜等。
論壇首頁(yè)推薦內(nèi)容連接到頻道頁(yè)面的方式在各大網(wǎng)站都是普遍采用的處理方式。一般通過(guò)采集當(dāng)天的重點(diǎn)論壇首頁(yè)和重要板塊首頁(yè),可以在要聞區(qū)獲得相關(guān)重大輿情信息。包括:
天涯社區(qū)、網(wǎng)易論壇、華聲論壇、中華網(wǎng)論壇、鳳凰論壇、大洋論壇、京華論壇、Tom社區(qū)、鐵血社區(qū)、QQ論壇、雅虎口碑論壇、西祠胡同、中新網(wǎng)論壇、在線論壇、南方論壇、請(qǐng)柬論壇、環(huán)球論壇、新華社區(qū)、凱迪社區(qū)、新浪論壇、貓撲社區(qū)、央視網(wǎng)論壇、搜狐社區(qū)、人民網(wǎng)強(qiáng)國(guó)社區(qū)、奧一網(wǎng)等。

 

1.3.3.1.2對(duì)BBS熱帖排行進(jìn)行監(jiān)測(cè)

全國(guó)部分論壇熱帖排行榜:
天涯雜談新帖排行、天涯聚焦周報(bào)、凱迪社區(qū)凱迪頭條、凱迪社區(qū)熱點(diǎn)事件、凱迪社區(qū)排行榜、強(qiáng)國(guó)論壇熱帖排行、強(qiáng)國(guó)論壇熱評(píng)排行、強(qiáng)國(guó)論壇熱帖推薦、強(qiáng)國(guó)社區(qū)每日精華、人民網(wǎng)掘客最熱排行、鳳凰論壇有料天天報(bào)、鳳凰論壇熱帖排行、新華社區(qū)24小時(shí)排行、新華社區(qū)特貼排行、網(wǎng)易論壇風(fēng)云榜、新浪熱帖排行榜、搜狐新聞社區(qū)熱帖、搜狐社區(qū)熱門評(píng)論、華聲論壇搜索排行、騰訊論壇新聞?wù)搲⒋笃炀W(wǎng)焦點(diǎn)訪談、大旗網(wǎng)社會(huì)熱點(diǎn)精選、大旗網(wǎng)社會(huì)頭條精選、大旗網(wǎng)社會(huì)版熱點(diǎn)排行等。北京軟件開(kāi)發(fā)公司。

 

1.3.3.1.3對(duì)博客/微博標(biāo)簽排行進(jìn)行監(jiān)測(cè)

我國(guó)知名的博客平臺(tái)包括新浪博客、搜狐博客、博客大巴、博客中國(guó)、鳳凰博報(bào)等,博客標(biāo)簽排行榜一般是根據(jù)相關(guān)文章數(shù)量、網(wǎng)民關(guān)注度、社會(huì)影響力等因素進(jìn)行的綜合排行。主要包括:
博客大巴熱門Tag搜索、新浪博客標(biāo)簽排行搜索、搜狐博客熱門標(biāo)簽搜索、天涯首頁(yè)熱門標(biāo)簽、博客中國(guó)百科熱門標(biāo)簽、博客中國(guó)百科新聞維客、新浪博客排行榜、搜狐博文排行榜、天涯博客排行榜、博客中國(guó)排行榜、博客中國(guó)支持排行榜、科技中國(guó)排行榜大全、騰訊博文熱門排行、和訊新博報(bào)等。
知名微博話題榜包括:
新浪微博話題榜、新浪微博熱門標(biāo)簽、騰訊微博話題榜、搜狐微博話題榜、網(wǎng)易微博話題榜、和訊微博話題首頁(yè)、人民網(wǎng)微博熱榜等。軟件公司。

1.3.3.1.4固定選題

固定選題是持續(xù)關(guān)注、連續(xù)監(jiān)測(cè)的選題,例如在消防輿情監(jiān)測(cè)系統(tǒng)中,以消防綜合、消防管理、滅火救援、部隊(duì)管理等專題作為持續(xù)關(guān)注的選題,對(duì)各類網(wǎng)站進(jìn)行監(jiān)測(cè)。主要包括以下方面:
1)       消防綜合類:消防、消防官兵、消防干部、消防警官、消防戰(zhàn)士、消防士官、消防文員、合同制消防員、消防文職雇員、消防志愿者、消防人員、消防隊(duì)、消防站、火災(zāi)、大火、火警、滅火等。
2)       消防管理類:消防坑爹、消防執(zhí)法不作為、消防無(wú)法無(wú)天、消防亂處罰、消防亂罰款、消防亂收費(fèi)、消防培訓(xùn)收費(fèi)、消防吃拿卡要、消防腐敗、消防收賄、消防受賄、消防打人、消防抓人、消防執(zhí)法蠻橫等。
3)       滅火救援類:消防滅火收費(fèi)、119報(bào)警電話無(wú)人接聽(tīng)、消防隊(duì)出警慢、消防隊(duì)到場(chǎng)慢、消防車無(wú)水、消火栓無(wú)水、消防員見(jiàn)死不救、消防隊(duì)不作為、消防隊(duì)救援不力、消防隊(duì)撲救不力、消防指揮不力、消防人員死亡、消防人員受傷等。
4)       部隊(duì)管理類:消防車輛事故、消防戰(zhàn)士犧牲、消防裝萌、消防賣萌、消防屌絲、消防2B、消防炫富、消防高富帥、消防白富美、消防富二代、消防官二代、消防對(duì)罵、消防女警官、消防美女等。軟件公司有哪些
需要針對(duì)這些主題內(nèi)容,精準(zhǔn)篩選出關(guān)鍵詞。

1.3.3.2輿情采集子系統(tǒng)

輿情采集的方法是通過(guò)輿情采集工具,抓取不同背景和來(lái)源的言論媒介上的第一手樣本數(shù)據(jù)。平臺(tái)除了基本的關(guān)鍵詞的新聞搜索以外,還能對(duì)微博進(jìn)行定向抓取、閱讀數(shù)量、轉(zhuǎn)發(fā)數(shù)量等。
對(duì)于采集功能,需要采用先進(jìn)的自動(dòng)分析抽取網(wǎng)頁(yè)結(jié)構(gòu)的技術(shù),支持網(wǎng)站模版的配置,提供多種網(wǎng)站模版庫(kù)資源,實(shí)現(xiàn)抽取網(wǎng)頁(yè)中的有效信息。針對(duì)目前很多網(wǎng)站、博客、論壇大量使用JS(JavaScript)腳本的情況,需要在采集平臺(tái)中內(nèi)置js腳本執(zhí)行引擎。對(duì)于采集數(shù)據(jù)量大的情況,支持分布式集群采集,通過(guò)任務(wù)管理子系統(tǒng)對(duì)這些采集程序進(jìn)行調(diào)度。
對(duì)于采集的對(duì)象,主要考慮網(wǎng)站載體權(quán)重、內(nèi)容版面權(quán)重、意見(jiàn)領(lǐng)袖權(quán)重等。

1.3.3.2.1網(wǎng)站載體

輿情抽樣的網(wǎng)站權(quán)重是指根據(jù)網(wǎng)站瀏覽量的大小和地域性范圍的定位、專業(yè)權(quán)威的特質(zhì)等,在輿情工作中,作為重點(diǎn)監(jiān)測(cè)和采集的對(duì)象。重點(diǎn)輿情監(jiān)測(cè)網(wǎng)站上的文章的影響力要比一般網(wǎng)頁(yè)大很多,在數(shù)量積累方面要加大權(quán)重。
1)        全國(guó)性網(wǎng)絡(luò)論壇
全國(guó)性論壇在往上較為火爆的有天涯社區(qū)、凱迪社區(qū)、西祠胡同、央視復(fù)興論壇、人民網(wǎng)強(qiáng)國(guó)論壇、新華發(fā)展論壇、百度貼吧、奇虎社區(qū)、大旗網(wǎng)、鳳凰網(wǎng)社區(qū)、新浪論壇、搜狐社區(qū)、網(wǎng)易論壇、騰訊論壇、貓撲、中華網(wǎng)社區(qū)、鐵血論壇等。
2)        熱點(diǎn)思想類網(wǎng)站
國(guó)內(nèi)論壇網(wǎng)站中,除了天涯社區(qū)天涯雜談、凱迪社區(qū)貓眼看人、人民網(wǎng)強(qiáng)國(guó)論壇、新華網(wǎng)發(fā)展論壇和中華網(wǎng)雜談之外,還有幾個(gè)思想類網(wǎng)站需要重點(diǎn)關(guān)注,如中國(guó)選舉與治理網(wǎng)、共識(shí)網(wǎng)、烏有之鄉(xiāng)、愛(ài)思想、噴嚏網(wǎng)、牛博網(wǎng)、一五一十部落等。這些網(wǎng)站往往會(huì)有很多政治性話題,高度關(guān)注國(guó)內(nèi)外輿情熱點(diǎn),也匯集了不少持有不同觀點(diǎn)的活躍網(wǎng)友,需要重視。
3)        門戶網(wǎng)站排行
依照網(wǎng)站影響力與公信力系數(shù),門戶網(wǎng)站的權(quán)重從高到低一次分別是:
a)        中央重點(diǎn)新聞網(wǎng)站,如新華網(wǎng)、人民網(wǎng)、中新網(wǎng)、中國(guó)網(wǎng)等;
b)        全國(guó)性門戶網(wǎng)站,如新浪、搜狐、騰訊、網(wǎng)易、百度新聞、財(cái)經(jīng)網(wǎng)等;軟件公司。
c)        地方重點(diǎn)新聞網(wǎng)站,地方都市報(bào)網(wǎng)站
d)        三大證券報(bào)(中國(guó)證券報(bào)、上海證券報(bào)、證券時(shí)報(bào))和其它財(cái)經(jīng)媒體網(wǎng)站
e)        行業(yè)與專業(yè)網(wǎng)站
f)         政府機(jī)構(gòu)網(wǎng)站
g)        大學(xué)、科研機(jī)構(gòu)網(wǎng)站
h)        一般網(wǎng)站等
 
4)        地方重點(diǎn)網(wǎng)站
側(cè)重權(quán)威性、影響大的論壇、博客、新聞網(wǎng)站,如黑磚窯《400位父親泣血呼救》從大河網(wǎng)轉(zhuǎn)到天涯社區(qū),才發(fā)生全國(guó)性影響。

1.3.3.2.2內(nèi)容版面

在對(duì)于輿情采集的標(biāo)準(zhǔn)上,事件或話題敏感、關(guān)注度高、點(diǎn)擊多、回復(fù)多、人氣高的新聞或者評(píng)論;時(shí)效性強(qiáng)、以新失態(tài)發(fā)展為由頭的新帖;各大媒體和網(wǎng)站的首頁(yè)、頭版頭條、置頂帖和專題等,是重點(diǎn)的采集對(duì)象。
互聯(lián)網(wǎng)上的往右言論主要分布在各種論壇/BBS原帖、博客、網(wǎng)站專題、新聞評(píng)論等平臺(tái)中,采集時(shí)還應(yīng)關(guān)注貼文的瀏覽數(shù)、轉(zhuǎn)載數(shù)、回復(fù)量、支持率、反對(duì)率等。

1.3.3.2.3意見(jiàn)領(lǐng)袖

在近幾年的社會(huì)熱點(diǎn)中,網(wǎng)絡(luò)意見(jiàn)領(lǐng)袖的作用突顯,立場(chǎng)出現(xiàn)分化趨勢(shì)。在一些突發(fā)事件中,在官方傳統(tǒng)媒體失語(yǔ)或者報(bào)道不及時(shí)的情況下,網(wǎng)民習(xí)慣于打開(kāi)網(wǎng)絡(luò)意見(jiàn)領(lǐng)袖的博客或追逐其微博上的只言片語(yǔ),從他們哪里尋找解讀、剖析和批判。
首先是數(shù)量龐大的傳統(tǒng)媒體從業(yè)者迅速在網(wǎng)絡(luò)中成長(zhǎng),如笑蜀、李承鵬、黃健翔、梁樹(shù)新、鄧飛、王克勤、連岳、雷宇、長(zhǎng)平、邊民、五岳散人、十年砍柴等人?;ヂ?lián)網(wǎng)上段、平、快和無(wú)障礙的報(bào)道新聞、尖銳評(píng)說(shuō)時(shí)事的方式,比他們從業(yè)的傳統(tǒng)媒體更具活力,而且逐漸形成了品牌和名人效應(yīng),引起全社會(huì)的廣泛重視。
其次,在“公共知識(shí)分子”范疇的意見(jiàn)領(lǐng)袖,包括作家、學(xué)者、藝術(shù)家、律師等,如韓寒、于建嶸、戴旭、周澤、牧沐、孫云曉、陳銘龍、沈志華、袁騰飛等,他們以身后的文化工地觀察和描繪社會(huì),對(duì)于各種突發(fā)事件和社會(huì)熱點(diǎn)暢所欲言,觀點(diǎn)更為開(kāi)放透明,所以給媒體記者提供了極為便利的信息渠道。
第三類是網(wǎng)上活躍的明星、名人等,如劉翔、徐靜蕾、姚晨、周立波等。經(jīng)驗(yàn)表明,明星和公共人物往往一上網(wǎng)就會(huì)獲得比普通網(wǎng)友更高的關(guān)注度和影響力。再以財(cái)經(jīng)業(yè)余觀察家和自由撰稿人而言,網(wǎng)絡(luò)關(guān)注度較高的有徐小明、葉檀、時(shí)寒冰、曹建海、牛刀、水皮、秋風(fēng)等。
第四類是積極接觸網(wǎng)絡(luò)的黨政官員。如云南省委宣傳部副部長(zhǎng)伍皓、國(guó)務(wù)院新聞辦處長(zhǎng)侯召迅和湖南湘潭雨湖區(qū)官員張洪峰等。今年中國(guó)政壇形成部分官員上網(wǎng)、部分官員的“網(wǎng)絡(luò)恐懼癥”和“雷人雷語(yǔ)”并存的特有現(xiàn)象。體制內(nèi)一線領(lǐng)袖能夠促進(jìn)官民溝通,呼喚官場(chǎng)的黨性、良知和改革動(dòng)力,有利于輿論新格局的形成。
第五類是真正的普通自由職業(yè)者和活躍網(wǎng)友,如著名的往右“屠夫”對(duì)鄧玉嬌案的現(xiàn)實(shí)參與。

1.3.3.3輿情分析子系統(tǒng)

輿情分析子系統(tǒng)需要提供豐富的信息處理工具,可以對(duì)信息進(jìn)行自動(dòng)分類,自動(dòng)聚類,自動(dòng)提取關(guān)鍵詞和摘要,自動(dòng)排重,過(guò)濾垃圾信息等。另外帶有人物、地域、機(jī)構(gòu)等知識(shí)庫(kù),能夠通過(guò)算法和規(guī)則自動(dòng)識(shí)別出這些實(shí)體名稱。用戶通過(guò)對(duì)這些處理工具的組合應(yīng)用,可以化繁為簡(jiǎn),及時(shí)準(zhǔn)確監(jiān)測(cè)到自己需要監(jiān)控的輿情信息。

1.3.3.3.1自動(dòng)分類

分析輿情文章的特征,并與實(shí)現(xiàn)定義好的各種類別具有的共同特征進(jìn)行比較,然后將輿情對(duì)象劃歸為特征接近的一類,并賦予相應(yīng)的分類代碼。

1.3.3.3.2自動(dòng)聚類

基于相似性算法的自動(dòng)聚類技術(shù),自動(dòng)對(duì)海量的無(wú)規(guī)則文檔進(jìn)行歸類,把內(nèi)容相近的文檔歸為一類,并自動(dòng)為其生成主題詞,為確定類目名稱提供方便。
 

1.3.3.3.3自動(dòng)排重

通過(guò)相似性檢索,找出輿情信息內(nèi)容雷同文章,對(duì)相似、雷同文章消重處理;還根據(jù)文章主題相似性,生成專題報(bào)道,背景分析等。

1.3.3.3.4垃圾信息過(guò)濾

通過(guò)設(shè)定關(guān)鍵詞和判別規(guī)則,將明顯與輿情專題無(wú)關(guān)的信息排除掉。

1.3.3.3.5人物名稱識(shí)別

通過(guò)建立人物名稱知識(shí)庫(kù),對(duì)輿情信息中包含的人物名稱進(jìn)行判別。

1.3.3.3.6地理位置識(shí)別

通過(guò)建立地理位置知識(shí)庫(kù),對(duì)輿情信息中包含的地理位置進(jìn)行判別。

1.3.3.3.7機(jī)構(gòu)名稱識(shí)別

通過(guò)建立機(jī)構(gòu)名稱知識(shí)庫(kù),對(duì)輿情信息中包含的機(jī)構(gòu)名稱進(jìn)行判別。

1.3.3.4輿情報(bào)警子系統(tǒng)

將輿情分析子系統(tǒng)分析后的數(shù)據(jù),按照預(yù)先設(shè)定的報(bào)警指標(biāo)進(jìn)行判別,達(dá)到一定的條件及時(shí)通過(guò)各種方式通知相關(guān)人員,為輿情處置贏得時(shí)間。

1.3.3.4.1首頁(yè)報(bào)警

針對(duì)輿情信息在首頁(yè)位置出現(xiàn)的特殊意義和影響,針對(duì)各大網(wǎng)站(比如新浪、搜狐、網(wǎng)易、騰訊、人民網(wǎng)等和本地有名的地方性門戶)、著名論壇、地方性論壇等權(quán)重比較大的網(wǎng)站首頁(yè)信息進(jìn)行的高效率監(jiān)控,系統(tǒng)以非常迅速的方法掃描這些網(wǎng)站的首頁(yè),如果發(fā)現(xiàn)首頁(yè)中出現(xiàn)了要監(jiān)控的關(guān)鍵字,則會(huì)以醒目的方式進(jìn)行報(bào)警。

1.3.3.4.2敏感詞報(bào)警

對(duì)通過(guò)輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,報(bào)警系統(tǒng)自動(dòng)對(duì)文章的內(nèi)容進(jìn)行中文分詞并自動(dòng)比照,如果發(fā)現(xiàn)文章內(nèi)容中涉及到敏感詞,則以醒目的方式在“敏感報(bào)警”欄目中顯示。如“法輪功”。

1.3.3.4.3敏感地域報(bào)警

對(duì)通過(guò)輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,通過(guò)對(duì)用戶配置的地理位置關(guān)鍵詞分析,如果出現(xiàn)的地理名稱達(dá)到一定的指標(biāo),則產(chǎn)生“敏感地域”報(bào)警。如“汶川”。

1.3.3.4.4敏感機(jī)構(gòu)報(bào)警

對(duì)通過(guò)輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,通過(guò)對(duì)用戶配置的機(jī)構(gòu)名稱關(guān)鍵詞分析,如果出現(xiàn)的人物名稱達(dá)到一定的指標(biāo),則產(chǎn)生“敏感機(jī)構(gòu)報(bào)警。如“紅十字會(huì)”。

1.3.3.4.5敏感人物報(bào)警

對(duì)通過(guò)輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,通過(guò)對(duì)用戶配置的人物名稱關(guān)鍵詞分析,如果出現(xiàn)的人物名稱達(dá)到一定的指標(biāo),則產(chǎn)生“敏感人物報(bào)警。如“郭美美”。

1.3.3.4.6推送對(duì)象與推送方式

產(chǎn)生報(bào)警時(shí),將報(bào)警信息推送到預(yù)先設(shè)定的對(duì)象,可通過(guò)網(wǎng)站客戶端、電子郵件、手機(jī)短信等方式進(jìn)行推送。

1.3.3.5輿情發(fā)布子系統(tǒng)

在已經(jīng)采集和分析的這個(gè)龐大信息庫(kù)里,提供各類輿情展示界面和豐富的高級(jí)檢索功能,包括可以按關(guān)鍵詞、時(shí)間、分類、地域、人物、機(jī)構(gòu)、信息源等組合進(jìn)行高級(jí)檢索,方便用戶準(zhǔn)確鎖定自己關(guān)注的輿情信息,并提供這些數(shù)據(jù)內(nèi)在的聯(lián)系和趨勢(shì)圖,便于用戶從事件起源、傳播、發(fā)展、平息等角度把握輿情時(shí)間發(fā)展動(dòng)態(tài)。

1.3.3.5.1個(gè)性化桌面

個(gè)性化桌面上,用戶可以根據(jù)自己的工作習(xí)慣定義,用戶通過(guò)“添加記錄”功能即可添加要顯示的模塊。

1.3.3.5.2今日輿情

輿情展示子系統(tǒng)中對(duì)眾多采集下來(lái)的網(wǎng)絡(luò)輿情進(jìn)行了科學(xué)的分類,當(dāng)天采集到的網(wǎng)絡(luò)輿情會(huì)統(tǒng)計(jì)集中在今日輿情中(輿情),通過(guò)這個(gè)欄目可以對(duì)當(dāng)天發(fā)生的網(wǎng)絡(luò)輿情一目了然。

1.3.3.5.3報(bào)警輿情

將“輿情報(bào)警子系統(tǒng)”中產(chǎn)生的首頁(yè)報(bào)警、敏感詞報(bào)警、敏感地域報(bào)警、敏感任務(wù)報(bào)警、敏感機(jī)構(gòu)報(bào)警等各類報(bào)警信息推送到此處。

1.3.3.5.4輿情檢索

系統(tǒng)提供統(tǒng)一的查詢檢索入口,對(duì)各種來(lái)源各種格式的社會(huì)公開(kāi)信息進(jìn)行查詢和檢索。檢索結(jié)果可按類別、相似度、重復(fù)度、信息發(fā)布時(shí)間等多種方式進(jìn)行排序。該系統(tǒng)支持元搜索技術(shù),可以對(duì)多個(gè)通用的互聯(lián)網(wǎng)搜索引擎進(jìn)行聯(lián)和檢索,并在同一個(gè)界面返回檢索結(jié)果,配合合理的檢索策略,可大大提高檢索效率。
 

1.3.3.5.5統(tǒng)計(jì)報(bào)表

按照時(shí)間、選題、分類、地域、人物、機(jī)構(gòu)等各種維度對(duì)輿情信息進(jìn)行查詢與統(tǒng)計(jì),可用不同的方法對(duì)數(shù)據(jù)進(jìn)行展示,如直方圖、餅圖等,并形成相應(yīng)的報(bào)表。

1.3.3.6任務(wù)管理子系統(tǒng)

對(duì)選題子系統(tǒng)、采集子系統(tǒng)、分析子系統(tǒng)和報(bào)警子系統(tǒng)的工作進(jìn)行調(diào)度,充分利用有限的軟硬件和網(wǎng)絡(luò)資源,合理分配調(diào)度任務(wù),使得整個(gè)系統(tǒng)的運(yùn)行條件和服務(wù)能力達(dá)到。
同時(shí)任務(wù)管理子系統(tǒng)定期對(duì)監(jiān)測(cè)對(duì)象的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁(yè)結(jié)構(gòu)進(jìn)行分析,如果對(duì)象的結(jié)構(gòu)發(fā)生變化,則告知后臺(tái)工作人員對(duì)采集分析模版進(jìn)行相應(yīng)的調(diào)整。

1.3.3.6.1選題調(diào)度

調(diào)度選題子系統(tǒng)抽樣的頻率、采樣對(duì)象空間、時(shí)間、模版及權(quán)重。

1.3.3.6.2采集調(diào)度

調(diào)度采集子系統(tǒng)的任務(wù)進(jìn)程分配、采集頻率、采集對(duì)象空間、解析模版及權(quán)重、COOKIE管理等。

1.3.3.6.3分析調(diào)度

調(diào)度分析系統(tǒng)的任務(wù)進(jìn)程分配、分析頻率、分析算法及分析模版。

1.3.3.6.4報(bào)警調(diào)度

調(diào)度報(bào)警子系統(tǒng)的進(jìn)程分配、檢測(cè)頻率、報(bào)警算法、推送對(duì)象及推送方式。

1.3.3.6.5網(wǎng)站結(jié)構(gòu)監(jiān)測(cè)

系統(tǒng)定期對(duì)監(jiān)測(cè)對(duì)象的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁(yè)結(jié)構(gòu)進(jìn)行分析,如果對(duì)象的結(jié)構(gòu)發(fā)生變化,則告知后臺(tái)工作人員對(duì)采集分析模版進(jìn)行相應(yīng)的調(diào)整。

1.3.3.7數(shù)據(jù)管理子系統(tǒng)

輿情數(shù)據(jù)庫(kù)是一個(gè)龐大的數(shù)據(jù)庫(kù),需要性能優(yōu)秀的數(shù)據(jù)存儲(chǔ)硬件和功能強(qiáng)大的數(shù)據(jù)庫(kù)管理平臺(tái),以對(duì)整個(gè)系統(tǒng)的數(shù)據(jù)進(jìn)行存儲(chǔ)、管理,及時(shí)分類、歸檔、清洗、備份,優(yōu)化數(shù)據(jù)庫(kù)的查詢效率,提高用戶的體驗(yàn)。

1.3.3.7.1數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)的速率和容量主要依托于存儲(chǔ)硬件設(shè)備,擬通過(guò)光纖通道(Fibre Channel)技術(shù)連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器,使得存儲(chǔ)設(shè)備具有很好的傳輸速率和擴(kuò)展性能。

1.3.3.7.2數(shù)據(jù)管理

采用已經(jīng)關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng),在數(shù)據(jù)庫(kù)系統(tǒng)中所建立的數(shù)據(jù)結(jié)構(gòu),充分地描述數(shù)據(jù)間的內(nèi)在聯(lián)系,便于數(shù)據(jù)修改、更新與擴(kuò)充,同時(shí)保證了數(shù)據(jù)的獨(dú)立性、可靠、安全性與完整性,減少了數(shù)據(jù)冗余,提高數(shù)據(jù)共享程度及數(shù)據(jù)管理效率。

1.3.3.7.3數(shù)據(jù)歸檔

在數(shù)據(jù)庫(kù)中劃分獨(dú)立的數(shù)據(jù)歸檔空間,將不再經(jīng)常使用的數(shù)據(jù)移到這個(gè)空間來(lái)進(jìn)行長(zhǎng)期保存的過(guò)程。數(shù)據(jù)歸檔由舊的數(shù)據(jù)組成,但它是以后參考所必需且很重要的數(shù)據(jù),其數(shù)據(jù)必須遵從規(guī)則來(lái)保存。數(shù)據(jù)歸檔具有索引和搜索功能,這樣數(shù)據(jù)可以很容易地找到。

1.3.3.7.4數(shù)據(jù)清洗

因?yàn)檩浨閿?shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合,這些數(shù)據(jù)從多個(gè)其它網(wǎng)站中抽取而來(lái)而且包含歷史數(shù)據(jù),這樣就避免不了有的數(shù)據(jù)是錯(cuò)誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突,這些錯(cuò)誤的或有沖突的數(shù)據(jù)顯然是我們不想要的,稱為“臟數(shù)據(jù)”。按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”,這就是數(shù)據(jù)清洗。而數(shù)據(jù)清洗的任務(wù)是過(guò)濾那些不符合要求的數(shù)據(jù),將過(guò)濾的結(jié)果交給業(yè)務(wù)主管部門,確認(rèn)是否過(guò)濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。

1.3.3.7.5數(shù)據(jù)備份

數(shù)據(jù)備份是容災(zāi)的基礎(chǔ),是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失,而將全部或部分?jǐn)?shù)據(jù)集合從應(yīng)用主機(jī)的硬盤(pán)或陣列復(fù)制到其它的存儲(chǔ)介質(zhì)的過(guò)程。傳統(tǒng)的數(shù)據(jù)備份主要是采用內(nèi)置或外置的磁帶機(jī)進(jìn)行冷備份。但是這種方式只能防止操作失誤等人為故障,而且其恢復(fù)時(shí)間也很長(zhǎng)。隨著技術(shù)的不斷發(fā)展,數(shù)據(jù)的海量增加,不少的企業(yè)開(kāi)始采用網(wǎng)絡(luò)備份。網(wǎng)絡(luò)備份一般通過(guò)專業(yè)的數(shù)據(jù)存儲(chǔ)管理軟件結(jié)合相應(yīng)的硬件和存儲(chǔ)設(shè)備來(lái)實(shí)現(xiàn)。

1.3.3.8客戶服務(wù)子系統(tǒng)

對(duì)個(gè)系統(tǒng)的用戶進(jìn)行注冊(cè)、訂購(gòu)、支付、權(quán)限管理、滿意度調(diào)查等,為系統(tǒng)的循序漸近的優(yōu)化提供參考依據(jù)。

1.3.3.8.1用戶注冊(cè)

匿名用戶通過(guò)域名登錄系統(tǒng)可注冊(cè)用戶,注冊(cè)并通過(guò)審核之后可憑登錄名和密碼進(jìn)入系統(tǒng)。

1.3.3.8.2產(chǎn)品訂購(gòu)

注冊(cè)用戶可訂購(gòu)不同類型的產(chǎn)品,可按照選題類型、監(jiān)測(cè)網(wǎng)站類型、分析復(fù)雜度等維度,來(lái)進(jìn)行訂購(gòu);訂購(gòu)之后登錄系統(tǒng)能查看到相關(guān)范圍內(nèi)的內(nèi)容。數(shù)據(jù)庫(kù)中暫時(shí)沒(méi)有的內(nèi)容,用戶也可提出相關(guān)需求,視情況進(jìn)行個(gè)性化研發(fā),不斷豐富輿情產(chǎn)品線。

1.3.3.8.3權(quán)限管理

根據(jù)用戶訂購(gòu)產(chǎn)品,擁有查看相關(guān)輿情內(nèi)容的權(quán)限;對(duì)于沒(méi)有訂購(gòu)的產(chǎn)品,則只提供有限時(shí)間、有限性能的服務(wù)。

1.3.3.8.4滿意度調(diào)查

調(diào)查用戶使用的滿意度,以提高服務(wù)及技術(shù)水平。

1.3.3.8.5意見(jiàn)反饋

收集用戶對(duì)使用產(chǎn)品、服務(wù)的意見(jiàn)和建議,以促進(jìn)服務(wù)及技術(shù)能力。

1.4開(kāi)發(fā)建議

鑒于本系統(tǒng)功能強(qiáng)大、流程復(fù)雜,尤其是網(wǎng)絡(luò)抓取工作量極大,建議本系統(tǒng)分期分批開(kāi)發(fā)。

1.4.1第一階段開(kāi)發(fā)工作

將“輿情選題子系統(tǒng)”“輿情采集子系統(tǒng)”中的選題內(nèi)容進(jìn)行壓縮,以網(wǎng)站2-5個(gè);論壇2-5個(gè)、博客2-5個(gè);微博2-5個(gè)等進(jìn)行一期開(kāi)發(fā)。
將“輿情發(fā)布子系統(tǒng)”中的個(gè)性化桌面留待后期開(kāi)發(fā),這樣一來(lái)其它子系統(tǒng)的開(kāi)發(fā)工作也會(huì)有所減少,保證在極短的時(shí)間內(nèi)開(kāi)發(fā)出一個(gè)可演示的版本;前期硬件投入也會(huì)相應(yīng)減少。


聯(lián)系方式:北京軟件開(kāi)發(fā)公司
電話:010-52895342,400-886-7161
郵件:service@hivekion.com
網(wǎng)址:http://bayada.com.cn

【北京華盛恒輝科技有限公司 ——(hivekion)是一家軟件定制開(kāi)發(fā)公司,在軟件產(chǎn)品研發(fā)與服務(wù),華盛恒輝堅(jiān)持穩(wěn)健經(jīng)營(yíng)、持續(xù)創(chuàng)新、開(kāi)放合作,在安全生產(chǎn)、大數(shù)據(jù)處理等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢(shì),為企業(yè)客戶提供有競(jìng)爭(zhēng)力的IT解決方案、 產(chǎn)品和服務(wù)。
 

------分隔線----------------------------
------分隔線----------------------------
QQ客服熱線