資料介紹
推特文本中包含著大量的非標(biāo)準(zhǔn)詞,這些非標(biāo)準(zhǔn)詞是由人們有意或無意而創(chuàng)造的。對很多自然語言處理的任務(wù)而言,預(yù)先對推特文本進(jìn)行規(guī)范化處理是很有必要的。針對已有的規(guī)范化系統(tǒng)性能較差的問題,提出一種創(chuàng)新的無監(jiān)督文本規(guī)范化系統(tǒng)。首先,使用構(gòu)造的標(biāo)準(zhǔn)詞典來判斷當(dāng)前的推特是否需要標(biāo)準(zhǔn)化。然后,對推特中的非標(biāo)準(zhǔn)詞會根據(jù)其特征來考慮進(jìn)行一對一還是一對多規(guī)范化;對于需要一對多的非標(biāo)準(zhǔn)詞,通過前向和后向搜索算法,計算出所有可能的多詞組合。其次,對于多詞組合中的非規(guī)范化詞,基于二部圖隨機游走和誤拼檢查,來產(chǎn)生合適的候選。最后,使用基于上下文的語言模型來得到最合適的標(biāo)準(zhǔn)詞。所提算法在數(shù)據(jù)集上獲得86. 4qo的F值,超過當(dāng)前最好的基于圖的隨機游走算法10個百分點。

掃碼添加小助手
加入工程師交流群
- 基于無監(jiān)督空間一致性約束的心臟MRI分割 38次下載
- 聯(lián)合多流行結(jié)構(gòu)和自表示的無監(jiān)督特征選擇方法 4次下載
- 一種興趣點分層學(xué)習(xí)的全監(jiān)督算法 5次下載
- 一種基于BERT模型的社交電商文本分類算法 8次下載
- 一種側(cè)重于學(xué)習(xí)情感特征的預(yù)訓(xùn)練方法 4次下載
- 一種基于DE和ELM的半監(jiān)督分類方法 5次下載
- 一種面向鐵路文本分類的字符級特征提取方法 10次下載
- 一種基于光滑表示的半監(jiān)督分類算法 17次下載
- 基于規(guī)范化函數(shù)的深度金字塔模型算法 14次下載
- 一種針對中英混合文本的多維度多情感分析方法 16次下載
- 一種基于神經(jīng)網(wǎng)絡(luò)的短文本分類模型 10次下載
- 數(shù)據(jù)庫-關(guān)系規(guī)范化的詳細(xì)資料介紹,為什么要對進(jìn)行關(guān)系的規(guī)范化? 5次下載
- 一種基于最優(yōu)路徑的物流管理與監(jiān)督系統(tǒng)設(shè)計 4次下載
- 一種基于PCA和RS的文本過濾方法
- 一種有效的文本圖像二值化方法
- 神經(jīng)網(wǎng)絡(luò)如何用無監(jiān)督算法訓(xùn)練 2.1k次閱讀
- 基于一種無OS的MCU實用軟件框架 1.2k次閱讀
- 一種實用的嵌入式無 OS 軟件框架 1.2k次閱讀
- 分享一種嵌入式系統(tǒng)自動化測試的詳細(xì)方案 3.9k次閱讀
- 基于文本驅(qū)動的三維模型風(fēng)格化方法 1.9w次閱讀
- 用于弱監(jiān)督大規(guī)模點云語義分割的混合對比正則化框架 2.1k次閱讀
- 一種新的無監(jiān)督時間序列異常檢測方法 3.7k次閱讀
- 基于一種模塊化的LED顯示屏設(shè)計 2.5k次閱讀
- 一種十億級數(shù)據(jù)規(guī)模的半監(jiān)督圖像分類模型 4.2k次閱讀
- 一種漸薄型孔無銅是什么原因 5.9k次閱讀
- 淺析FPGA規(guī)范化的重要性 3.6k次閱讀
- 一種全新的無監(jiān)督機器翻譯方法,在BLUE基準(zhǔn)測試上取得了10分以上提升 6.4k次閱讀
- 無監(jiān)督訓(xùn)練加微小調(diào)整,只用一個模型即可解決多種NLP 6.4k次閱讀
- 采用無監(jiān)督學(xué)習(xí)的方法,用深度摘要網(wǎng)絡(luò)總結(jié)視頻 8.3k次閱讀
- 一種創(chuàng)新性DPD線性化電路特有的自適應(yīng)算法 2.8k次閱讀
下載排行
本周
- 1MDD品牌三極管MMBT3906數(shù)據(jù)手冊
- 2.33 MB | 次下載 | 免費
- 2MDD品牌三極管S9012數(shù)據(jù)手冊
- 2.62 MB | 次下載 | 免費
- 3聯(lián)想flex2-14D/15D說明書
- 4.92 MB | 次下載 | 免費
- 4收音環(huán)繞擴音機 AVR-1507手冊
- 2.50 MB | 次下載 | 免費
- 524Pin Type-C連接器設(shè)計報告
- 1.06 MB | 次下載 | 免費
- 6新一代網(wǎng)絡(luò)可視化(NPB 2.0)
- 3.40 MB | 次下載 | 免費
- 7MS1000TA 超聲波測量模擬前端芯片技術(shù)手冊
- 0.60 MB | 次下載 | 免費
- 8MS1022高精度時間測量(TDC)電路數(shù)據(jù)手冊
- 1.81 MB | 次下載 | 免費
本月
- 1愛華AIWA HS-J202維修手冊
- 3.34 MB | 37次下載 | 免費
- 2PC5502負(fù)載均流控制電路數(shù)據(jù)手冊
- 1.63 MB | 23次下載 | 免費
- 3NB-IoT芯片廠商的資料說明
- 0.31 MB | 22次下載 | 1 積分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供電電路圖資料
- 0.63 MB | 6次下載 | 1 積分
- 5UWB653Pro USB口測距通信定位模塊規(guī)格書
- 838.47 KB | 5次下載 | 免費
- 6技嘉H110主板IT8628E_BX IO電路圖資料
- 2.61 MB | 4次下載 | 1 積分
- 7蘇泊爾DCL6907(即CHK-S007)單芯片電磁爐原理圖資料
- 0.04 MB | 4次下載 | 1 積分
- 8100W準(zhǔn)諧振反激式恒流電源電路圖資料
- 0.09 MB | 2次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191439次下載 | 10 積分
- 5十天學(xué)會AVR單片機與C語言視頻教程 下載
- 158M | 183353次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81602次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費下載
- 0.02 MB | 73822次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App





創(chuàng)作
發(fā)文章
發(fā)帖
提問
發(fā)資料
發(fā)視頻
上傳資料賺積分
評論