av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

用python實現前向分詞最大匹配算法的示例代碼

瀏覽:87日期:2022-07-14 18:12:24

理論介紹

分詞是自然語言處理的一個基本工作,中文分詞和英文不同,字詞之間沒有空格。中文分詞是文本挖掘的基礎,對于輸入的一段中文,成功的進行中文分詞,可以達到電腦自動識別語句含義的效果。中文分詞技術屬于自然語言處理技術范疇,對于一句話,人可以通過自己的知識來明白哪些是詞,哪些不是詞,但如何讓計算機也能理解?其處理過程就是分詞算法。

可以將中文分詞方法簡單歸納為:

1.基于詞表的分詞方法2.基于統計的分詞方法3.基于序列標記的分詞方法

其中,基于詞表的分詞方法最為簡單,根據起始匹配位置不同可以分為:

1.前向最大匹配算法2.后向最大匹配算法3.雙向最大匹配算法

三種方法思想都很簡單,今天就用python實現前向最大匹配算法。

word分詞是一個Java實現的分布式的中文分詞組件,提供了多種基于詞典的分詞算法,并利用ngram模型來消除歧義。能準確識別英文、數字,以及日期、時間等數量詞,能識別人名、地名、組織機構名等未登錄詞。能通過自定義配置文件來改變組件行為,能自定義用戶詞庫、自動檢測詞庫變化、支持大規模分布式環境,能靈活指定多種分詞算法,能使用refine功能靈活控制分詞結果,還能使用詞性標注、同義標注、反義標注、拼音標注等功能。同時還無縫和Lucene、Solr、ElasticSearch、Luke集成。

前向最大匹配算法

前向最大匹配算法,顧名思義,就是從待分詞句子的左邊向右邊搜索,尋找詞的最大匹配。我們需要規定一個詞的最大長度,每次掃描的時候尋找當前開始的這個長度的詞來和字典中的詞匹配,如果沒有找到,就縮短長度繼續尋找,直到找到字典中的詞或者成為單字。

具體代碼實現

獲取分詞函數:getSeg(text):

def getSeg(text): # 句子為空 if not text: return ’’ # 句子成為一個詞 if len(text) == 1: return text # 此處寫了一個遞歸方法 if text in word_dict: return text else: small = len(text) - 1 text = text[0:small] return getSeg(text)

主函數:main()

def main(): global test_str, word_dict test_str = test_str.strip() # 正向最大匹配分詞測試 最大長度5 max_len = max(len(word) for word in word_dict) result_str = [] # 保存分詞結果 result_len = 0 print(’input :’, test_str) while test_str: tmp_str = test_str[0:max_len] seg_str = getSeg(tmp_str) seg_len = len(seg_str) result_len = result_len + seg_len if seg_str.strip(): result_str.append(seg_str) test_str = test_str[seg_len:] print(’output :’, result_str)

字典:

word_dict = [’混沌’, ’Logistic’, ’算法’, ’圖片’, ’加密’, ’利用’, ’還原’, ’Lena’, ’驗證’, ’Baboon’, ’效果’]

測試句子:

test_str = ’’’一種基于混沌Logistic加密算法的圖片加密與還原的方法,并利用Lena圖和Baboon圖來驗證這種加密算法的加密效果。’’’

分詞結果

用python實現前向分詞最大匹配算法的示例代碼

到此這篇關于用python實現前向分詞最大匹配算法的示例代碼的文章就介紹到這了,更多相關python 前向分詞最大匹配算法內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 精品久久久久久久 | 精品乱码一区二区三四区视频 | 性高朝久久久久久久3小时 av一区二区三区四区 | 日韩在线免费视频 | 欧美一区二区三区电影 | 久久久精品视频一区二区三区 | 国产一区视频在线 | 在线国产一区二区三区 | 国产一区二| 99久久免费观看 | 国产真实精品久久二三区 | 国产精品久久久久久久久久不蜜臀 | 欧美日韩亚洲三区 | 欧美日韩在线看 | 日本精品视频在线 | 999精彩视频| 日本精品一区二区三区在线观看视频 | 欧美日韩国产一区二区三区 | 国产精品综合一区二区 | 五月激情综合网 | 日韩av.com| 在线观看视频一区二区三区 | 亚洲国产高清在线观看 | 亚洲人成在线观看 | 涩涩视频在线观看 | 色接久久| 国产视频二区 | 日韩午夜电影在线观看 | 国产精品美女久久久久aⅴ国产馆 | 欧美成人自拍 | 久久综合久色欧美综合狠狠 | 国产农村一级国产农村 | 欧美 日韩 国产 在线 | 综合色久 | 99久久精品国产一区二区三区 | 国产精品久久久久婷婷二区次 | 91偷拍精品一区二区三区 | 欧美日韩国产高清 | 久久精品亚洲欧美日韩精品中文字幕 | 在线观看中文字幕视频 | 黄色片免费在线观看 |