python對(duì)對(duì)聯(lián)
1.項(xiàng)目目的
編寫(xiě)一段能夠根據(jù)輸入的上聯(lián)對(duì)出下聯(lián)的對(duì)對(duì)聯(lián)程序。輸入上聯(lián)后，能隨機(jī)生成下聯(lián)，最終達(dá)到：
（1） 程序的智能性高，功能完善。希望生成的對(duì)聯(lián)滿足平仄、韻腳、詞性等要求，并具有一定語(yǔ)義。
（2） 在實(shí)踐項(xiàng)目的過(guò)程中提高同學(xué)的代碼編寫(xiě)能力。具體能力包括：程序設(shè)計(jì)知識(shí)的綜合運(yùn)用能力；自主學(xué)習(xí)、錯(cuò)誤調(diào)試的能力；規(guī)范書(shū)寫(xiě)代碼及報(bào)告的意識(shí)和能力；閱讀代碼、改寫(xiě)代碼的能力等。
2.項(xiàng)目?jī)?nèi)容
這是一個(gè)運(yùn)用從網(wǎng)上爬取的對(duì)聯(lián)、通過(guò)隨機(jī)的算法生成一段符合押韻、平仄規(guī)則的對(duì)聯(lián)的程序。大體過(guò)程為：
（1） 運(yùn)用、、Re模塊等從網(wǎng)站上爬取對(duì)聯(lián)，并對(duì)對(duì)聯(lián)進(jìn)行文本格式處理；
（2） 運(yùn)用模塊對(duì)對(duì)聯(lián)進(jìn)行詞性分析，運(yùn)用模塊對(duì)對(duì)聯(lián)進(jìn)行平仄校準(zhǔn)；
（3） 根據(jù)詞頻隨機(jī)做出符合押韻、平仄規(guī)則的下聯(lián)。
3.輸入輸出
輸入：任意一副對(duì)聯(lián)的某一聯(lián)
輸出：判斷該聯(lián)為上聯(lián)或下聯(lián)并隨機(jī)生成滿足平仄、韻腳的另一聯(lián)
程序流程圖
爬蟲(chóng)分析&數(shù)據(jù)分析 1.爬蟲(chóng)整體思路
（1）爬取網(wǎng)頁(yè)
選擇想要爬取的網(wǎng)址，并模擬頭部瀏覽器訪問(wèn)該網(wǎng)站。創(chuàng)建一個(gè)dict，將頭部信息以鍵值對(duì)的形式存入到dict對(duì)象中。本次項(xiàng)目爬取的網(wǎng)址為:
然后調(diào)用..()函數(shù)創(chuàng)建一個(gè)對(duì)象，該函數(shù)第一個(gè)參數(shù)傳入url，第二個(gè)參數(shù)可以傳入數(shù)據(jù)，默認(rèn)是傳入0數(shù)據(jù)，第三個(gè)參數(shù)是傳入頭部，該參數(shù)也是有默認(rèn)值的，默認(rèn)是不傳任何頭部。將dict對(duì)象傳入..（）函數(shù)第三個(gè)參數(shù)。
此時(shí)，已經(jīng)成功設(shè)置好報(bào)頭，然后使用()打開(kāi)該對(duì)象即可打開(kāi)對(duì)應(yīng)的網(wǎng)址。然后使用.read() 接收 json 數(shù)據(jù), 數(shù)據(jù)格式為UTF-8
（2) 逐一獲取需要的標(biāo)簽并解析數(shù)據(jù)
可以看到在網(wǎng)頁(yè)中我們需要的對(duì)聯(lián)內(nèi)容在p標(biāo)簽內(nèi),因此從html中獲取p標(biāo)簽內(nèi)容, 再利用正則表達(dá)式匹配符合要求的內(nèi)容, 并將其寫(xiě)入數(shù)據(jù)庫(kù)
(3）保存內(nèi)容
主要涉及文件的讀寫(xiě)。
代碼如下:
# 取消服務(wù)器證書(shū)驗(yàn)證功能
ssl._create_default_https_context = ssl._create_unverified_context
database = [] # 列表記錄數(shù)據(jù)
def askUrl(i): # 得到指定一個(gè)URL的網(wǎng)頁(yè)內(nèi)容
global database
# 爬取對(duì)聯(lián)大全網(wǎng)站
url = "http://duilian.haoshiwen.org/view.php?aid=" + str(i)
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54"
} # 模擬頭部瀏覽器
try: # 用try except進(jìn)行異常處理
request = urllib.request.Request(url, headers=head)
response = urllib.request.urlopen(request)
html = response.read().decode("UTF-8")
selector = etree.HTML(html) # 將源碼轉(zhuǎn)化為能被XPath匹配的格式
result = selector.xpath('//p/text()') # 返回所有p標(biāo)簽
for html in result:
findCouplet = re.compile(r'[\u4e00-\u9fff]{7}') # 使用正則表達(dá)式查找符合格式的內(nèi)容
couplet = re.findall(findCouplet, html)
if couplet:
database.append(couplet) # 寫(xiě)入數(shù)據(jù)庫(kù)
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
因?yàn)樵摼W(wǎng)站的數(shù)據(jù)格式多樣, 我自己爬到的數(shù)據(jù)比較少，所以我下載了網(wǎng)上的數(shù)據(jù)庫(kù)來(lái)作為擴(kuò)充（包含約70萬(wàn)條對(duì)聯(lián)），下載地址如下:
中國(guó)對(duì)聯(lián)數(shù)據(jù)集 -
.txt（上聯(lián)）和.txt（下聯(lián)）兩個(gè)文件
2. 算法分析 模塊是通過(guò)學(xué)習(xí)，記錄詞頻
這部分是逐個(gè)分析上聯(lián)中的詞語(yǔ)，如獲得一個(gè)詞語(yǔ)后，在下聯(lián)中找到這個(gè)詞語(yǔ)可以匹配的詞，并根據(jù)該詞語(yǔ)匹配的次數(shù)用公式計(jì)算詞頻概率（對(duì)應(yīng)概率越大說(shuō)明該詞最有可能與上聯(lián)中的對(duì)應(yīng)詞匹配）。計(jì)算公式是多次試驗(yàn)后發(fā)現(xiàn)的比較能反映詞頻的算法，不一定是最優(yōu)。
代碼如下:
# 對(duì)聯(lián)學(xué)習(xí)
def learns():
global infile, outfile, zishi
size = len(infile) # infile為上聯(lián)庫(kù)中的內(nèi)容
for i in range(size):
cut = jieba.lcut(infile[i]) # 對(duì)上聯(lián)庫(kù)中對(duì)聯(lián)逐一分詞
for j in range(len(cut)):
position = infile[i].find(cut[j]) # 找到該詞位置
learn(cut[j], outfile[i][position: position + len(cut[j])]) # 學(xué)習(xí)該詞
for j in range(len(infile[i])):
learn(infile[i][j], outfile[i][j]) # 學(xué)習(xí)對(duì)聯(lián)中每個(gè)字
# 單個(gè)的詞語(yǔ)學(xué)習(xí)
def learn(word, nword):
global zishi
zikey = zishi.keys()
if word in zikey: # 如果該詞語(yǔ)已被學(xué)習(xí)過(guò)
zishikey = zishi[word].keys() # 獲取所有可以匹配該詞的詞語(yǔ)
if nword in zishikey: # 如果下聯(lián)對(duì)應(yīng)詞在可匹配詞語(yǔ)中
for j in zishikey:
if j != '$':
if j != nword: # 可匹配詞語(yǔ)中的其他詞對(duì)應(yīng)概率減小
zishi[word][j] = zishi[word][j] / (1 + 1 / zishi[word]['$'])
zishi[word][nword] = (zishi[word][nword] + 1 / zishi[word]['$']) / (1 + 1 / zishi[word]['$'])
# 該對(duì)應(yīng)詞的概率增大
zishi[word]['$'] = zishi[word]['$'] + 1 # 可匹配詞語(yǔ)總數(shù)+1
else: # 如果該詞語(yǔ)未被學(xué)習(xí)過(guò)（以下步驟同上）
for j in zishikey:
if j != '$':
zishi[word][j] = zishi[word][j] / (1 + 1 / zishi[word]['$'])
zishi[word][nword] = (1 / zishi[word]['$']) / (1 + 1 / zishi[word]['$'])
zishi[word]['$'] = zishi[word]['$'] + 1
else:
zishi[word] = {'$': 1, nword: 1}
這是學(xué)習(xí)后生成的文件：
意思為：“上聯(lián)”：{“$”+匹配的總字?jǐn)?shù)，“下聯(lián)1”：對(duì)應(yīng)概率，“下聯(lián)2”：對(duì)應(yīng)概率……}
平仄方法區(qū)分
看對(duì)聯(lián)的最后一個(gè)字，上聯(lián)最后一個(gè)字是三聲和四聲（仄聲），下聯(lián)的最后一個(gè)字是一聲和二聲（平聲），如下聯(lián)：興xīng 一聲 是上聯(lián)，旺wàng四聲是下聯(lián)。
def is_down(content): # 判斷是否是下聯(lián), 如果是返回true
s = list(content)
a = pinyin.get(s[-1], format="numerical")[-1]
return a == '1' or a == '2'
main模塊講解：
首先如果用戶輸入1, 進(jìn)行對(duì)聯(lián)自動(dòng)生成的話,打開(kāi)學(xué)習(xí)生成的文件, 用和ran函數(shù)實(shí)現(xiàn)匹配并生成下聯(lián)：在函數(shù)中，用隨機(jī)為上聯(lián)分配一個(gè)權(quán)重/概率（達(dá)到隨機(jī)匹配目的），對(duì)上聯(lián)分詞后的詞語(yǔ)一一使用ran函數(shù)，然后再組合成上聯(lián)。在ran函數(shù)中，將上聯(lián)分配到的概率r與所有能配對(duì)的詞語(yǔ)一一比較，如果比較到某個(gè)詞的概率大于r，就返回該詞i。否則使r減少后再重復(fù)以上步驟。然后進(jìn)行輸出，輸出時(shí)進(jìn)行平仄校驗(yàn)，平仄正確率大于80%后直接輸出，否則再次隨機(jī)生成下聯(lián)，直到平仄符合。
以下介紹模塊，主要是自定義的jy函數(shù)：
方法比較簡(jiǎn)單，就是獲取每個(gè)字的音調(diào)后一一比對(duì), 如果平仄不對(duì)則記錄下來(lái), 最后拿正確數(shù)除以總的字?jǐn)?shù)獲得正確率。
代碼如下:
import pinyin
def is_down(content): # 判斷是否是下聯(lián), 如果是返回true
s = list(content)
a = pinyin.get(s[-1], format="numerical")[-1]
return a == '1' or a == '2'
def jy(s, x):
s = list(s)
x = list(x)
yin1 = []
yin2 = []
for i in s: # 獲取對(duì)聯(lián)中每個(gè)字的拼音聲調(diào)
a = pinyin.get(i, format="numerical")
yin1.append(a[-1])
for i in x:
b = pinyin.get(i, format="numerical")
yin2.append(b[-1])
error = 0
length = len(yin1)
for i in range(length): # 比對(duì)平仄
if (yin1[i] == '1' or yin1[i] == '2') and (yin2[i] == '1' or yin2[i] == '2'):
error += 1
if (yin1[i] == '3' or yin1[i] == '4') and (yin2[i] == '3' or yin2[i] == '4'):
error += 1
# 平仄正確率輸出
return (length - error * 1.0) / length
如果用戶輸入2, 則調(diào)用jy函數(shù)輸出平仄的評(píng)分。
代碼如下:
import jieba
import random
import json
from verify import jy, is_down
def couplet(s): # 生成另一聯(lián)
R = 0
x = []
for i in range(len(s)):
x.append(ran(s[i], random.random()))
# 用random隨機(jī)生成一個(gè)0到1之間的數(shù)后，用ran函數(shù)進(jìn)行權(quán)重比較、隨機(jī)輸出
return "".join(x)
def ran(w, r):
# 根據(jù)隨機(jī)賦予字詞的權(quán)重進(jìn)行比較
global zishi, writemode, R
R = 0
zikey = zishi.keys() ##返回字典中所有鍵
if w != '' and w in zikey: # 當(dāng)所輸上聯(lián)在對(duì)聯(lián)庫(kù)中，根據(jù)庫(kù)得出下聯(lián)
zishikey = zishi[w].keys()
max = ["", 0.0]
for i in zishikey:
if i != '$':
if r < float(zishi[w][i]): # 當(dāng)該權(quán)重小于匹配到的字詞對(duì)應(yīng)概率，返回該字詞
R += r
return i
else: # 減小權(quán)重，再次比較
r = r - float(zishi[w][i])
return max[0]
else: # 如果該上聯(lián)不在數(shù)據(jù)庫(kù)中，劃分字詞后逐詞匹配
return "".join([ran(i, random.random()) for i in w])
if __name__ == '__main__':
# 引入校驗(yàn)函數(shù)
global infile, outfile, zishi, writemode, R
try:
with open("zknow.txt", "r", encoding='utf-8') as zishi_file:
# 打開(kāi)學(xué)習(xí)后生成的文件
zishi = json.loads(zishi_file.read().replace("'", '"'))
# 將json格式數(shù)據(jù)解碼為python對(duì)象，構(gòu)建字典
except IOError:
zishi = {}
while True:
choice = input("1. 自動(dòng)對(duì)對(duì)聯(lián) 2. 對(duì)聯(lián)評(píng)分")
if choice == "1":
s = input("輸入對(duì)聯(lián)：")
s = jieba.lcut(s) # 對(duì)聯(lián)切詞
x = couplet(s) # 生成另一聯(lián)
s = "".join(s)
for i in range(1000):
# 檢驗(yàn)平仄，平仄正確率大于百分之80后直接輸出，否則再次隨機(jī)生成下聯(lián)，直到平仄符合
pz = jy(s, x)
if pz >= 0.8:
print("-----------------------------------")
if is_down(s):
print("上聯(lián)：" + x)
print("下聯(lián)：" + s)
else:
print("上聯(lián)：" + s)
print("下聯(lián)：" + x)
print("-----------------------------------")
print("評(píng)分:")
print("平仄: " + str(round(pz * 100, 2)) + "分")
print("對(duì)仗: " + str(round(R * 10000, 2)) + "分")
break
else:
x = couplet(s)
else:
s = input("輸入上聯(lián)：")
x = input("輸入下聯(lián)：")
pz = jy(s, x)
print("評(píng)分:")
print("平仄: " + str(round(pz * 100, 2)) + "分")
實(shí)驗(yàn)結(jié)果&對(duì)比分析
1.實(shí)驗(yàn)結(jié)果
運(yùn)行結(jié)果：
