python對對聯(lián)

1.項目目的

編寫一段能夠根據(jù)輸入的上聯(lián)對出下聯(lián)的對對聯(lián)程序。輸入上聯(lián)后，能隨機生成下聯(lián)，最終達(dá)到：

（1） 程序的智能性高，功能完善。希望生成的對聯(lián)滿足平仄、韻腳、詞性等要求，并具有一定語義。

（2） 在實踐項目的過程中提高同學(xué)的代碼編寫能力。具體能力包括：程序設(shè)計知識的綜合運用能力；自主學(xué)習(xí)、錯誤調(diào)試的能力；規(guī)范書寫代碼及報告的意識和能力；閱讀代碼、改寫代碼的能力等。

2.項目內(nèi)容

這是一個運用從網(wǎng)上爬取的對聯(lián)、通過隨機的算法生成一段符合押韻、平仄規(guī)則的對聯(lián)的程序。大體過程為：

（1） 運用、、Re模塊等從網(wǎng)站上爬取對聯(lián)，并對對聯(lián)進(jìn)行文本格式處理；

（2） 運用模塊對對聯(lián)進(jìn)行詞性分析，運用模塊對對聯(lián)進(jìn)行平仄校準(zhǔn)；

（3） 根據(jù)詞頻隨機做出符合押韻、平仄規(guī)則的下聯(lián)。

3.輸入輸出

輸入：任意一副對聯(lián)的某一聯(lián)

輸出：判斷該聯(lián)為上聯(lián)或下聯(lián)并隨機生成滿足平仄、韻腳的另一聯(lián)

程序流程圖

爬蟲分析&數(shù)據(jù)分析 1.爬蟲整體思路

（1）爬取網(wǎng)頁

選擇想要爬取的網(wǎng)址，并模擬頭部瀏覽器訪問該網(wǎng)站。創(chuàng)建一個dict，將頭部信息以鍵值對的形式存入到dict對象中。本次項目爬取的網(wǎng)址為:

然后調(diào)用..()函數(shù)創(chuàng)建一個對象，該函數(shù)第一個參數(shù)傳入url，第二個參數(shù)可以傳入數(shù)據(jù)，默認(rèn)是傳入0數(shù)據(jù)，第三個參數(shù)是傳入頭部，該參數(shù)也是有默認(rèn)值的，默認(rèn)是不傳任何頭部。將dict對象傳入..（）函數(shù)第三個參數(shù)。

此時，已經(jīng)成功設(shè)置好報頭，然后使用()打開該對象即可打開對應(yīng)的網(wǎng)址。然后使用.read() 接收 json 數(shù)據(jù), 數(shù)據(jù)格式為UTF-8

（2) 逐一獲取需要的標(biāo)簽并解析數(shù)據(jù)

可以看到在網(wǎng)頁中我們需要的對聯(lián)內(nèi)容在p標(biāo)簽內(nèi),因此從html中獲取p標(biāo)簽內(nèi)容, 再利用正則表達(dá)式匹配符合要求的內(nèi)容, 并將其寫入數(shù)據(jù)庫

(3）保存內(nèi)容

主要涉及文件的讀寫。

代碼如下:

# 取消服務(wù)器證書驗證功能
ssl._create_default_https_context = ssl._create_unverified_context
database = []  # 列表記錄數(shù)據(jù)
def askUrl(i):  # 得到指定一個URL的網(wǎng)頁內(nèi)容
    global database
    # 爬取對聯(lián)大全網(wǎng)站
    url = "http://duilian.haoshiwen.org/view.php?aid=" + str(i)
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54"
    }  # 模擬頭部瀏覽器
    try:  # 用try except進(jìn)行異常處理
        request = urllib.request.Request(url, headers=head)
        response = urllib.request.urlopen(request)
        html = response.read().decode("UTF-8")
        selector = etree.HTML(html)  # 將源碼轉(zhuǎn)化為能被XPath匹配的格式
        result = selector.xpath('//p/text()')  # 返回所有p標(biāo)簽
        for html in result:
            findCouplet = re.compile(r'[\u4e00-\u9fff]{7}')  # 使用正則表達(dá)式查找符合格式的內(nèi)容
            couplet = re.findall(findCouplet, html)
            if couplet:
                database.append(couplet)  # 寫入數(shù)據(jù)庫
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)

因為該網(wǎng)站的數(shù)據(jù)格式多樣, 我自己爬到的數(shù)據(jù)比較少，所以我下載了網(wǎng)上的數(shù)據(jù)庫來作為擴充（包含約70萬條對聯(lián)），下載地址如下:

中國對聯(lián)數(shù)據(jù)集 -

.txt（上聯(lián)）和.txt（下聯(lián)）兩個文件

2. 算法分析 模塊是通過學(xué)習(xí)，記錄詞頻

這部分是逐個分析上聯(lián)中的詞語，如獲得一個詞語后，在下聯(lián)中找到這個詞語可以匹配的詞，并根據(jù)該詞語匹配的次數(shù)用公式計算詞頻概率（對應(yīng)概率越大說明該詞最有可能與上聯(lián)中的對應(yīng)詞匹配）。計算公式是多次試驗后發(fā)現(xiàn)的比較能反映詞頻的算法，不一定是最優(yōu)。

代碼如下:

# 對聯(lián)學(xué)習(xí)
def learns():
   global infile, outfile, zishi
   size = len(infile)  # infile為上聯(lián)庫中的內(nèi)容
   for i in range(size):
       cut = jieba.lcut(infile[i])  # 對上聯(lián)庫中對聯(lián)逐一分詞
       for j in range(len(cut)):
           position = infile[i].find(cut[j])  # 找到該詞位置
           learn(cut[j], outfile[i][position: position + len(cut[j])])  # 學(xué)習(xí)該詞
       for j in range(len(infile[i])):
           learn(infile[i][j], outfile[i][j])  # 學(xué)習(xí)對聯(lián)中每個字
# 單個的詞語學(xué)習(xí)
def learn(word, nword):
   global zishi
   zikey = zishi.keys()
   if word in zikey:  # 如果該詞語已被學(xué)習(xí)過
       zishikey = zishi[word].keys()  # 獲取所有可以匹配該詞的詞語
       if nword in zishikey:  # 如果下聯(lián)對應(yīng)詞在可匹配詞語中
           for j in zishikey:
               if j != '$':
                   if j != nword:  # 可匹配詞語中的其他詞對應(yīng)概率減小
                       zishi[word][j] = zishi[word][j] / (1 + 1 / zishi[word]['$'])
           zishi[word][nword] = (zishi[word][nword] + 1 / zishi[word]['$']) / (1 + 1 / zishi[word]['$'])
           # 該對應(yīng)詞的概率增大
           zishi[word]['$'] = zishi[word]['$'] + 1  # 可匹配詞語總數(shù)+1
       else:  # 如果該詞語未被學(xué)習(xí)過（以下步驟同上）
           for j in zishikey:
               if j != '$':
                   zishi[word][j] = zishi[word][j] / (1 + 1 / zishi[word]['$'])
           zishi[word][nword] = (1 / zishi[word]['$']) / (1 + 1 / zishi[word]['$'])
           zishi[word]['$'] = zishi[word]['$'] + 1
   else:
       zishi[word] = {'$': 1, nword: 1}

這是學(xué)習(xí)后生成的文件：

意思為：“上聯(lián)”：{“$”+匹配的總字?jǐn)?shù)，“下聯(lián)1”：對應(yīng)概率，“下聯(lián)2”：對應(yīng)概率……}

平仄方法區(qū)分

看對聯(lián)的最后一個字，上聯(lián)最后一個字是三聲和四聲（仄聲），下聯(lián)的最后一個字是一聲和二聲（平聲），如下聯(lián)：興xīng 一聲 是上聯(lián)，旺wàng四聲是下聯(lián)。

def is_down(content):  # 判斷是否是下聯(lián), 如果是返回true
   s = list(content)
   a = pinyin.get(s[-1], format="numerical")[-1]
   return a == '1' or a == '2'

main模塊講解：

首先如果用戶輸入1, 進(jìn)行對聯(lián)自動生成的話,打開學(xué)習(xí)生成的文件, 用和ran函數(shù)實現(xiàn)匹配并生成下聯(lián)：在函數(shù)中，用隨機為上聯(lián)分配一個權(quán)重/概率（達(dá)到隨機匹配目的），對上聯(lián)分詞后的詞語一一使用ran函數(shù)，然后再組合成上聯(lián)。在ran函數(shù)中，將上聯(lián)分配到的概率r與所有能配對的詞語一一比較，如果比較到某個詞的概率大于r，就返回該詞i。否則使r減少后再重復(fù)以上步驟。然后進(jìn)行輸出，輸出時進(jìn)行平仄校驗，平仄正確率大于80%后直接輸出，否則再次隨機生成下聯(lián)，直到平仄符合。

以下介紹模塊，主要是自定義的jy函數(shù)：

方法比較簡單，就是獲取每個字的音調(diào)后一一比對, 如果平仄不對則記錄下來, 最后拿正確數(shù)除以總的字?jǐn)?shù)獲得正確率。

代碼如下:

import pinyin
def is_down(content):  # 判斷是否是下聯(lián), 如果是返回true
    s = list(content)
    a = pinyin.get(s[-1], format="numerical")[-1]
    return a == '1' or a == '2'
def jy(s, x):
    s = list(s)
    x = list(x)
    yin1 = []
    yin2 = []
    for i in s:  # 獲取對聯(lián)中每個字的拼音聲調(diào)
        a = pinyin.get(i, format="numerical")
        yin1.append(a[-1])
    for i in x:
        b = pinyin.get(i, format="numerical")
        yin2.append(b[-1])
    error = 0
    length = len(yin1)
    for i in range(length):  # 比對平仄
        if (yin1[i] == '1' or yin1[i] == '2') and (yin2[i] == '1' or yin2[i] == '2'):
            error += 1
        if (yin1[i] == '3' or yin1[i] == '4') and (yin2[i] == '3' or yin2[i] == '4'):
            error += 1
    # 平仄正確率輸出
    return (length - error * 1.0) / length

如果用戶輸入2, 則調(diào)用jy函數(shù)輸出平仄的評分。

代碼如下:

import jieba
import random
import json
from verify import jy, is_down
def couplet(s):  # 生成另一聯(lián)
    R = 0
    x = []
    for i in range(len(s)):
        x.append(ran(s[i], random.random()))
        # 用random隨機生成一個0到1之間的數(shù)后，用ran函數(shù)進(jìn)行權(quán)重比較、隨機輸出
    return "".join(x)
def ran(w, r):
    # 根據(jù)隨機賦予字詞的權(quán)重進(jìn)行比較
    global zishi, writemode, R
    R = 0
    zikey = zishi.keys()  ##返回字典中所有鍵
    if w != '' and w in zikey:  # 當(dāng)所輸上聯(lián)在對聯(lián)庫中，根據(jù)庫得出下聯(lián)
        zishikey = zishi[w].keys()
        max = ["", 0.0]
        for i in zishikey:
            if i != '$':
                if r < float(zishi[w][i]):  # 當(dāng)該權(quán)重小于匹配到的字詞對應(yīng)概率，返回該字詞
                    R += r
                    return i
                else:  # 減小權(quán)重，再次比較
                    r = r - float(zishi[w][i])
        return max[0]
    else:  # 如果該上聯(lián)不在數(shù)據(jù)庫中，劃分字詞后逐詞匹配
        return "".join([ran(i, random.random()) for i in w])
if __name__ == '__main__':
    # 引入校驗函數(shù)
    global infile, outfile, zishi, writemode, R
    try:
        with open("zknow.txt", "r", encoding='utf-8') as zishi_file:
            # 打開學(xué)習(xí)后生成的文件
            zishi = json.loads(zishi_file.read().replace("'", '"'))
            # 將json格式數(shù)據(jù)解碼為python對象，構(gòu)建字典
    except IOError:
        zishi = {}
    while True:
        choice = input("1. 自動對對聯(lián) 2. 對聯(lián)評分")
        if choice == "1":
            s = input("輸入對聯(lián)：")
            s = jieba.lcut(s)  # 對聯(lián)切詞
            x = couplet(s)  # 生成另一聯(lián)
            s = "".join(s)
            for i in range(1000):
                # 檢驗平仄，平仄正確率大于百分之80后直接輸出，否則再次隨機生成下聯(lián)，直到平仄符合
                pz = jy(s, x)
                if pz >= 0.8:
                    print("-----------------------------------")
                    if is_down(s):
                        print("上聯(lián)：" + x)
                        print("下聯(lián)：" + s)
                    else:
                        print("上聯(lián)：" + s)
                        print("下聯(lián)：" + x)
                    print("-----------------------------------")
                    print("評分:")
                    print("平仄: " + str(round(pz * 100, 2)) + "分")
                    print("對仗: " + str(round(R * 10000, 2)) + "分")
                    break
                else:
                    x = couplet(s)
        else:
            s = input("輸入上聯(lián)：")
            x = input("輸入下聯(lián)：")
            pz = jy(s, x)
            print("評分:")
            print("平仄: " + str(round(pz * 100, 2)) + "分")

實驗結(jié)果&對比分析

1.實驗結(jié)果

運行結(jié)果：