百度內容審查做敏感詞庫篩選

最近在做項目的敏感詞庫篩選更新。筆者最終的目標是通過百度API將現有的敏感詞庫篩選更新成。

一、準備工作

讀者需在百度智能云登陸賬號，然后開通百度內容審核功能，然后根據API Key和Secret Key可以獲得調用接口所需的access_token。

二、代碼調用API進行篩選

獲得API后就是寫代碼進行篩選了，筆者Python代碼如下：

import requests import json#獲取審核結果 def get_result(data_str):params = {'text': data_str}request_url = 'https://aip.baidubce.com/rest/2.0/solution/v1/text_censor/v2/user_defined?access_token=【此處寫你自己的token】'result = requests.post(request_url, headers={'Content-Type': 'application/x-www-form-urlencoded'}, data=params).textpredict_res = json.loads(result)print(predict_res)return predict_res['conclusion']#讀取待測文本 def get_txt():with open('./待篩選文本/po/drug.txt', 'r', encoding='utf-8') as f:with open('./篩選結果/drug_檢測失效.txt', 'a', encoding='utf-8') as f_err:with open('./篩選結果/po/drug.txt', 'a', encoding='utf-8') as f_result:for line in f:# print(line.replace('\n',''))result = get_result(line.replace('\n',''))if result == "疑似":f_result.write(line)elif result == "不合規":f_result.write(line)elif result == "合規":print(line.replace('\n','')+"檢測結果為合規")else:print(line.replace('\n','')+"檢測失效")f_err.write(line) #主函數 if __name__ == '__main__':get_txt()print("篩選結束")

三、篩選結果

敏感詞篩選分為兩個部分：中文敏感詞和藏文敏感詞。中文部分的敏感詞除了分為六個大類外，還將敏感詞分為正向敏感詞和負向敏感詞。藏文敏感詞則只是將敏感詞分為六個大類，未分正負向：

篩選前后的敏感詞庫已經上傳到CSDN，需要的讀者可自行下載：https://download.csdn.net/download/m0_37872090/12274456

該詞庫僅用于技術測試，嚴禁用于違法活動！