售前電話
135-3656-7657
售前電話 : 135-3656-7657
技術(shù)特征:
1.一種皮膚病在線問診方法,其特征在于,所述方法包括:獲取步驟:獲取預(yù)測樣本,所述預(yù)測樣本包括患處圖像和/或歷史問診問題;其中,所述患處圖像為當(dāng)前輪次之前從醫(yī)生終端接收的,所述歷史問診問題為上一輪次從醫(yī)生終端接收的;向量化步驟:對所述患處圖像和/或所述歷史問診問題進(jìn)行向量化,得到圖像輸入向量和/或文本輸入向量;預(yù)測步驟:將所述圖像輸入向量和/或所述文本輸入向量對應(yīng)輸入到訓(xùn)練好的皮膚病問診問題推薦模型中進(jìn)行預(yù)測,得到多個待選問題,并推薦至所述醫(yī)生終端,以使醫(yī)生可從所述多個待選問題中選擇一個作為本輪次問診問題;循環(huán)步驟:依次循環(huán)執(zhí)行所述獲取步驟、所述向量化步驟、所述融合步驟和所述預(yù)測步驟多次,直到問診結(jié)束。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述皮膚病問診問題推薦模型是根據(jù)下述方法訓(xùn)練得到的:構(gòu)建皮膚病問診問題的推薦初始模型,其中,所述皮膚病問診問題的推薦初始模型包括圖像分類子模型、語言表達(dá)子模型和問診問題分類子模型,所述圖像分類子模型和所述語言表達(dá)子模型分別連接所述問診問題分類子模型;構(gòu)建訓(xùn)練數(shù)據(jù)集,所述訓(xùn)練數(shù)據(jù)集包含多組訓(xùn)練樣本,每組訓(xùn)練樣本是根據(jù)一次皮膚病問診對話提取而成,每組訓(xùn)練樣本包括多輪次訓(xùn)練數(shù)據(jù),每輪次輸入數(shù)據(jù)包括一張患處圖片和一個問診問題;且不同組訓(xùn)練樣本的多個輪次訓(xùn)練數(shù)據(jù)作為一類訓(xùn)練數(shù)據(jù),每類訓(xùn)練數(shù)據(jù)具有相同標(biāo)簽,且每類訓(xùn)練數(shù)據(jù)中的距離其他問題最近的問診問題作為對應(yīng)標(biāo)簽的標(biāo)準(zhǔn)問診問題;將所述訓(xùn)練數(shù)據(jù)集輸入所述皮膚病問診問題的推薦初始模型進(jìn)行訓(xùn)練,得到皮膚病問診問題的推薦模型。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述構(gòu)建訓(xùn)練數(shù)據(jù)集,包括:對于一次皮膚病問診對話,對述皮膚病問診對話進(jìn)行圖文分離,得到至少一張患處圖片和多段醫(yī)患問答文本;對各各段醫(yī)患問答文本進(jìn)行過濾,得到多個問診問題;將所述患者圖片與得到的每個問診問題分別組合,得到多輪次訓(xùn)練數(shù)據(jù);對得到的多個問診問題進(jìn)行聚類,得到多類問診問題;基于距離最近原則,從各類問診問題中選取一個問診問題作為對應(yīng)標(biāo)簽的標(biāo)準(zhǔn)問診問題;對獲取的多次皮膚病問診對話進(jìn)行處理,得到所述訓(xùn)練數(shù)據(jù)集。4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述將所述訓(xùn)練數(shù)據(jù)集輸入所述皮膚病問診問題的推薦初始模型進(jìn)行訓(xùn)練,包括:對于一組訓(xùn)練樣本,依次將每組訓(xùn)練樣本的多輪次訓(xùn)練數(shù)據(jù)輸入所述皮膚病問診問題推薦初始模型中;各輪次訓(xùn)練數(shù)據(jù)中的患處圖像進(jìn)入所述圖像分類子模型,以及問診問題進(jìn)入所述語言表達(dá)子模型,將所述圖像分類子模型的輸出作為圖像輸出向量,將所述語言表達(dá)子模型的輸出作為文本輸出向量;
將所述圖像輸出向量和所述文本輸出向量進(jìn)行融合,得到融合向量;使所述融合向量進(jìn)入所述問診問題分類子模型,以對推薦問診問題的標(biāo)簽的概率值進(jìn)行預(yù)測;根據(jù)得到的預(yù)測結(jié)果,更新所述皮膚病問診問題推薦初始模型的參數(shù)。5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述將所述圖像輸出向量和所述文本輸出向量進(jìn)行融合,得到融合向量,包括:若所述圖像輸出向量和所述文本輸出向量為一維向量;則將所述文本輸出向量的各元素按照原始順序放置到所述圖像輸出向量的最后一個元素之后,得到融合向量;若所述圖像輸出向量和所述文本輸出向量為矩陣;則根據(jù)指定拼接形式,將所述文本輸出向量的各元素按照原始順序放置到所述圖像輸出向量之后的相應(yīng)位置上,得到融合向量。6.根據(jù)權(quán)利要求1~5中任一項所述的方法在線問診系統(tǒng),其特征在于,所述圖像分類子模型為模型,所述語言表達(dá)子模型為bert模型,所述問診問題分類子模型為mlp模型。7.一種皮膚病在線問診裝置,其特征在于,所述裝置包括:獲取單元:用于獲取預(yù)測樣本,所述預(yù)測樣本包括患處圖像和/或歷史問診問題;其中,所述患處圖像為當(dāng)前輪次之前從從醫(yī)生終端接收的,所述歷史問診問題為上一輪次從醫(yī)生終端接收的;向量化單元:用于對所述患處圖像和/或所述歷史問診問題進(jìn)行向量化,得到圖像輸入向量和/或文本輸入向量;預(yù)測單元:用于將所述圖像輸入向量和/或所述文本輸入向量對應(yīng)輸入到訓(xùn)練好的皮膚病問診問題推薦模型中進(jìn)行預(yù)測,得到多個待選問題,并推薦至所述醫(yī)生終端,以使醫(yī)生可從所述多個待選問題中選擇一個作為本輪次問診問題;循環(huán)單元:用于依次循環(huán)執(zhí)行所述獲取步驟、所述向量化步驟、所述融合步驟和所述預(yù)測步驟多次,直到問診結(jié)束。