自然語言處理領域中差分隱私和可解釋技術的應用

定　價：￥88.00

作　者：	陳珂銳
出版社：	經(jīng)濟管理出版社
叢編項：
標　簽：	暫缺

ISBN：	9787509693018	出版時間：	2023-09-01	包裝：	平裝
開本：	16開	頁數(shù)：	191	字數(shù)：

內容簡介

　　自然語言處理技術經(jīng)歷了小規(guī)模專家知識（20世紀50年代-90年代）、大規(guī)模語料庫統(tǒng)計模型（20世紀90年代至21世紀初）、大規(guī)模語料庫深度學習（2010-2017年）和大規(guī)模預訓練語言模型（2018年至今）四個階段。預訓練模型的研究和應用是從2013年開始的，標志性事件是2018年10月谷歌的Bert模型的出現(xiàn)，顛覆了NLP領域的研究范式，多數(shù)的NLP任務都轉換成在預訓練語言模型上的學習，然后在下游任務中使用微調的模式。特別是2023年初OpenAl公司的ChatGPT的火爆問世，ChatGPT的API已于2023年3月1日公開，而其背后的大規(guī)模語言模型的公開，必將導致包含隱私敏感數(shù)據(jù)訓練的模型被提取出訓練數(shù)據(jù)中的隱私敏感信息。差分隱私技術和可解釋性技術可以有效地解決隱私數(shù)據(jù)泄露和模型不透明的問題。本書先介紹了自然語言和差分隱私的理論基礎，論述當前自然語言模型所面臨的隱私攻擊類型，在此基礎之上根據(jù)文本處理粒度和擾動位置的不同，分別介紹單詞層級的差分隱私、Token層級的差分隱私、句子層級的差分隱私、主題層級的差分隱私和基于梯度擾動的差分隱私。論述自然語言處理模型中相關的可解釋性技術。該書研究成果廣泛適用于多種交叉學科，如社交網(wǎng)絡、情感分析、聊天機器人、城市交通、金融風控等領域，從而發(fā)揮巨大的研究意義和經(jīng)濟價值。

作者簡介

暫缺《自然語言處理領域中差分隱私和可解釋技術的應用》作者簡介

圖書目錄

1.導論
1.1 小規(guī)模專家知識階段
1.2 大規(guī)模語料庫統(tǒng)計模型階段
1.3 大規(guī)模語料庫深度學習階段
1.4 大規(guī)模預訓練語言模型階段
2.自然語言處理基礎
2.1 文本表示
2.2 自然語言處理任務
2.3 評價指標
3.預訓練模型
3.1 靜態(tài)詞向量預訓練模型
3.2 動態(tài)詞向量預訓練模型
3.3 預訓練語言模型
4.自然語言處理中的神經(jīng)網(wǎng)絡
4.1 多層感知機
4.2 卷積神經(jīng)網(wǎng)絡
4.3 循環(huán)神經(jīng)網(wǎng)絡
4.4 注意力機制
4.5 Transformer模型
4.6 提示學習Prompt Learning
5.差分隱私相關基礎
5.1 中心化差分隱私
5.2 本地差分隱私
5.3 度量差分隱私
5.4 UMLDP (Utility-optimized MLDP)
5.5 噪聲機制
6.攻擊類型
6.1 成員推理攻擊
6.2 重建攻擊
6.3 屬性推理攻擊
6.4 模型抽取攻擊
6.5 梯度信息攻擊
6.6 基于提示信息攻擊
7.基于單詞層級的差分隱私方法
7.1 中心化差分隱私場景下
7.2 本地化差分隱私場景下
7.3 度量差分隱私場景下
8.基于Token層級的差分隱私方法
8.1 SANTEXT和SANTEXT+
8.2 基于Bett系列的差分隱私方法
9.基于句子層級的差分隱私方法
9.1 Skip-Thoughts向量
9.2 Sent2Vec
9.3 Doc2Vec
9.4 SBERT
9.5 模糊詞袋方法Fuzzy Bag-of-Words
9.6 其他方法
9.7 句子層級差分隱私方法框架
10.基于主題層級的差分隱私方法
1O.1 LDA方法