論文題目

PPTAgent: Generating and Evaluating Presentations Beyond Text-to-Slides

論文鏈接

https://arxiv.org/abs/2501.03936

項(xiàng)目倉(cāng)庫(kù)

https://github.com/icip-cas/PPTAgent

演示視頻

在數(shù)字化時(shí)代，演示文稿（PPT）作為信息傳遞的重要媒介，其自動(dòng)化生成需求愈發(fā)迫切。然而，一份優(yōu)秀的演示文稿不僅需要引人入勝的故事線，還需要抓人眼球的視覺(jué)效果和內(nèi)容的有效組織，這對(duì)創(chuàng)作者提出了極高的要求。針對(duì)這一挑戰(zhàn)，中國(guó)科學(xué)院軟件研究所中文信息處理實(shí)驗(yàn)室提出了一種突破性的演示文稿自動(dòng)生成框架 PPTAgent。

不同于傳統(tǒng)的端到端生成方法，PPTAgent 借鑒了人類創(chuàng)作 PPT 的過(guò)程，采用基于編輯的工作流程。正如經(jīng)驗(yàn)豐富的演講者往往會(huì)參考優(yōu)秀的演示文稿來(lái)優(yōu)化自己的作品，PPTAgent 也通過(guò)分析和編輯參考演示文稿來(lái)生成新的內(nèi)容。

PPTAgent 設(shè)計(jì)的框架包含兩個(gè)關(guān)鍵階段：首先是“演示文稿分析”階段，系統(tǒng)會(huì)深入分析作為參考的演示文稿，提取每張幻燈片的語(yǔ)義信息。隨后在“演示文稿生成”階段，系統(tǒng)首先會(huì)基于文檔內(nèi)容生成詳細(xì)的演示大綱，并為每張幻燈片分配合適的參考模板及相關(guān)文檔段落。對(duì)于待生成的每張幻燈片，PPTAgent 能夠根據(jù)輸入內(nèi)容自動(dòng)調(diào)整幻燈片參考模板中的文本和視覺(jué)元素，通過(guò)生成的代碼指令來(lái)完成元素的創(chuàng)建、編輯和刪除等操作。通過(guò)這種方式，PPTAgent 不僅確保了生成內(nèi)容的連貫性，還保持了視覺(jué)設(shè)計(jì)的美觀度。

同時(shí)，我們還提出了首個(gè)全面的演示文稿評(píng)估框架 PPTEval，從內(nèi)容、設(shè)計(jì)和結(jié)構(gòu)連貫性三個(gè)維度評(píng)估演示文稿的質(zhì)量，為自動(dòng)化生成技術(shù)的改進(jìn)提供了細(xì)粒度的反饋。實(shí)驗(yàn)結(jié)果表明，PPTAgent 能夠生成高質(zhì)量的演示文稿，在 PPTEval 的評(píng)估中取得了 3.67 的平均得分，并在來(lái)自不同領(lǐng)域的實(shí)驗(yàn)數(shù)據(jù)上展現(xiàn)出了 97.8%的任務(wù)成功率。

PPTAgent

階段一：演示文稿分析 在這個(gè)階段，PPTAgent 首先對(duì)參考演示文稿進(jìn)行全面分析以提取其中包含的語(yǔ)義信息。具體來(lái)說(shuō)：

根據(jù)功能將幻燈片分為兩大類：支持演示結(jié)構(gòu)的幻燈片（如開場(chǎng)頁(yè)）和傳遞具體內(nèi)容的幻燈片（如要點(diǎn)頁(yè)）。針對(duì)不同類型，PPTAgent 采用基于圖片相似度或大語(yǔ)言模型的方法對(duì)參考演示文稿中的幻燈片進(jìn)行聚類，并利用大語(yǔ)言模型的上下文感知能力對(duì)該頁(yè)的功能進(jìn)行描述。

考慮到現(xiàn)實(shí)世界中幻燈片內(nèi)容的復(fù)雜性和碎片性，我們利用大語(yǔ)言模型進(jìn)一步地提取幻燈片的內(nèi)容模式（schema），包括幻燈片元素的類別、形式和具體內(nèi)容。這些信息為后續(xù)的編輯過(guò)程提供了重要指導(dǎo)。

階段二：演示文稿生成

在生成階段，我們采用了基于編輯的生成范式，具體流程包括：

首先根據(jù)上一階段分析得到的幻燈片語(yǔ)義信息和輸入文檔生成結(jié)構(gòu)化大綱，為新演示文稿中的每張幻燈片指定參考模板和輸入文檔中的相關(guān)內(nèi)容。

基于我們?cè)O(shè)計(jì)的 API 接口，生成可執(zhí)行的代碼指令來(lái)對(duì)幻燈片中的元素進(jìn)行編輯修改。此外，我們還引入了實(shí)時(shí)的錯(cuò)誤反饋機(jī)制，系統(tǒng)能夠根據(jù)執(zhí)行過(guò)程中的錯(cuò)誤反饋進(jìn)行自我糾正，顯著提高了生成的穩(wěn)定性。

PPTEval：基于 LLM-as-a-Judge 范式的幻燈片質(zhì)量評(píng)估

此外，為了能夠有效和全面地評(píng)估生成幻燈片的質(zhì)量，我們還開發(fā)了 PPTEval 評(píng)估框架，利用大語(yǔ)言模型來(lái)從三個(gè)維度對(duì)演示文稿進(jìn)行全面評(píng)估：

內(nèi)容（Content）：評(píng)估幻燈片中文本和圖像的相關(guān)度、文本內(nèi)容信息量和質(zhì)量，確保傳達(dá)的信息簡(jiǎn)潔、準(zhǔn)確且具備實(shí)用性。

設(shè)計(jì)（Design）：關(guān)注幻燈片的色彩搭配、視覺(jué)元素的使用和整體設(shè)計(jì)的專業(yè)性，確保視覺(jué)呈現(xiàn)和內(nèi)容相輔相成。

連貫性（Coherence）：評(píng)估幻燈片的邏輯結(jié)構(gòu)和上下文信息的完整性，確保內(nèi)容流暢且符合邏輯，觀眾易于理解。

實(shí)驗(yàn)

數(shù)據(jù)集

為了全面評(píng)估 PPTAgent 的性能，我們首先構(gòu)建了一個(gè)包含 10,448 份多領(lǐng)域演示文稿的數(shù)據(jù)集 Zenodo10K，這也是目前已知最大的幻燈片數(shù)據(jù)集。在此基礎(chǔ)上，我們?cè)谌齻€(gè)常用的大語(yǔ)言模型：GPT-4o、Qwen2.5-72B（Qwen2.5）和 Qwen2-VL-72B（Qwen2-VL）上進(jìn)行了實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果

超高的生成成功率：PPTAgent 展現(xiàn)出卓越的魯棒性，使用 GPT-4o 或 Qwen2.5+Qwen2-VL 組合時(shí)，均實(shí)現(xiàn)了超過(guò) 95%的生成成功率。這一成績(jī)遠(yuǎn)超此前模板編輯任務(wù)僅有 10%的成功率。

全方位的質(zhì)量提升：與基線方法相比，PPTAgent 在幻燈片的各個(gè)維度都取得了顯著進(jìn)步：

設(shè)計(jì)維度得分提升 40%（3.24 vs 2.33）

連貫性維度提升 34%（4.39 vs 3.28）

內(nèi)容質(zhì)量提升 9%（3.25 vs 2.98）

開源模型的出色表現(xiàn)：值得一提的是，Qwen2.5 與 Qwen2-VL 的組合有效地克服了 Qwen2-VL 在語(yǔ)言處理方面的局限性，其整體表現(xiàn)也達(dá)到了與 GPT-4o 相當(dāng)?shù)乃剑宫F(xiàn)了開源大模型在專業(yè)領(lǐng)域的應(yīng)用潛力。

評(píng)估結(jié)果的可靠性驗(yàn)證：為確保評(píng)估結(jié)果的可靠性，我們將 PPTEval 的評(píng)估結(jié)果與人工評(píng)估進(jìn)行了一致性分析。分析結(jié)果表明，PPTEval 在三個(gè)維度上的平均皮爾遜相關(guān)系數(shù)為 0.71，顯示其能夠有效地代替人類評(píng)估幻燈片的質(zhì)量。

總結(jié)

通過(guò)這項(xiàng)研究，我們將演示文稿的自動(dòng)生成重新定義為一個(gè)基于編輯的兩階段任務(wù)。PPTAgent 充分利用了大語(yǔ)言模型對(duì)代碼的理解和生成能力，通過(guò)分析參考演示文稿的文本特征和布局模式，有效地組織和生成新的演示文稿。在多個(gè)領(lǐng)域的實(shí)驗(yàn)驗(yàn)證中，PPTAgent 都能夠魯棒地生成高質(zhì)量幻燈片。同時(shí)，我們提出的 PPTEval 評(píng)估框架為演示文稿生成任務(wù)提供了可靠的評(píng)估手段，為該領(lǐng)域的未來(lái)發(fā)展奠定了重要基礎(chǔ)。 這項(xiàng)技術(shù)有望開創(chuàng)一種全新的無(wú)監(jiān)督演示文稿生成范式，為未來(lái)研究提供了新的思路。通過(guò)這項(xiàng)技術(shù)，我們期待能夠幫助更多人高效地創(chuàng)作專業(yè)的演示文稿，讓信息傳遞變得更加便捷。最后，通過(guò)開源的 PPTAgent、PPTEval 和大規(guī)?；脽羝瑪?shù)據(jù)集 Zenodo10K，我們希望能夠推動(dòng)整個(gè)領(lǐng)域的發(fā)展，激發(fā)更多創(chuàng)新性的研究成果。