策略梯度作為一種能有效解決連續(xù)空間決策問題的方法被廣泛研究．然而，由于在策略估計(jì)過程中存在較大的方差，因此基于策略梯度的方法往往受到樣本利用率低、收斂速度幔等限制．針對該問題。提出了真實(shí)在線增量式自然梯度行動者一評論家算法（TOINAC）.TOINAC算法采用優(yōu)于傳統(tǒng)梯度的自然梯度，在真實(shí)在線時(shí)間差分（TOTD）算法的基礎(chǔ)上。提出了一種新型的向前觀點(diǎn)，改進(jìn)了自然梯度行動者一評論家算法．在評論家部分，利用TOTD算法高效性的特點(diǎn)來估計(jì)值函數(shù)：在行動者部分。引入一種新的向前觀點(diǎn)來估計(jì)自然梯度。再利用資格跡將自然梯度估計(jì)變?yōu)樵诰€估計(jì)。提高了自然梯度估計(jì)的準(zhǔn)確性和算法的效率．將TOINAC算法與核方法以及正態(tài)策略分布結(jié)合，解決連續(xù)空間問題．最后。在平衡桿、Mountain Car、以及Acrobot等連續(xù)問題上進(jìn)行了仿真實(shí)驗(yàn)。驗(yàn)證算法的有效性．