大家晚上好，我今天介紹的是市場報價策略方面的學習算法的研究，具體圍繞基于學習算法的改進RE學習算法和EWA算法，希望能給大家啟示。市場博弈研究有三大類算法，一種是強化學習算法，另外一種是訓(xùn)練學習，第三種就是EWA算法。下面我們來看仿真結(jié)果。

現(xiàn)實供大于求情況下，仿真可以看到價的收斂快慢，就是市場達到均衡，或決策達到成熟狀態(tài)所需要的時間。購電商的報價策略比較明確，能夠比較快的達到收斂;發(fā)電側(cè)因為供大于求，競爭比較激烈，收斂速度較慢。

第二個點，關(guān)注發(fā)電商市場份額與利潤關(guān)系，有一些直觀的結(jié)論也是符合大家常識的：份額越大，利潤能夠維持較高水平，但小的發(fā)電商利潤水平較低，生存比較難。

我們看出兩種算法在同一環(huán)境下表現(xiàn)差異比較大，通過幾種指標反映：發(fā)電商、購電商加權(quán)平均報價，市場出清價的變化。市場中市場主體采用的學習算法對市場整體表現(xiàn)有影響，都采用同一種策略或只有其中幾個是不一樣的。算法特性方面有區(qū)別，EWA算法更精細，決策更新多了訓(xùn)練學習的思想，可以增強市場代理的智能性。

出清價受供需比影響較大，隨著供需比增大，出清價格下降，但下降到什么程度，是不是合理的，有沒有達到市場均衡，這個是一個很重要的點。

也就是說策略算法能否達到市場最優(yōu)是關(guān)鍵。我們發(fā)現(xiàn)RE算法經(jīng)常達到局部最優(yōu)原因可能是其中的隨機因素，無先驗信息時受隨機數(shù)影響較大;EWA學習算法會考慮過去市場報價與收益，更可能達到全局最優(yōu)。

現(xiàn)場討論

提問：發(fā)電廠獲益和發(fā)電商哪些因素有關(guān)?用競價算法的好處是什么?

發(fā)言人：我認為與機組類型、成本有關(guān)。

專家J：這個問題看似研究學習算法，實際上對電力市場中的一些博弈、均衡問題有很多啟示。EWA和MRE兩種學習算法可以代表市場中的兩類發(fā)電集團：由于EWA相對MRE是更先進的學習算法，可以代表市場中對市場有更深刻認識、有更強的技術(shù)實力的公司。EWA方法下收斂的更慢，但價格更低，更接近真正的市場均衡點。這說明，如果大家經(jīng)過學習都對市場和策略很了解了，采用了更先進的報價策略，競爭更加激烈，收斂更慢，整體價格反而下降了。但是如果大家都不懂這個市場，可能很快就收斂了，但距離真正的均衡點還比較遠，不是一個全局最優(yōu)解。這個給我們的另外一個啟示是，設(shè)計規(guī)則時要盡量簡單，讓大家都懂。如果都不懂，就像大家都用MRE算法，收斂不穩(wěn)定(市場受隨機因素影響大)，容易被少數(shù)市場主體控制，價格偏高。

提問：剛才提到優(yōu)化的問題，目的是什么?

專家J：這不是像線性規(guī)劃那樣的數(shù)學優(yōu)化，而是同學智能的強化學習算法，幫市場主體找到最優(yōu)策略。簡單的說，就是給很多策略，如果采用某個策略獲利較大，就給他的權(quán)重增加，反之減少。