三星投資比亞迪,傳砸美金5億取得4%股權

中國電動車市場蓬勃,海外投資也躍躍欲試。市場傳出南韓三星電子的中國分公司將參與中國最大的電動車廠商比亞迪(BYD)增資,投資人民幣30億元(約美金5億元)取得比亞迪的4%股權。

《韓國經濟日報》、《日經》等媒體指出,三星電子於7月15日發布消息,指出將投資人民幣30億元取得比亞迪的4%股權。但比亞迪於同日下午否認三星的投資金額。

中國最大電動車廠,比亞迪大發利市

比亞迪以電動車、油電混和車等新能源車產品,於2015年搶下61,772輛的銷售佳績,銷售額達人民幣776億元。在中國,比亞迪亦有30%左右的市占率,且在中央政府持續推動電動車的動能下,比亞迪2016年提出銷量倍增的目標,對零組件的需求也跟著增加。

比亞迪成立於1995年,除電動車事業外,亦有一般汽車、IT產業、新能源產業等相關事業群。目前,比亞迪所使用的車用電池主要皆為自主生產,使比亞迪成為中國目前少數可整合新能源發電、儲能系統、電動車事業的公司之一。

三星積極佈局電動車市場

三星集團對電動車市場的布局行動頻頻。2015年12月,三星電子成立「電裝事業組」,致力於生產次世代汽車零組件,例如:車載半導體、電池、顯示器等。無人駕駛車與聯網汽車也是此事業組的發展方向。

三星表示,本次對比亞迪的投資主要是提高資本業務、零組件供應方面的合作,以搶攻中國正要起飛的電動車市場。但三星也強調不會涉入比亞迪的經營,純屬財務投資。

除了注資比亞迪外,三星旗下的三星SDI也與中國逆變器廠商陽光電源(Sungrow)於合肥投資儲能系統廠,年產能2,000MWh,第一期已於日前投產。此外,三星SDI也曾申請中國工信部的電動車車用電池補助名單,但鎩羽而歸。若要搶攻中國市場,與中國本地企業合作是必須採取的行動。

三星並非第一個入股比亞迪的外資,美國股神巴菲特所擁有的投資公司Berkshire Hathaway曾在2008年取得比亞迪近10%股權,成為一大股東。除此之外,美商蘋果公司在5月12日宣布砸下10億美元投資中國叫車服務公司「滴滴打車」,為三星帶來了中國市場的競爭壓力。

(照片:比亞迪新能源車「元」。來源:)

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包”嚨底家”

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

網絡權重初始化方法總結(下):Lecun、Xavier與He Kaiming

目錄

博客: | |

權重初始化最佳實踐

書接上回,全0、常數、過大、過小的權重初始化都是不好的,那我們需要什麼樣的初始化?

  • 因為對權重\(w\)的大小和正負缺乏先驗,所以應初始化在0附近,但不能為全0或常數,所以要有一定的隨機性,即數學期望\(E(w)=0\)
  • 因為梯度消失和梯度爆炸,權重不易過大或過小,所以要對權重的方差\(Var(w)\)有所控制

  • 深度神經網絡的多層結構中,每個激活層的輸出對後面的層而言都是輸入,所以我們希望不同激活層輸出的方差相同,即\(Var(a^{[l]})=Var(a^{[l-1]})\),這也就意味不同激活層輸入的方差相同,即\(Var(z^{[l]})=Var(z^{[l-1]})\)
  • 如果忽略激活函數,前向傳播和反向傳播可以看成是權重矩陣(轉置)的連續相乘。數值太大,前向時可能陷入飽和區,反向時可能梯度爆炸,數值太小,反向時可能梯度消失。所以初始化時,權重的數值範圍(方差)應考慮到前向和後向兩個過程

權重的隨機初始化過程可以看成是從某個概率分佈隨機採樣的過程,常用的分佈有高斯分佈、均勻分佈等,對權重期望和方差的控制可轉化為概率分佈的參數控制,權重初始化問題也就變成了概率分佈的參數設置問題

在上回中,我們知道反向傳播過程同時受到權重矩陣和激活函數的影響,那麼,在激活函數不同以及每層超參數配置不同(輸入輸出數量)的情況下,權重初始化該做怎樣的適配?這裏,將各家的研究成果匯總如下,

其中,扇入\(fan\_in\)和扇出\(fan\_out\)分別為當前全連接層的輸入和輸出數量,更準確地說,1個輸出神經元與\(fan\_in\)個輸入神經元有連接(the number of connections feeding into the node),1個輸入神經元與\(fan\_out\)個輸出神經元有連接(the number of connections flowing out of the node),如下圖所示(來自),

對於卷積層而言,其權重為\(n\)\(c\times h \times w\)大小的卷積核,則一個輸出神經元與\(c\times h \times w\)個輸入神經元有連接,即\(fan\_in = c\times h \times w\),一個輸入神經元與\(n\times h \times w\)個輸出神經元有連接,即\(fan\_out=n\times h \times w\)

期望與方差的相關性質

接下來,首先回顧一下期望與方差計算的相關性質。

對於隨機變量\(X\),其方差可通過下式計算,
\[ Var(X) = E(X^2) – (E(X))^2 \]
若兩個隨機變量\(X\)\(Y\),它們相互獨立,則其協方差為0,
\[ Cov(X, Y) = 0 \]
進一步可得\(E(XY)=E(X)E(Y)\),推導如下,
\[ \begin{align} Cov(X, Y) &= E((X-E(X))(Y-E(Y))) \\ &= E(XY)-E(X)E(Y) =0 \end{align} \]
兩個獨立隨機變量和的方差,
\[ \begin{aligned} \operatorname{Var}(X+Y) &=E\left((X+Y)^{2}\right)-(E(X+Y))^{2} \\ &=E\left(X^{2}+Y^{2}+2 X Y\right)-(E(X)+E(Y))^{2} \\ &=\left(E\left(X^{2}\right)+E\left(Y^{2}\right)+2 E(X Y)\right)-\left((E(X))^{2}+(E(Y))^{2}+2 E(X) E(Y)\right) \\ &=\left(E\left(X^{2}\right)+E\left(Y^{2}\right)+2 E(X) E(Y)\right)-\left((E(X))^{2}+(E(Y))^{2}+2 E(X) E(Y)\right) \\ &=E\left(X^{2}\right)-(E(X))^{2}+E\left(Y^{2}\right)-(E(Y))^{2} \\ &=\operatorname{Var}(X)+\operatorname{Var}(Y) \end{aligned} \]
兩個獨立隨機變量積的方差,
\[ \begin{aligned} \operatorname{Var}(X Y) &=E\left((X Y)^{2}\right)-(E(X Y))^{2} \\ &=E\left(X^{2}\right) E\left(Y^{2}\right)-(E(X) E(Y))^{2} \\ &=\left(\operatorname{Var}(X)+(E(X))^{2}\right)\left(\operatorname{Var}(Y)+(E(Y))^{2}\right)-(E(X))^{2}(E(Y))^{2} \\ &=\operatorname{Var}(X) \operatorname{Var}(Y)+(E(X))^{2} \operatorname{Var}(Y)+\operatorname{Var}(X)(E(Y))^{2} \end{aligned} \]

全連接層方差分析

對線性組合層+非線性激活層,計算如下所示,其中\(z_i^{[l-1]}\)\(l-1\)層第\(i\)個激活函數的輸入,\(a_i^{[l-1]}\)為其輸出,\(w_{ij}^{[l]}\)為第\(l\)層第\(i\)個輸出神經元與第\(j\)個輸入神經元連接的權重,\(b^{[l]}\)為偏置,計算方式如下
\[ \begin{align}a_i^{[l-1]} &= f(z_i^{[l-1]}) \\z_i^{[l]} &= \sum_{j=1}^{fan\_in} w_{ij}^{[l]} \ a_j^{[l-1]}+b^{[l]} \\a_i^{[l]} &= f(z_i^{[l]})\end{align} \]
在初始化階段,將每個權重以及每個輸入視為隨機變量,可做如下假設和推斷,

  • 網絡輸入的每個元素\(x_1,x_2,\dots\)獨立同分佈
  • 每層的權重隨機初始化,同層的權重\(w_{i1}, w_{i2}, \dots\)獨立同分佈,且期望\(E(w)=0\)
  • 每層的權重\(w\)和輸入\(a\)隨機初始化且相互獨立,所以兩者之積構成的隨機變量\(w_{i1}a_1, w_{i2}a_2, \dots\)亦相互獨立,且同分佈;
  • 根據上面的計算公式,同層的\(z_1, z_2, \dots\)獨立同分佈,同層的\(a_1, a_2, \dots\)也為獨立同分佈

需要注意的是,上面獨立同分佈的假設僅在初始化階段成立,當網絡開始訓練,根據反向傳播公式,權重更新后不再相互獨立。

在初始化階段,輸入\(a\)與輸出\(z\)方差間的關係如下,令\(b=0\)
\[ \begin{align} Var(z) &=Var(\sum_{j=1}^{fan\_in} w_{ij} \ a_j) \\ &= fan\_in \times (Var(wa)) \\ &= fan\_in \times (Var(w) \ Var(a) + E(w)^2 Var(a) + Var(w) E(a)^2) \\ &= fan\_in \times (Var(w) \ Var(a) + Var(w) E(a)^2) \end{align} \]

tanh下的初始化方法

若激活函數為線性恆等映射,即\(f(x)=x\),則\(a = z\),自然\(E(a)=E(z)\)\(Var(a) = Var(z)\)

因為網絡輸入的期望\(E(x)=0\),每層權重的期望\(E(w) = 0\),在前面相互獨立的假設下,根據公式\(E(XY)=E(X)E(Y)\),可知\(E(a)=E(z)=\sum E(wa)=\sum E(w)E(a)=0\)。由此可得,
\[ Var(a^{[l]}) = Var(z^{[l]}) = fan\_in \times Var(w) \times Var(a^{[l-1]}) \]
更進一步地,令\(n^{[l]}\)為第\(l\)層的輸出數量(\(fan\_out\)),則第\(l\)層的輸入數量($fan_in \()即前一層的輸出數量為\)n^{[l-1]}\(。第\)L$層輸出的方差為
\[ \begin{align} Var(a^{L}) = Var(z^{[L]}) &= n^{[L-1]} Var(w^{[L]}) Var(a^{[L-1]}) \\ &=\left[\prod_{l=1}^{L} n^{[l-1]} Var(w^{[l]})\right] {Var}(x) \end{align} \]
反向傳播時,需要將上式中的\(n^{[l-1]}\)替換為\(n^{[l]}\)(即\(fan\_in\)替換為\(fan\_out\)),同時將\(x\)替換為損失函數對網絡輸出的偏導。

所以,經過\(t\)層,前向傳播和反向傳播的方差,將分別放大或縮小
\[ \prod^{t} n^{[l-1]} Var(w^{[l]}) \\ \prod^{t} n^{[l]} Var(w^{[l]}) \]
為了避免梯度消失和梯度爆炸,最好保持這個係數為1。

需要注意的是,上面的結論是在激活函數為恆等映射的條件下得出的,而tanh激活函數在0附近可近似為恆等映射,即$tanh(x) \approx x $。

Lecun 1998

Lecun 1998年的paper ,在輸入Standardization以及採用tanh激活函數的情況下,令\(n^{[l-1]}Var(w^{[l]})=1\),即在初始化階段讓前向傳播過程每層方差保持不變,權重從如下高斯分佈採樣,其中第\(l\)層的\(fan\_in = n^{[l-1]}\)
\[ W \sim N(0, \frac{1}{fan\_in}) \]

Xavier 2010

在paper 中,Xavier和Bengio同時考慮了前向過程和反向過程,使用\(fan\_in\)\(fan\_out\)的平均數對方差進行歸一化,權重從如下高斯分佈中採樣,
\[ W \sim N(0, \frac{2}{fan\_in + fan\_out}) \]
同時文章中還提及了從均勻分佈中初始化的方法,因為均勻分佈的方差與分佈範圍的關係為
\[ Var(U(-n, n)) = \frac{n^2}{3} \]
若令\(Var(U(-n, n)) = \frac{2}{fan\_in + fan\_out}\),則有
\[ n = \frac{\sqrt{6}}{\sqrt{fan\_in + fan\_out}} \]
即權重也可從如下均勻分佈中採樣,
\[ W \sim U(-\frac{\sqrt{6}}{\sqrt{fan\_in + fan\_out}}, \frac{\sqrt{6}}{\sqrt{fan\_in + fan\_out}}) \]
在使用不同激活函數的情況下,是否使用Xavier初始化方法對test error的影響如下所示,圖例中帶\(N\)的表示使用Xavier初始化方法,Softsign一種為類tanh但是改善了飽和區的激活函數,圖中可以明顯看到tanh 和tanh N在test error上的差異。

論文還有更多訓練過程中的權重和梯度對比圖示,這裏不再貼出,具體可以參見論文。

ReLU/PReLU下的初始化方法

搬運一下上面的公式,
\[ Var(z)= fan\_in \times (Var(w) \ Var(a) + Var(w) E(a)^2) \]
因為激活函數tanh在0附近可近似為恆等映射,所以在初始化階段可以認為\(E(a) = 0\),但是對於ReLU激活函數,其輸出均大於等於0,不存在負數,所以\(E(a) = 0\)的假設不再成立。

但是,我們可以進一步推導得到,
\[ \begin{align} Var(z) &= fan\_in \times (Var(w) \ Var(a) + Var(w) E(a)^2) \\ &= fan\_in \times (Var(w) (E(a^2) – E(a)^2)+Var(w)E(a)^2) \\ &= fan\_in \times Var(w) \times E(a^2) \end{align} \]

He 2015 for ReLU

對於某個具體的層\(l\)則有,
\[ Var(z^{[l]}) = fan\_in \times Var(w^{[l]}) \times E((a^{[l-1]})^2) \]
如果假定\(w{[l-1]}\)來自某個關於原點對稱的分佈,因為\(E(w^{[l-1]}) = 0\),且\(b^{[l-1]} = 0\),則可以認為\(z^{[l-1]}\)分佈的期望為0,且關於原點0對稱。

對於一個關於原點0對稱的分佈,經過ReLU后,僅保留大於0的部分,則有
\[ \begin{align}Var(x) &= \int_{-\infty}^{+\infty}(x-0)^2 p(x) dx \\&= 2 \int_{0}^{+\infty}x^2 p(x) dx \\&= 2 E(\max(0, x)^2)\end{align} \]
所以,上式可進一步得出,
\[ \begin {align}Var(z^{[l]}) &= fan\_in \times Var(w^{[l]}) \times E((a^{[l-1]})^2) \\&= \frac{1}{2} \times fan\_in \times Var(w^{[l]}) \times Var(z^{[l-1]}) \end{align} \]
類似地,需要放縮係數為1,即
\[ \frac{1}{2} \times fan\_in \times Var(w^{[l]}) = 1 \\ Var(w) = \frac{2}{fan\_in} \]
即從前向傳播考慮,每層的權重初始化為
\[ W \sim N(0, \frac{2}{fan\_in}) \]
同理,從後向傳播考慮,每層的權重初始化為
\[ W \sim N(0, \frac{2}{fan\_out}) \]
文中提到,單獨使用上面兩个中的哪一個都可以,因為當網絡結構確定之後,兩者對方差的放縮係數之比為常數,即每層扇入扇出之比的連乘,解釋如下,

使用Xavier和He初始化,在激活函數為ReLU的情況下,test error下降對比如下,22層的網絡,He的初始化下降更快,30層的網絡,Xavier不下降,但是He正常下降。

He 2015 for PReLU

對於PReLU激活函數,負向部分為\(f(x) = ax\),如下右所示,

對於PReLU,求取\(E((a^{[l-1]})^2)\)可對正向和負向部分分別積分,不難得出,
\[ \frac{1}{2} (1 + a^2) \times fan\_in \times Var(w^{[l]}) = 1 \\Var(w) = \frac{2}{(1 + a^2) fan\_in} \\W \sim N(0, \frac{2}{(1 + a^2) fan\_in}) \\W \sim N(0, \frac{2}{(1 + a^2) fan\_out}) \]

caffe中的實現

儘管He在paper中說單獨使用\(fan\_in\)\(fan\_out\)哪個都可以,但是,在Caffe的實現中,還是提供了兩者平均值的方式,如下所示,當然默認是使用\(fan\_in\)

小結

至此,對深度神經網絡權重初始化方法的介紹已告一段落。雖然因為BN層的提出,權重初始化可能已不再那麼緊要。但是,對經典權重初始化方法經過一番剖析后,相信對神經網絡運行機制的理解也會更加深刻。

以上。

參考

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包”嚨底家”

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

比亞迪新能源車上海補貼將腰斬 銷量已現大滑坡

兩個月前,比亞迪在上海失去了兩萬元(人民幣,下同)地方補貼,兩個月後,又將失去5000元補貼,仍然在手的只剩5000元, 昨(25)天,比亞迪確認,已經接到上海有關部門的通知,比亞迪新能源汽車在滬補貼將減半,並將成為受補貼「按量退坡」影響的首家新能源汽車企業。  
 
銷量沖4萬,福兮禍兮   在上海收穫了4萬的銷量,對於比亞迪來說,是福,也是禍。   上海市新能源汽車推進辦透露,2014年以來,比亞迪品牌新能源乘用車在上海累計銷量距離4萬輛僅一步之遙。按照相關政策,如累計銷量達到4萬輛以上,上海市地方補貼將降至每輛5000元,較目前減半。部分消費者因擔心比亞迪新能源汽車實際購車價提高而轉向享受更高補貼的其他品牌新能源汽車。  
公司是否貼補看市場反應   從6月份開始,比亞迪為了挽救主力車型「秦」在上海市場的銷量,採取廠家和經銷商聯合補貼1.4萬元,以補齊無法拿到政府1.4萬元額外補貼的差價。不過,比亞迪6月初的補貼政策7月底即將到期,到期後,比亞迪是否會出臺力度更大的補貼,挽回價格上的不利?昨天,比亞迪公關部相關人士透露,目前還在商討,具體的市場政策要看市場反應。  
今年上海銷量已現大滑坡   上海補貼退坡已導致比亞迪在上海市場一蹶不振。今年以來,比亞迪銷量呈現直線下滑,市場份額也被上汽取代。去年上海的插電混動市場上,比亞迪幾乎是一家獨大,在上海的銷量超越大本營深圳。而今年4月以後,隨著上海插電式混動汽車准入技術門檻的提高,比亞迪的表現疲軟。   上海的疲態拖累比亞迪「秦」全國銷量大跌,今年上半年“秦”僅賣出9404輛,不足萬輛的成績相較其去年同期的1.6萬輛,同比大跌42.9%。另一款新能源車型「秦」EV也只賣出1725輛。 

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

全球電動車市場加溫 鋰電池原料價格飆漲

1{icon} {views}

根據 《日本經濟新聞》 的報導,由於全世界快速發展環保電動車產業的緣故,使得電動車中重要的零組件-鋰電池,其主要的元素稀有金屬 「鋰」,1 年來的國際價格急劇上漲,僅短短1 年的時間,「鋰」 的價格就暴漲3 倍。不但,使得全球主要供應商開啟新產線,以滿足市場的需求之外,預估供給不足的情況也將持續到2019 至2020 年後。

報導中指出,稀有金屬 「鋰」 被廣泛用於生産環保車的充電電池。由於全球性的電動環保車增産,因此針對環保車電池的需求急劇增加。隨著國際 「鋰」 價格的高漲,包括以生產電動環保車電池為主的日本市場,其國內交易價格也呈上漲態勢。

報導中分析,從「鋰」的消費量觀察,中國佔全球市場的40% ,為世界最大需求國。這也使得中國國內的 「鋰」 現貨價格成為國際價格指標之一。這一現貨價格在2016 年初小幅下跌之後就一路大漲,到7 月中旬的價格為1 噸人民幣12.9 萬元左右(折合新台幣約61.43 萬元),達到1 年前價格的3 倍。

至於,中國的 「鋰」 需求量的快速增加,則是反映了中國為了改善日益嚴重的空氣污染,正加快普及純電動汽車 (EV) 和插電式混合動力車 (PHV) 的趨勢。除了消費者購買電動環保車可獲得政府補貼之外,政府還積極推廣搭載鋰電池公共汽車,這使得中國車載電池需要的 「鋰」 採購量因此大幅增加。

而除了中國之外,美國電動車廠商特斯拉 (TESLA) 的需求成長,也是 「鋰」 價格高漲的原因之一。日前,TESLA 預定於2017 年供貨的 「Model3」 電動車預售熱絡,造成鋰電池供應不足的情況。目前,為TESLA 供應車載電池的松下 (Panasonic) ,日前決定提前啟動與TESLA 在美國設立的車載電池工廠生産,計劃在2016 年底前啟動量産。

目前,「鋰」 供不應求的狀況,也使得 「鋰」 的主要供應商智利的SQM 、美國FMC 、美國雅保化工 (Albemarle) ,以及一部分中國企業開始計劃今後在北美和澳大利亞等地新設生産線。不過,即使如此,仍有不少業界人士認為,供給不足的狀況也將持續到2019 至2020 年。

根據統計,2015 年全球的「鋰」(以碳酸鋰來換算)總需求為17 萬噸。其中,鋰電池的生產需求6 萬噸。預計到2020 年時,全球總需求將提高至28 萬噸,而針對鋰電池的生產需求,將增加到16.5 萬噸。

根據日本獨立行政法人 「石油天然氣金屬礦物資源機構」(JOGMEC) 統計,在電池成本中,「鋰」 僅佔不到10% 。因此,對最終産品價格的影響有限。在日本國內,目前鋰電池的主要材料廠商尚未能徹底將原料價格的上漲轉嫁到産品價格中。不過,除鋰電池以外的工業用途,「鋰」 目前也正陷入短缺的情況。未來的價格波動,恐將在所難免。

(本文授權轉載自《》──〈〉)

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

電動車供應鏈需求強,台達電、貿聯-KY忙翻

美國電動車廠商特斯拉(Tesla)、德國BMW接連提高電動車零組件的訂單,使中上游供應鏈廠商忙著接單。台灣台達電、貿聯-KY等特斯拉供貨廠商表示接單狀況良好,而台達電也透露可望與BMW達成供貨合約。

《經濟日報》報導,各國積極發展電動車,帶動了電動車產業鏈的興盛。台達電已通過歐、美、日、中等地的電動車認證標準,目前已有歐美合作廠商,未來在電動車業界的發展可期。由於台達電將於第三季起出貨北美油電混和車所需的零組件,因此台達電第三季的獲利十分看好。

在與特斯拉的合作方面,台達電一直都是Model S、Model X的電力控制系統、電池管理系統的供應商。針對特斯拉所提高的訂單需求,據了解,特斯拉已要求台達電備妥目前三至五倍的產能。另一家台系上游廠商貿聯-KY也接訂單忙翻天。

而在與BMW的合作方面,BMW將在泰國投資20億泰銖興建電動車用電池工廠,最快在2017年中動工。報導指出,台達電已與BMW達成共識,未來將為BMW供應電源控制系統,主要市場為東協。

台達電董事長海英俊曾於法說會上表示,汽車產業對台達電而言十分重要,也看好未來汽車相關應用的發展。

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

[ch02-00] 反向傳播與梯度下降的通俗解釋

1{icon} {views}

系列博客,原文在筆者所維護的github上:,
點擊star加星不要吝嗇,星越多筆者越努力。

第2章 神經網絡中的三個基本概念

2.0 通俗地理解三大概念

這三大概念是:反向傳播,梯度下降,損失函數。

神經網絡訓練的最基本的思想就是:先“猜”一個結果,我們叫預測結果a,看看這個預測結果和事先標記好的訓練集中的真實結果y之間的差距,然後調整策略,再試一次,這一次就不是“猜”了,而是有依據地向正確的方向靠近。如此反覆多次,一直到預測結果和真實結果之間相差無幾,亦即|a-y|->0,就結束訓練。

在神經網絡訓練中,我們把“猜”叫做初始化,可以隨機,也可以根據以前的經驗給定初始值。即使是“猜”,也是有技術含量的。

這三個概念是前後緊密相連的,講到一個,肯定會牽涉到另外一個。但由於損失函數篇幅較大,我們將在下一章中再詳細介紹。

下面我們舉幾個例子來直觀的說明下這三個概念。

2.0.1 例一:猜數

甲乙兩個人玩兒猜數的遊戲,数字的範圍是[1,50]:

甲:我猜5

乙:太小了

甲:50

乙:有點兒大

甲:30

乙:小了

……

在這個遊戲里:

  • 目的:猜到乙心中的数字;
  • 初始化:甲猜5;
  • 前向計算:甲每次猜的新数字;
  • 損失函數:乙在根據甲猜的數來和自己心中想的數做比較,得出“大了”或“小了”的結論;
  • 反向傳播:乙告訴甲“小了”、“大了”;
  • 梯度下降:甲根據乙的反饋中的含義自行調整下一輪的猜測值。

這裏的損失函數是什麼呢?就是“太小了”,“有點兒大”,很不精確!這個“所謂的”損失函數給出了兩個信息:

  1. 方向:大了或小了
  2. 程度:“太”,“有點兒”,但是很模糊

2.0.2 例二:黑盒子

假設有一個黑盒子如圖2-1。

圖2-1 黑盒子

我們只能看到輸入和輸出的數值,看不到裏面的樣子,當輸入1時,輸出2.334,然後黑盒子有個信息显示:我需要輸出值是4。然後我們試了試輸入2,結果輸出5.332,一下子比4大了很多。那麼我們第一次的損失值是\(2.334-4=-1.666\),而二次的損失值是\(5.332-4=1.332\)

這裏,我們的損失函數就是一個簡單的減法,用實際值減去目標值,但是它可以告訴你兩個信息:1)方向,是大了還是小了;2)差值,是0.1還是1.1。這樣就給了我們下一次猜的依據。

  • 目的:猜到一個輸入值,使得黑盒子的輸出是4
  • 初始化:輸入1
  • 前向計算:黑盒子內部的數學邏輯
  • 損失函數:在輸出端,用輸出值減4
  • 反向傳播:告訴猜數的人差值,包括正負號和值
  • 梯度下降:在輸入端,根據正負號和值,確定下一次的猜測值,goto前向計算

2.0.3 例三:打靶

小明拿了一支步槍,射擊100米外的靶子。這支步槍沒有準星,或者是準星有問題,或者是小明眼神兒不好看不清靶子,或者是霧很大,或者風很大,或者由於木星的影響而側向引力場異常……反正就是遇到各種干擾因素。

第一次試槍后,拉回靶子一看,彈着點偏左了,於是在第二次試槍時,小明就會有意識地向右側偏幾毫米,再看靶子上的彈着點,如此反覆幾次,小明就會掌握這支步槍的脾氣了。圖2-2显示了小明的5次試槍過程。

圖2-2 打靶的彈着點記錄

在有監督的學習中,需要衡量神經網絡輸出和所預期的輸出之間的差異大小。這種誤差函數需要能夠反映出當前網絡輸出和實際結果之間一種量化之後的不一致程度,也就是說函數值越大,反映出模型預測的結果越不準確。

這個例子中,小明預期的目標是全部命中靶子的中心,最外圈是1分,之後越向靶子中心分數是2,3,4分,正中靶心可以得10分。

  • 每次試槍彈着點和靶心之間的差距就叫做誤差,可以用一個誤差函數來表示,比如差距的絕對值,如圖中的紅色線。
  • 一共試槍5次,就是迭代/訓練了5次的過程 。
  • 每次試槍后,把靶子拉回來看彈着點,然後調整下一次的射擊角度的過程,叫做反向傳播。注意,把靶子拉回來看和跑到靶子前面去看有本質的區別,後者容易有生命危險,因為還有別的射擊者。一個不恰當的比喻是,在數學概念中,人跑到靶子前面去看,叫做正向微分;把靶子拉回來看,叫做反向微分。
  • 每次調整角度的數值和方向,叫做梯度。比如向右側調整1毫米,或者向左下方調整2毫米。如圖中的綠色矢量線。

上圖是每次單發點射,所以每次訓練樣本的個數是1。在實際的神經網絡訓練中,通常需要多個樣本,做批量訓練,以避免單個樣本本身採樣時帶來的誤差。在本例中,多個樣本可以描述為連發射擊,假設一次可以連打3發子彈,每次的離散程度都類似,如圖2-3所示。

圖2-3 連發彈着點記錄

  • 如果每次3發子彈連發,這3發子彈的彈着點和靶心之間的差距之和再除以3,叫做損失,可以用損失函數來表示。

那小明每次射擊結果和目標之間的差距是多少呢?在這個例子裏面,用得分來衡量的話,就是說小明得到的反饋結果從差9分,到差8分,到差2分,到差1分,到差0分,這就是用一種量化的結果來表示小明的射擊結果和目標之間差距的方式。也就是誤差函數的作用。因為是一次只有一個樣本,所以這裏採用的是誤差函數的稱呼。如果一次有多個樣本,就要叫做損失函數了。

其實射擊還不這麼簡單,如果是遠距離狙擊,還要考慮空氣阻力和風速,在神經網絡里,空氣阻力和風速可以對應到隱藏層的概念上。

在這個例子中:

  • 目的:打中靶心;
  • 初始化:隨便打一槍,能上靶就行,但是要記住當時的步槍的姿態;
  • 前向計算:讓子彈飛一會兒,擊中靶子;
  • 損失函數:環數,偏離角度;
  • 反向傳播:把靶子拉回來看;
  • 梯度下降:根據本次的偏差,調整步槍的射擊角度,goto前向計算。

損失函數的描述是這樣的:

  1. 1環,偏左上45度;
  2. 6環,偏左上15度;
  3. 7環,偏左;
  4. 8環,偏左下15度;
  5. 10環。

這裏的損失函數也有兩個信息:

  1. 距離;
  2. 方向。

所以,梯度,是個矢量! 它應該即告訴我們方向,又告訴我們數值。

2.0.4 黑盒子的真正玩兒法

以上三個例子比較簡單,容易理解,我們把黑盒子再請出來:黑盒子這件事真正的意義並不是猜測當輸入是多少時輸出會是4。它的實際意義是:我們要破解這個黑盒子!於是,我們會有如下破解流程:

  1. 記錄下所有輸入值和輸出值,如表2-1。

表2-1 樣本數據表

樣本ID 輸入(特徵值) 輸出(標籤)
1 1 2.21
2 1.1 2.431
3 1.2 2.652
4 2 4.42
  1. 搭建一個神經網絡,給出初始權重值,我們先假設這個黑盒子的邏輯是:\(z=x + x^2\)
  2. 輸入1,根據\(z=x + x^2\)得到輸出為2,而實際的輸出值是2.21,則誤差值為\(2-2.21=-0.21\),小了;
  3. 調整權重值,比如\(z=1.5x+x^2\),再輸入1.1,得到的輸出為2.86,實際輸出為2.431,則誤差值為\(2.86-2.431=0.429\),大了;
  4. 調整權重值,比如\(z=1.2x+x^2\)再輸入1.2……
  5. 調整權重值,再輸入2……
  6. 所有樣本遍歷一遍,計算平均的損失函數值;
  7. 依此類推,重複3,4,5,6過程,直到損失函數值小於一個指標,比如0.001,我們就可以認為網絡訓練完畢,黑盒子“破解”了,實際是被複制了,因為神經網絡並不能得到黑盒子里的真實函數體,而只是近似模擬。

從上面的過程可以看出,如果誤差值是正數,我們就把權重降低一些;如果誤差值為負數,則升高權重。

2.0.5 總結

簡單總結一下反向傳播與梯度下降的基本工作原理:

  1. 初始化;
  2. 正向計算;
  3. 損失函數為我們提供了計算損失的方法;
  4. 梯度下降是在損失函數基礎上向著損失最小的點靠近而指引了網絡權重調整的方向;
  5. 反向傳播把損失值反向傳給神經網絡的每一層,讓每一層都根據損失值反向調整權重;
  6. goto 2,直到精度足夠好(比如損失函數值小於0.001)。

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

特斯拉、納智捷紛傳電動車失火意外

眾所矚目的電動車品牌特斯拉(Tesla)狀況不斷,先是Autopilot自動駕駛功能出包,最近又傳出車輛自燃事故。無獨有偶的,台灣的電動車品牌納智捷(Luxgen)也傳出車輛起火,引發各界的安全性關注。

外媒報導,一輛Tesla Model S 90D 在法國提供消費者試駕服務時突然傳出巨響,儀表板並顯示充電系統發生問題;在消費者與特斯拉的司機下車後,車輛即陷入火海,並很快燒個精光。由於這不是特斯拉首次發生火燒車事故,特斯拉立即表示會配合法國相關單位調查事故原因。

另一方面,位於新北市的裕隆汽車大樓於8月17日中午傳出失火意外,起火點是停放在地下室的一輛電動車,車款為LUXGEN MVP EV。據了解,該車目前僅供集團公務使用,並在特定地點供民眾租用,還沒有上市販售。裕隆汽車公關對外表示,起火前曾對該電動車進行測試,疑似車內電線走火才引發火災,將配合調查失火原因。

特斯拉車輛剛出現失火意外時,曾被懷疑是電池防護性不足的問題,因此在車底加上了防護板,但仍無法完全解決問題,甚至有充電途中起火燃燒的案例。而納智捷也被懷疑因電力系統走火而造成失火,電動車的電系零件安全性因而備受關注。

(照片:在法國起火的特斯拉電動車。來源:翻攝網路)

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

中華電、e-moving跨業合作 直營門市推獨家優惠

1{icon} {views}

中華電宣布,公司與電動機車龍頭中華汽車攜手合作推出「e-moving電動機車/自行車」獨家優惠,只要是中華電市內電話或寬頻的客戶,即日起於中華電直營門市即可享有優惠價,並擁有「業界最長-電池保固4年」獨家好禮。

依據環保署統計,台灣是全球機車密度最高的地區,空污問題日趨嚴重,細懸浮微粒(PM2.5)36%來自汽機車廢氣排放,有鑑於此,中華電特別響應政府節能減碳及空污管制政策,攜手中華汽車對抗PM2.5,鼓勵全民騎乘綠色交通工具e-moving,一起為環保種下幸福種籽。

中華電北區分公司總經理鄭閔卿表示,中華汽車的電動車在市場屢創佳績,深獲民眾肯定,這次很榮幸能跨業合作,由中華汽車加碼提供在公司旗下直營門市購買e-moving電動機車的客戶,除原有電池保固3年外,特別再贈送1年優惠。

中華汽車表示,旗下e-moving電動車榮獲國內外優良產品設計獎項(德國iF設計大獎),擁有44項專利,採用重機同級的「自動駐車架」,搭配「自動倒車裝置」功能,其中EM100車系更配備專屬「省力牽車」,提供輕鬆省力的代步功能,是都會女性及上班族的最愛,輕鬆優雅好停車。

中華汽車電動二輪營銷部經理黃奕元表示,電動機車不像汽油機車有複雜的零件,每二千公里只需換齒輪油,大幅節省保養費用,一般機車1元只能跑1.2公里;電動車1元可跑15公里,以每月機車平均行駛500km計算,騎e-moving一年,節能減碳效益相當於種植20顆樹。

中華電表示,在直營門市推出購車服務之後,預期市場上電動車用戶也將大幅增加,而公司亦深感榮幸,能經由本項節能商品銷售來配合政府政策,善盡企業社會責任。

(本文內容由授權提供)

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

底特律計畫 2019年推兩款全新純電動車型

底特律電動汽車是由位於底特律的Anderson電動汽車公司生產的一款純電動汽車品牌,底特律電動汽車品牌在2008年的時候正式回歸市場。  
  雖然旗下的SP:01車型還沒有真正的上市銷售,但是根據消息稱,該品牌的電動汽車已經計畫在2019年將推出兩款全新的純電動車型。有趣的是,與特斯拉一樣,它推出的首款進軍汽車市場的車型是一款純電動車型;另外,其SP:01也是在Lotus Elise車型的基礎上打造而來的純電動車型。但是底特律電動汽車卻極力與特斯拉劃清界限,聲稱他們並不是步特斯拉的後塵。   在其SP:01車型正式發佈之後,近日底特律電動汽車已經開始投入另外兩款全新的純電動車型的研發工作,一款為SUV車型;一款為轎車車型。但是,他們同特斯拉有著較大的區別。底特律電動汽車聲稱,在其新款電動車型推向市場的同時還將實現年產50000到60000的產量目標。   文章來源:鳳凰汽車

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整

電動車市場上軌道但電子大廠開始打退堂鼓,Sony 成為唯一逆向

2{icon} {views}

電動車市場逐漸步上正軌,先前許多大動作要進入電動車領域,喊出或暗示要打造電動車的電子大廠卻開始打退堂鼓。在諸多電子大廠的退卻潮下,Sony 千山萬水我獨行,推出 Vision-S 電動概念車,是「人棄我取」的逆行觀念,還是只是「項莊舞劍,意在沛公」?

以蘋果(Apple)來說,先前曾經傳出「泰坦計畫」(Project Titan)要在 2019 年推出自家電動車,2019 年都過去了,卻無消無息,事實上蘋果在幾年前就改換電動車領域的發展方向,雖然蘋果仍不斷在電動車領域申請專利,但是專利大多集中在資訊娛樂系統,以及自動駕駛軟體,而非打造一輛完整的車。

英國吸塵器大廠戴森(Dyson),原本對電動車也有雄圖大略,2015 年購併固態電池新創事業 Sakti3 後,原本有 25 億英鎊的大計畫,包括 2018 年在新加坡建廠,以及打造電動車,到 2019 年 10 月,戴森打了退堂鼓,表示儘管研發極盡努力,卻無法打造出商業可獲利的車款。

蘋果與戴森的退卻,顯示一個基本問題,那就是即使電動車跳過最複雜的內燃機引擎部分,打造汽車仍是相當高技術門檻的事,並非藉由電子方面的專長就能打造電動車。要打造一輛能熬過日曬雨淋下雪,在路上經歷 15 年的車輛,是相當複雜且需要工程技術的任務,汽車大廠數十年來精研於此,就算排除內燃機引擎部分,仍非一朝一夕可超越。

Google 於 2016 年將自駕車部門獨立成為 WaymoWaymo 也放棄自己打造自駕車,2019 年 Waymo 在亞利桑那州開始試營運自駕計程車,不過使用的是第三方車廠的車改造,克萊斯勒(ChryslerPacifica,以及捷豹(JaguarI-Pace,而非自行打造。

自動駕駛的軟硬體技術方面,科技大廠顯然仍興致高昂、摩拳擦掌,但要打造整輛車,這個主意從來都不現實。一開始科技大廠看到電動車能跳脫汽車業最困難尖端的內燃機引擎技術,替代為電子電機大廠熟悉的馬達與鋰電池,見獵心喜,認為這是打入長期由車廠壟斷的市場的良機,但很快就發現,汽車市場早已是割喉戰,要跳進去規模量產汽車,跟著割喉,並不是個好主意。

科技大廠打退堂鼓的根本原因,在於打造整輛車,毛利率遠低於軟體與消費性電子產品,這些原本位於高毛利產業的大廠,稍事研究後,就對進軍「茅山道士」(毛利 3%~4%)產業敬謝不敏,不如安於於當軟體技術與關鍵硬體供應商,因此蘋果樂於打造車用資訊娛樂系統軟體平台,而戴森樂於供應電池,但不想做整輛車。

此外,割喉戰還會越來越嚴重,原本只有特斯拉(Tesla)領頭開拓電動車市場,如今幾乎主要車廠都已經大力投入,而特斯拉本身也已經往平價車款發展,另一方面,中國廠商磨刀霍霍,想在中國低價電池廠的產能撐腰下積極投入,很快電動車市場就會如傳統汽車市場「割喉割到斷」,而且恐怕比過去更激烈。

中國本身 IT 巨頭,也採用投資的方式加入電動車市場,而非自身投入打造電動車,如騰訊投資和諧富騰、阿里巴巴投資小鵬汽車。連中國巨頭企業都迴避這個紅海戰場,那麼也就難怪歐美大廠從本來有興趣,改為退避三舍了。

千山萬水,Sony 獨行?

此股退卻潮中,唯一逆向而行的,大概只有日本電子大廠 Sony。2020 年 CESSony 宣布 Vision-S 概念電動車原型,車內車外內建 33 種不同感測器,車內資訊娛樂系統有好幾個寬螢幕顯示器、360 度環場音效、常時連線(always-on connectivity),其中部分技術來自音響大廠博世(Bosch),以及黑莓(BlackBerry)的行動無線通訊技術。此外,Sony 更打造全新設計的電動車平台,來自加拿大汽車零件供應大廠麥格納(Magna),不僅支援轎車也支援休旅車。

Vision-S 概念電動車相當有未來感,不過產業界對 Vision-S 最想知道的是:Sony 與麥格納,真的打算將這款車規模生產商業上市嗎?還是只是藉此展示車用平台及相關零組件、感測器、軟硬體技術?發表會當天,Sony 電動車發表時間並不長,且還強調 Sony 以影像感測器部門積極投資自動駕駛相關技術,包括強化原本的 CMOS,以及發展光雷達(LIDAR)、飛時測距鏡頭(Time-of-flight camera),以及複合多種感測器強化對環境的辨認能力。

就此看來, Sony 與麥格納仍是定位自身為平台與關鍵零組件供應商,Vision-S 概念電動車較可能只是為了展示所有想推銷給各大車廠的相關技術,而非真要把 Vision-S 掛上 Sony 品牌上市,否則,恐怕先要遭受全球車廠客戶抵制,得不償失。

無論如何,至少 Sony 還敢推出概念電動車原型,成為電子大廠進攻電動車市場的最後勇者,到底是「項莊舞劍,意在沛公」,最後跟其他電子大廠一樣只當車用平台零組件與軟硬體供應商,還是真會自己跳下去製造電動車,就看 Sony 有沒有豪賭的勇氣了。

(合作媒體:。首圖為Vision-S 電動概念車,來源:)

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

台北網頁設計公司這麼多,該如何挑選?? 網頁設計報價省錢懶人包"嚨底家"

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※想知道購買電動車哪裡補助最多?台中電動車補助資訊懶人包彙整