子年說鼠_網頁設計公司

※綠能、環保無空污,成為電動車最新代名詞,目前市場使用率逐漸普及化

台中景泰電動車行只是一個單純的理由,將來台灣的環境,出門可以自由放心的深呼吸,讓空氣回歸自然的乾淨,減少污染,留給我們下一代有好品質無空污的優質環境

庚子年到了,生肖為鼠。又一輪生肖時序開始了,使人聯想翩翩。老鼠體量不大,貌不驚人,有什麼能力和德行排在十二生肖之首、生龍活虎之前呢?一是它的歷史“老”,在地球上生活的歷史比人還長;二是它的數量多,哪裡有人哪裡就有它,與人的關係密切。用動物紀年,是中華民族旳智慧,每年由一動物值班,使無聲無息的年份,有了生動的形象,使枯燥的年份数字,成了聞之不忘、談之有趣的人文話題。生肖文化體現了中華民族熱愛生命、與大自然和諧相處的智慧。生肖文化是中華民族最普遍的民俗信仰,表現了眾生平等、各有所長、循序漸進、輪序為綱的樸素願望,因為時間最平等,對誰都一樣。

老鼠占生肖第一位,它身材雖小,名聲不佳,但它和威嚴的龍、兇猛的虎、五彩的雞……平等地位,一樣成為一年的值班歲星。十二生肖以它為首,極突出眾生平等的中華處世願望。生肖歷史很久,究竟是怎麼產生的,目前尚無權威說法。所以古人常用許多有趣的神話故事進行詮釋。

老鼠有兩大特點,一是說它善啃,定力驚人,只要確定了目標,即使銅牆鐵壁,每天只能咬個牙痕,也絕不退縮,非咬出洞來不止。童話說,天地原悶在金葫蘆內,是老鼠竭盡全力、啃咬不止,終於將金葫蘆咬岀裂縫,使得金葫蘆崩裂,從此天地分,亁坤定,人世方能形成,所以老鼠居生肖之首;二是老鼠善偷,為了讓人類吃上五穀雜糧,它不顧個人安危到王母娘娘寶箱中一滾,身上粘了種子送給人類,使得人類吃到了五穀,有了四季收成。

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站,提高曝光率!

以設計的實用美學觀點,規劃出舒適、美觀的視覺畫面,有效提昇使用者的心理期待,營造出輕鬆、愉悅的網站瀏覽體驗。

雖然人們編了許多神話傳說為老鼠美言,也在許多藝術作品中為老鼠創造了許多惹人喜愛的形象,但在日常生活中仍難逃“老鼠過街,人人喊打”的宿命。在我們數盡其惡的同時,在鼠年到來之時也要充分看到老鼠善的一面,這就是用動物紀年的智慧。

鼠靈通天,敏於事變,在地動山搖之前,常有預警防災之舉;鼠通人性,能被馴化,既能隨鑼而舞,又可救人礦洞之間。老鼠有為生物醫學提供科學實驗樣本之用途,又是動物食物鏈的基礎。老鼠體小而量大,繁殖力極強,狡黠善於自保,儘管老鼠過街人人喊打,但除之難盡,驅之難擒,所以民間有“老鼠嫁女”的故事。在除夕之夜,吹吹打打,熱鬧之極地把老鼠嫁給狸貓為妻,以解倉儲之患。人們認為貓為鼠之天敵,把鼠嫁給貓,就可滅絕了。當然是美好願望而已。

老鼠是通天靈獸,在21世紀,人類進入互聯網時代,仿生學與機器人攜手闖入浩瀚星空。誰來當這個指揮棒?人們以老鼠為形作為器物之狀,名曰鼠標。此開關之器,形似老鼠,聽之悅耳、望之可愛、握之溫順、執之隨心,上通宇宙,下可通五洲,隨心所欲,任心馳騁。鼠標是時代標識,更使鼠年充滿浪漫情懷。老鼠身小善謀,體弱志遠,雖長年默默無聞,卻在關鍵之時起非常之影響。鼠能居十二生肖之首,正是讓人們每到一個時序開始之時,都重溫一下這小動物之所長,對堅持“眾生平等”之古訓有所啟迪。對“各有所長”之規律有所尊重。又一時序開始之時,對“鼠咬天開”的開拓精神有所領會。當豬退鼠來之際,特擬對聯一副“亥豬已載百寶去,鼠咬天開又重來”,橫批為“志在創新”。(趙書)

本站聲明:網站內容來http://www.societynews.cn/html/wh/fq/,如有侵權,請聯繫我們,我們將及時處理

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

網站的第一印象網頁設計,決定了客戶是否繼續瀏覽的意願。台北網動廣告製作的RWD網頁設計,採用精簡與質感的CSS語法,提升企業的專業形象與簡約舒適的瀏覽體驗,讓瀏覽者第一眼就愛上它。

踩高蹺,老技藝有了新生機_台北網頁設計

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

擁有後台管理系統的網站,將擁有強大的資料管理與更新功能,幫助您隨時新增網站的內容並節省網站開發的成本。

  劉軍(右一)帶領高蹺隊在襄陽唐城影視城表演。
  劉 江攝

  追夢人:劉  軍

  46歲,湖北省南漳縣東鞏鎮蓮花村村民,13歲隨父學習高蹺,現在每逢年節,便帶領高蹺隊走街表演……

  得意事一

  把高蹺玩出了名氣

  隆冬時節,湖北南漳山中雨雪連綿,氣溫降至零攝氏度以下。劉軍惦記着農曆“小年”的表演,雞叫時分就起了床,綁上高蹺,在院中活動起腿腳來。

  早在一個月前,劉軍就接到了通知,臘月二十四上午要帶隊去縣城表演。這是劉軍每年春節的“例行安排”——從“小年”開始,他的生活便會被高蹺填滿,從蓮花村到東鞏鎮,再到南漳縣、襄陽市,直到農曆二月二龍抬頭,他才有時間忙自己家裡的事情。

  農家早飯遲。走了幾圈不過癮,劉軍索性拿起手機吆喝鄧明松、張衛、金艷軍等隊友前來排練。

  東鞏高蹺與別處不同,文蹺重在說唱有趣,武蹺講究驚險刺激,稍有不慎,傷人不說,還可能砸了招牌。劉軍能文蹺,更擅武蹺,看他表演,驚險處讓人大氣不敢出。比如一人踩蹺從另一人小腹踏過的“仙人過肚”,五人層層疊高拱手作揖的“五子登科”等造型,他和隊友們配合無間,一一完成。

  “從我跟父親學藝開始就被教導,越是老師傅,越要謹慎小心。”劉軍說,從藝30多年他沒有出過丑,靠的就是熟能生巧和膽大心細。

  一連十幾場迎春表演,一招一式都馬虎不得。臨近年節,每天不踩上高蹺走幾圈,劉軍心裏就不踏實。

  劉軍自稱平生最得意事有三,第一個就是踩高蹺。“本來是當作業餘愛好來玩,沒想到玩出了名氣,玩成了副業。”

  東鞏鎮民間文化氛圍濃厚,有“古山寨之鄉”的美譽,不僅有春秋寨、卧牛寨等龐大的古山寨群,還有麻城河等連片古村落群。近些年,鄉村旅遊興起,高蹺成了深居荊山的古山寨開門迎客的特色節目,劉軍的高蹺隊常常接到表演邀請,一場一人100元。

  劉軍一家,個個能踩高蹺。他自己是東鞏高蹺的市級非遺傳承人,正在湖北文理學院讀聲樂本科的兒子劉朝旭則是縣級傳承人,兩個人每年還能拿到南漳縣文化局發放的2500元補貼。

  “趕上新時代,老藝術有了新生機。”劉軍說,以前老擔心自己的高蹺絕活失傳,沒想到“現在踩高蹺能當飯吃了,學的人越來越多”。如今,劉軍剛滿10歲的侄子和外甥放了假就會跟着他學踩高蹺。

  得意事二

  山裡路好了,貨車有了用場

  南漳縣曾是省級貧困縣,“八山半水分半田”,农民生活不易。“打我記事起,家裡就為吃口飽飯發愁。”劉軍說,他父親踩高蹺一為興趣,二為生活,走街串戶討彩頭,人家會給點煙酒或食物做報酬。

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

擁有後台管理系統的網站,將擁有強大的資料管理與更新功能,幫助您隨時新增網站的內容並節省網站開發的成本。

  如今,劉軍踩高蹺只為興趣,表演所得只是其家庭收入的一小部分。

  吃過早飯,劉軍發動停在家門口的貨車,出工了。鄰村有一戶蓋房子,訂了他的車運建材,這一單能掙小几千元。

  6年前買這輛二手的中型貨車,是劉軍最得意事中的第二項。當時,南漳的大山裡,易地扶貧搬遷如火如荼,劉軍奔波在多個工地上搞運輸,6.8萬元的買車錢一年就回了本。

  劉軍感嘆,若不是“四好農村路”通到了家家戶戶的門口,他的這輛車就“抓瞎了”。在2014年以前,東鞏鎮的村寨還是以泥巴路為主,遇到雨雪天氣,“別說載重十幾噸的大貨車,就是自行車都難推動”。

  路好,山裡的生活就越來越好。

  農村人把房子當做臉面,外出打工掙了錢,都想着回村到公路邊蓋新房子。正因如此,劉軍趕上了好年景,四鄰八村建新房,都找他運建材,一年有個八九單,就能掙三四萬元。

  得意事三

  釀“武蹺神”酒

  出一趟車回來,劉軍顧不得吃午飯,先去了自己家的小酒廠。因為天氣太冷,釀酒的鍋爐已停,煮好的糧食堆在池子里發酵。

  釀酒,是劉軍第三件得意事。他用當地世代相傳的古法釀酒技術,經過現代技藝改良后,酒香更濃,口感更潤。

  說是酒廠,實際上是個作坊,3間房,一年產量有15000多斤。“根本不愁賣,每到這個時候就供不應求。”劉軍說。苞谷酒順着他的貨車和高蹺表演香飄四鄉,已經打開了市場。

  他把這酒命名為“武蹺神”。“釀酒跟踩高蹺一樣,不能貪心,不能偷工減料,否則就會傷人傷己。”劉軍說,踩高蹺的道具只是兩根50—90厘米長、上扁下圓的木棍,看似簡單,但對選材要求很高,必須採用堅硬而有韌性的木質,腐木絕不可用。

  靠賣酒,劉軍一年可掙5萬多元。隨着銷量越來越好,原有的作坊已經不能滿足供應,劉軍在周邊買了2畝地,準備新的一年擴大規模。在釀酒作坊的院子里,劉軍新買的40口酒缸在陽光下閃着光。那是酒廠擴大規模后,用來洞藏的酒具。

  新的一年,劉軍希望帶領蓮花村高蹺隊讓東鞏高蹺的名聲傳向全國,也希望帶着自己的“武蹺神”在鄉村振興中干出更大的成績。

  劉軍的記事本

  趕上新時代,老藝術有了新生機,現在踩高蹺都能當飯吃了。

  過去,父親踩高蹺是為生活;如今,我踩高蹺,卻是為興趣。

  版式設計:張丹峰  蔡華偉

本站聲明:網站內容來http://www.societynews.cn/html/wh/fq/,如有侵權,請聯繫我們,我們將及時處理

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

擁有後台管理系統的網站,將擁有強大的資料管理與更新功能,幫助您隨時新增網站的內容並節省網站開發的成本。

家居花增色_網頁設計公司

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

透過資料庫的網站架設建置,建立公司的形象或購物系統,並提供最人性化的使用介面,讓使用者能即時接收到相關的資訊

年貨大比拼中,怎麼少得了點亮氣氛的鮮花呢?家居裝飾怎樣更有年味?這也是花藝師徐若溪每年都會收到的問題。

應季的花材,更有價格及質量優勢。徐若溪介紹,在挑選花材時,可以用手輕輕觸碰花朵,“花朵如果觸碰起來較硬,有彈性,就比較新鮮,購買回去做瓶插時,花期也會比較長。”

徐若溪介紹:“凸顯年味,花色和花語是很重要的因素。紅色、橙色、紫色等顏色喜慶,寓意美好,比如朱頂紅寓意‘成雙成對’,冬青果寓意‘生命旺盛’等等。大家可以根據自己的期望和喜好來選擇花材。”

花藝成品和鮮花都能起到襯托和點綴家居的作用,所以在選擇時,如何和家居裝飾相得益彰也頗為講究。

網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

當全世界的人們隨著網路時代而改變向上時您還停留在『網站美醜不重要』的舊有思維嗎?機會是留給努力改變現況的人們,別再浪費一分一秒可以接觸商機的寶貴時間!

“使用多種花材插花,特別需要注意放置的位置。”徐若溪介紹,玄關處比較適合稍大體量的花形,更顯氣勢;稍矮較穩的花形適合擺放在客廳茶几、餐桌上,兼顧安全,不阻礙視線;書房的花藝作品不宜過香;洗漱台可放置一些較小的花藝作品。“擺放是否穩固和安全非常重要。”徐若溪說。

花藝與家裝風格也要相統一,不同風格特點的家居,需要不同花器和花飾的配合與裝點。“簡約、清爽的北歐風,可以選擇同風格的花瓶花器,比如大理石紋路或玻璃材質的花器;花材也盡量選擇一些清新明亮的花色。”徐若溪舉例。

“在中式家居風格中,可以挑選瓦器、陶制花器;花色可以挑選和軟裝相近的顏色;花形不用過於複雜,可挑選一些枝條型的材料。東方花藝講究運用線條,比如銀芽柳就是年節里的常見品種,搭配澳洲蠟梅和紅掌等也是不錯的選擇。”徐若溪說。

本站聲明:網站內容來http://www.societynews.cn/html/wh/fq/,如有侵權,請聯繫我們,我們將及時處理

※想知道最厲害的網頁設計公司嚨底家"!

RWD(響應式網頁設計)是透過瀏覽器的解析度來判斷要給使用者看到的樣貌

06_邏輯回歸算法和最大熵模型_潭子電動車

※廣告預算用在刀口上,台北網頁設計公司幫您達到更多曝光效益

有別於一般網頁架設公司,除了模組化的架站軟體,我們的營業主軸還包含:資料庫程式開發、網站建置、網頁設計、電子商務專案開發、系統整合、APP設計建置、專業網路行銷。

  今天是2020年2月12日星期三,現在對學習有點麻木。看了一天的最大熵模型,多少理解了一些內容,在學校看的啥啊真是,要不是寫這個博客,關鍵的地方真是一點看不出來啊。反思再反思,看書的時候難懂的地方直接翻過去了,現在為了寫出來,多查了很多資料。切忌眼高手低啊,不把模型真正用出來,很難有深入的理解啊。

  本章標題為邏輯斯諦回歸與最大熵模型,這是兩個部分,不能混為一談。當然了放在一起肯定有李航老師的道理,最後會分析兩者聯繫。最大熵模型還是比較難懂的,這裏僅是記錄我的學習過程,歡迎討論,僅作參考,謝絕採納。

 GitHub:https://github.com/wangzycloud/statistical-learning-method

 邏輯斯諦回歸模型

引入

  首先要說下,“邏輯斯諦”這個名字真是蠻奇怪的,可能因為我還是比較沒文化吧。腦子里先入為主,總是想把吳恩達老師CS229上邏輯回歸算法的名字安放到這個模型上。所以接下來,都會以“邏輯回歸”這個名字代替書中的“邏輯斯諦回歸”。不得不說,該算法從一個特殊的函數出發,發現了可將輸入變量x的線性函數值轉變為分類類別的概率。

邏輯斯諦分佈

  首先來看一下這個邏輯斯諦分佈和概率密度函數:

  分佈函數屬於邏輯斯諦函數,圖形像一條S型曲線,在中心附近增長較快,在兩端增長速度較慢。形狀參數γ的值越小,中心附近增長越快。 

二項邏輯回歸模型

  作為分類模型,顧名思義,二項邏輯回歸模型是一種二分類算法,由條件概率分佈P(Y|X)表示,隨機變量X取實數,隨機變量Y取值為0或1。

  這裏得出類別結果的過程與樸素貝恭弘=叶 恭弘斯算法類似(這裏強調的是,需要得到P(Y=1)和P(Y=0),兩算法本身差別很大),每個類別都要求出該類的條件概率,然後比較大小得到分類結果。對於給定的輸入實例x,分別求得P(Y=1|x)和P(Y=0|x),比較兩個條件概率值的大小,將實例x劃分到概率值較大的類中。而感知機、決策樹是直接得到類別。

  接下來,從事件發生幾率的角度上,看一下邏輯斯諦函數的特殊性。

  一個事件發生的幾率是指該事件發生的概率與不發生的概率的比值,如果事件發生的概率是p,那麼該事件的幾率是p/(1-p),其對數幾率或logit函數是:

  有了對數幾率的函數表達形式,我們將二項邏輯回歸模型的表達式代入,得到:

  可以發現,輸入實例x與該實例被判斷成Y=1這個類別的對數幾率,竟然是線性關係。換句話說,輸出Y=1的對數幾率是由輸入x的線性函數決定的,這就是邏輯回歸模型的來源。正如書中所描述的,換一個角度看,考慮對輸入x進行分類的線性函數w·x,其值域為實數域。擬合參數w,使輸入數據x可以找到一個決策邊界,這個邊界是由對數幾率表現出來的。直觀來說,屬於正類的數據,通過w的線性變換,得到一個很大的實數值,因此該數據表現為判斷是正類的對數幾率大。通過公式6.5,可以將w·x的線性函數值轉換為概率:

  這時候,線性函數w·x的值越接近正無窮,概率值越接近1;w·x的值越接近負無窮,概率值越接近0,這樣的模型就是邏輯回歸模型。

模型參數估計

  根據以上描述,我們擁有了新的分類模型,可以將w·x的線性函數值轉化為類別的概率,那麼,我們如何找到分類邊界呢?也就是說,我們現在擁有了輸入x到類別概率的映射模型,可是怎麼保證每個隱射關係都是對的呢?通俗點講,每一個輸入實例x,乘參數向量w之後的線性函數值,轉化為類別後都能夠被正確分類。關鍵的問題,也就是在w,如何對w進行估計?這裏採用極大似然估計。

  似然函數很好理解,進行極大似然估計,需要把每個變量出現的概率連乘起來;連乘式里的表達式,中括號分開的兩個部分,在同一個實例上,不會同時成立;式一,實例類別yi=1時,左側中括號內概率成立,右側值為1;實例類別yi=0時,右側中括號內概率成立,左側值為1。通過這一個式子,就把兩個類別出現的概率連乘在了一起。

  這樣,尋找合適w的過程(尋找決策邊界)就變成了以對數似然函數為目標的最優化問題,常用的方法是梯度下降法和擬牛頓法。

多項邏輯斯諦回歸

  涉及到多分類的邏輯回歸模型,該部分有待深入思考公式,留到開學后。

最大熵模型

引入

  我更喜歡把這部分內容當做原理,說這個模型的具體應用吧,我這個水平還沒有發現。但了解過大概思想后,發現這個模型應該在概率模型中處處存在。最大熵最大熵,顧名思義要讓熵最大,延續先前的知識,熵是不確定性的度量,最大熵模型也就是要找出熵最大某個物件。學習之前先提出疑問,比如一個簡單的問題,從哪裡找到熵最大?熵最大的什麼?我剛開始看到這個模型的時候,習慣性的向後翻了翻課本,上來就被數學公式嚇到了(靜下心來發現沒必要這樣),仔細閱讀一遍之後,除了“什麼都沒看懂”之外,什麼都沒懂。

  所以在開始記錄之前,有必要先強調一下,該模型從原理出發,討論的是一個概率模型的學習準則問題。假設現在我們有一個分類問題(必須是概率模型),比如說邏輯回歸進行分類,我們最後通過比較類別的可能性大小,對新實例做出判斷。我們的學習過程,是找到合適的w,從而讓所有的數據點,能夠得到完美的分類。在邏輯回歸模型中,我們是通過極大似然估計,來找到合適的w,而現在我們的最大熵模型,反映的是什麼呢?

  有了剛才的例子,其實我們可以發現,訓練集上每一個w代表了一個模型,只不過呢,有的w分類能力很好(最好的被我們用極大似然估計選擇了出來);有的呢,分類能力很差,不被我們採納。本節提到的最大熵模型,就是從滿足條件的模型集合中選出熵最大的模型,我們認為這個熵最大的模型就是最好的模型。簡單點,就是從一堆w中,運用熵最大原理找出這個最合適,分類能力最強的w。

最大熵原理

  最大熵原理認為,學習概率模型時,在所有可能的概率模型中,熵最大的模型是最好的模型,通常用約束條件來確定概率模型的集合。所以,最大熵原理也可以描述成在滿足約束條件的模型集合中選取熵最大的模型,該原理是概率模型學習的一個準則。

  解讀一下這段。首先,我們針對的是類似邏輯回歸、樸素貝恭弘=叶 恭弘斯這樣的概率模型,不是針對感知機這種決策函數模型。其次,熵最大也就是不確定性最大,這好像與我們的目標相悖,畢竟我們是要找到一個明確的分類邊界,現在怎麼又要找不確定性最大的呢?這裏也挺好理解的,我們在什麼情況都不知道的處境下,當然不能偏袒任何一個類別,雨露均沾才能損失最小。如果太過於相信其中一個,萬一是假的不就一敗塗地了嘛,一點後退的餘地都沒有。不偏袒任何一個類別就意味着誰都不信,每個的可能性一樣,這個時候熵最大,這是公知的。另外,在每個類別可能性一樣的前提下得到的模型,對給定實例x進行判斷,這時某類的概率還能較大,不更能說明x應該屬於這類。最後,我們在訓練數據集中學習一個模型,怎麼可能一點前提條件都不知道!多多少少有一些特徵是我們先知道的,或者說是作為已知條件的。我們要學習的模型,就是在已知的這些條件下,找到最合適的分類模型(應用熵最大原理)。

  直觀的,最大熵原理認為要選擇的概率模型首先必須滿足已有的事實,即約束條件。在沒有更多信息的情況下,那些不確定的部分都是“等可能的”,最大熵原理通過熵的最大化來表示可能性。書中提到,“等可能”不容易操作,而熵則是一個可以優化的數值指標,這裡有待思考(好像事實就是這樣)。看一下例子:

  書中又用了一個幾何例子解釋,正是這個幾何例子,放大了對初學者的不友好。看一下書中的解釋:

  一個點代表一個模型,請問,點在哪裡?整個單純形代表模型集合,請問,是用面積還是邊長?直線的交集對應於滿足所有約束條件的模型集合,請問,直線與直線相交,難道不是個點嗎?最後一句,學習的目的是在可能的模型集合中選擇最優模型,最大熵模型則給出最優模型選擇的一個準則,拜託,這句話說了多少遍了,和這個幾何解釋有什麼關係?不友好就是不友好,雲里霧裡的(也可能是我沒文化,看不懂數學語言)。可是,如果換一種說法,如下圖:

  不妨讓區域p表示概率模型空間,也就是所有的模型圈在這個三角形區域中(左側);有一個約束條件,我們就畫一條線(右側藍綠色直線);約束條件會把模型限制在不同區域(A、B、C、D),約束條件越多,符合條件的模型越少;假設A區域符合約束條件,之前需要從大範圍的p區域求最優模型,現在需要在小範圍的A區域求解。

最大熵模型的定義

  最大熵原理是統計學習的一般原理,應用到分類問題,得到最大熵模型。給出定義前,我們先來思考一下,按照前邊描述的思想該模型應該有什麼?(1)該模型解決分類問題,要應用在概率模型上,那麼我們的目標就應該類似樸素貝恭弘=叶 恭弘斯算法,用條件概率分佈P(Y|X)表示分類模型。(2)原理部分一直提約束條件,細想一下約束條件可以幫助我們縮小求解範圍,的確符合現實意義,可是要怎麼找到約束條件呢?留疑。(3)要在所有模型中找到熵最大的模型,用什麼熵?衡量模型?(4)如何計算?

※Google地圖已可更新顯示潭子電動車充電站設置地點!!

日本、大陸,發現這些先進的國家已經早就讓電動車優先上路,而且先進國家空氣品質相當好,電動車節能減碳可以減少空污

  帶着問題,我們系統性的看一下最大熵模型的定義。首先是分類模型的定義:

  分類模型就是我們最後對新數據進行測試的模型,應該是P(Y|X)這個樣子。對於一個二分類的新測試實例x,若第一類的條件概率P(y1|x)=0.7,第二類的條件概率P(y2|x)=0.2,有0.7>0.2,我們認為實例x屬於第一類。接下來我們尋找約束條件,下述內容(除課本內容外)為個人見解,正確性不能保證。

  大膽假設,小心求證,這裏我們借鑒一下樸素貝恭弘=叶 恭弘斯的東西,來提出約束條件。我們要做的事情,是找到熵最大的分類模型,分類模型是P(Y|X)條件概率分佈;樸素貝恭弘=叶 恭弘斯是種生成模型,它應用X、Y的聯合概率找到生成數據的方式,求解P(Y|X)來計算類別的后驗概率;數據集上存在X、Y的聯合分佈(經驗分佈);數據集上存在X的分佈(經驗分佈);這裏隱約存在一種關係:P(A,B)=P(Y|X)P(X);在數據集固定的情況下,我們已知P(X,Y)、P(X)經驗分佈,要求的熵最大的條件概率P(Y|X)是不是要滿足聯合分佈規律呢?

  答案是一定的,P(A,B)=P(Y|X)P(X)規定了一定存在一個條件概率P(Y|X)分佈,使該式成立。現在我們不知道它具體是什麼,需要我們求解出來,在求解的過程中,我們猜測的所有條件概率分佈,都要滿足這個約束才對。

  約束條件好像是找到了,現在還差個東西。記得我們在素樸貝恭弘=叶 恭弘斯算法中,求過隨機變量X和隨機變量Y同時出現的聯合分佈,那時通過極大似然估計對參數求解,事件X和事件Y同時出現這件事,直接計算聯合分佈了。我們現在的最大熵模型,比較理論化,需要抽象出一個描述聯合分佈的工具,這個工具不幹別的,就是描述數據集中的x、y是否同時存在,是否滿足某一事實,是否具有該特徵。看一下書中內容:

  便於數學形式表達,設計特徵函數來表達隨機變量X與隨機變量Y的取值,同時發生的事實。(這裏插一句,在CRF條件隨機場中,有個定義在最大團上的勢函數,完全可以用來理解這裏的特徵函數;另外,CRF中的勢函數更可以用這裏的特徵函數來理解;LR和CRF的區別值得好好研究,LR中的W是對特徵向量的各個分量進行線性變換,CRF中的W是對定義在最大團上的關聯進行線性變換…嘚啵嘚…嘚啵嘚…)

  在剛才P(A,B)=P(Y|X)P(X)的描述中,是拿聯合分佈當做引子,來理解從哪裡來的約束條件。在實際的模型,並不是硬性從分佈函數相同入手,而是落到具體的數值上(具體的特徵上),讓期望相等作為模型的約束條件(分佈相同,期望相同)。

  這裡是數據集上聯合分佈的期望值。

  這是數據集上的隨機變量X的邊緣分佈與分類模型P(Y|X)乘積的期望值。

  如果分類模型P(Y|X)能夠應用到該數據集上,就可以假設P(A,B)=P(Y|X)P(X)公式兩邊的分佈,對特徵函數f(x,y)的期望值相等。這樣,就可以將公式6.10或公式6.11作為模型學習的約束條件,假設有n個特徵函數,相應的就有n個約束條件。

  帶有約束條件的模型集合我們能夠確定了,接下來就是對模型P(Y|X)用什麼來度量不確定性,很明顯的,用條件熵就可以了。最大熵模型具體定義如下:

  該部分還差一點,書中開始部分聯合分佈P(X,Y)的經驗分佈和邊緣分佈P(X)的經驗分佈如何求?了解樸素貝恭弘=叶 恭弘斯算法的同學應該知道,根據大數定律,當訓練集包含足夠多的樣本時,P(X)及P(X,Y)可以通過各事件出現的頻率來估計,其中:

最大熵模型的學習

  最大熵模型的學習過程就是求解最大熵模型的過程,由公式6.12和公式6.13,求解過程可以形式化為約束最優化問題,即:

  按照最優化問題的求解習慣,將求最大值問題改寫為等價的求最小值問題:

  這裏參照書上內容,將約束最優化的原始問題轉換為無約束的對偶問題,通過求解對偶問題求解原始問題。

  必要的求解過程好像手寫一下,標註出關鍵步驟好像更容易理解,這方面工作開學後會做細緻。暫時直接粘貼過來了,仔細看的話,除了對偶問題的轉化,其它的計算細節就是微積分了,相信是可以看懂的。

  計算過程沒什麼好解釋的,抄一遍實在沒什麼意思,開學後手寫推導一遍,詳細寫寫計算過程。下面看下例子:

極大似然估計

  通過原始問題、對偶問題的轉換,我們得到了最優的分類模型:由公式6.22、公式6.23表示的條件概率分佈。下面內容證明一個等價命題:對偶函數的極大化等價於最大熵模型的極大似然估計。證明過程如下:

  一般似然函數是數據集中各個樣本的聯合概率,本公式給出了似然函數的另一種形式,這個形式需要經過幾個步驟的推導,資料已找到,開學整理上手寫版本,現在只需要知道該對數似然函數是合理的,將求解的最優分類模型帶入似然函數得到:

  再看一下對偶函數f(w)化簡的結果:

  可以發現對偶函數等價於對數似然函數,於是證明了最大熵模型學習中的對偶函數極大化等價於最大熵模型的極大似然估計這一事實。

  到這裏,我們可以得到最大熵模型的一般形式。

  查資料的時候,經常看到“最大熵模型與邏輯回歸的區別”這個問題,第一遍學完本章內容,腦子里反覆思考這兩個模型的推導過程,深的淺的有了一些想法,目前尚未形成條理的思路,以後有了,再補上吧。書中說最大熵模型與邏輯回歸模型有類似的形式,它們又被稱為對數線性模型,這句話是真的沒看明白,說邏輯回歸是對數線性模型還能理解;可最大熵模型的一般形式,只看到了指數啊,難道是因為求解過程的log,這裏存有疑問。

代碼效果

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

※超省錢租車方案

商務出差、學生出遊、旅遊渡假、臨時用車!GO 神州租賃有限公司!合法經營、合法連鎖、合法租賃小客車!