最近有個小夥伴在群里問美團數據怎麼獲取，而且她只要火鍋數據，她在上海，只要求抓上海美團火鍋的數據，而且要求也不高，只要100條，想做個簡單的分析，相關的字段如下圖所示。

乍一看，這個問題還真的是蠻難的，畢竟美團也不是那麼好抓，什麼驗證碼，模擬登陸等一大堆拂面而來，嚇得小夥伴都倒地了。

通過F12查看，抓包，分析URL，找規律，等等操作。

不過白慌，今天小編給大家介紹一個小技巧，另闢蹊徑去搞定美團的數據，這裏需要用到抓包工具Fiddler。講道理，之前我開始接觸網絡爬蟲的時候也沒有聽過這個東東，後來就慢慢知道了，而且它真的蠻實用的，建議大家都能學會用它。這個工具專門用於抓包，而且其安裝包也非常小，如下圖所示。

接下來，我們開始進行抓取信息。

1、在Fiddler的左側找到meituan網站的鏈接，如下圖所示。鏈接的左邊返回的response（響應）的文件類型，可以看到是JSON文件，爾後雙擊這一行鏈接。

2、此時在右側會显示下圖的界面，點擊黃色區域內的那串英文“Responsebody is encoded. Click to decode.”意思是response是加密的，點擊此處進行解碼，對返回的網頁進行解碼。

3、此時會彈出下圖所示的界面，在WebView中可以看到返回的數據，與網頁中的內容對應一致。

4、不過美團網限制一頁最多显示32條火鍋信息，如下圖所示。

5、如果我想獲取100條信息的話，那得前後找4頁，才能夠滿足要求。有沒有辦法讓其一次性多显示一些數據呢？答案是可以的，操作方法如下。

在左側找到對應的美團網鏈接，然後點擊右鍵一次選擇CopyàJustUrl，如下圖所示。

7、將得到的URL放到瀏覽器中去進行訪問，如下圖所示。可以看到limit=32，即代表可以獲取到32條相關的火鍋信息，並且返回的內容和Fiddler抓包工具返回的信息是一致的。

8、此時，我們直接在瀏覽器中將limit=32這個參數改為limit=100，也就是說將32更改為100，讓其一次性返回100條火鍋數據，天助我也，竟然可以一次性訪問到，如下圖所示。就這樣，輕輕鬆松的拿到了一百條數據。

9、接下來，可以將瀏覽器返回的數據進行Ctrl+A全部選中，放到一個本地文件中去，存為txt格式，在sublime中打開，如下圖所示。

10、其實乍一看覺得很亂，其實它就是一個JSON文件，剩下的工作就是對這個JSON文件做字符串的提取，寫個代碼，提取我們的目標信息，包括店門、星級、評論數、關鍵詞、地址、人均消費等，如下圖所示。

11、運行程序之後，我們會得到一個txt文件，列與列之間以製表符分開，如下圖所示。

12、在txt文件中看上去很是費勁，將其導入到Excel文件中去，就清晰多了，如下圖所示。接下來就可以很方便的對數據做分析什麼的了。

13、至此，抓取美團火鍋數據的簡易方法就介紹到這裏了，希望小夥伴們都可以學會，以後抓取類似的數據就不用找他人幫你寫程序啦~~

14、關於本文涉及的部分代碼，小編已經上傳到github了，後台回復【美團火鍋】四個字即可獲取。

看完本文有收穫？請轉發分享給更多的人

IT共享之家

入群請在微信後台回復【入群】

想學習更多Python網絡爬蟲與數據挖掘知識，可前往專業網站：http://pdcfighting.com/

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※想知道最厲害的網頁設計公司"嚨底家"!

※別再煩惱如何寫文案,掌握八大原則!

※產品缺大量曝光嗎?你需要的是一流包裝設計!

一、類註釋

1、打開設置面板：file -> setting -> Editor -> file and code Templates

選擇其中的inclues選項卡，並選擇File header，如圖。不要選擇Files選項卡再設置Class，這樣比較麻煩，而且這樣設置以後沒新建一個類都要自己寫一次Date。

2、在右邊編輯面板插入自己想要的註釋即可。其中${}是變量，需要在變量基本都在編輯款下面的Description，往下拉即可看到。

/*
* @Classname ${NAME}
*
* @Date ${DATE}
*
* @userName
*/

3、新建一個類，看是否自動加了註釋

二、方法註釋

1、打開設置面板：file -> setting -> Editor -> Live Templates

 2、新建一個Template Group…，命名隨意，假設為bokeyuan，然後選擇該組，點擊新建一個模板Live Template

3、名稱建議設為*，文本框輸入自己想要設置的註釋格式，右下角要選擇enter（原本是tab）。

 4、留意註釋格式，其中參數要直接寫變量$param$，開頭只有一個*號。寫好之後點擊上圖框中的edit variables

其中返回值return使用系統自帶的，下拉可以找到methodReturnType()

 5、自定義多行參數註釋

IDEA自帶的參數函數methodParameters()產出的註釋格式是這樣的：

/**
      * 
      * @param [a,b,c]
      * @return void
      * @throws 
      */

我們可能需要的是多行參數註釋：

/**
      * 
      * @param a
      * @param b
      * @param c
      * @return void
      * @throws 
      */

這個時候就要使用裏面的groovyScript()函數來自定義格式：

groovyScript("def result=''; def params=\"${_1}\".replaceAll('[\\\\[|\\\\]|\\\\s]', '').split(',').toList(); for(i = 0; i < params.size(); i++) {if(i == 0) result += '* @param ' + params[i] + ' ' + ((i < params.size() - 1) ? '\\n' : '');else result+='  * @param ' + params[i] + ' ' + ((i < params.size() - 1) ? '\\n' : '')}; return result", methodParameters())

直接複製在Expression裏面即可。

6、選擇語言，點擊Define勾選Java

有其他問題可以評論問我哦

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※教你寫出一流的銷售文案?

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※回頭車貨運收費標準

※別再煩惱如何寫文案,掌握八大原則!

※超省錢租車方案

※產品缺大量曝光嗎?你需要的是一流包裝設計!

美國聯邦政府為了推廣電動車，給予電動車買主每人7,500美元（約台幣23萬）的補助，問題是此一補助即將到期，美國電動市或許有崩盤危機。

Barron’s Next 9日報導，汽車銷售暨資訊網站Edmunds悲觀預測（見此），補助終結將摧毀美國電動車車市。當局規定，車商的前20萬名客戶，可以獲得補助，如今特斯拉（Tesla）已售出將近10萬輛電動車，估計明年優惠就會結束。

特斯拉平價車款「Model 3」定價3.5萬美元，扣掉7,500美元補貼之後，買家等於只要付2.75萬美元，差距極為明顯。特斯拉想打入大眾車市，必須對上2萬美元的汽油車和油電混合車，少了優惠之後，兩者價差更為懸殊。

以美國喬治亞州為例，該州取消購買電動車的5,000美元稅務優惠之後，買氣急凍。有稅務優惠時，喬治亞州佔全美電動車銷售的17%；取消之後，銷售比重驟降至2%。Edmunds據此推論，補助結束後，電動車市將崩盤。Edmunds報告指出，高檔電動車較不受稅務優惠影響，但是一般買家會在意補貼。補助終結後，電動車廠必須大砍售價，才能維持買氣。

Edmunds斷言電動車會陷入困境，其他專家不以為然。

The Christian Science Monitor報導，分析師批評Edmunds報告只看稅務優惠，忽略大局。Bloomberg New Energy Finance分析師Salim Morsy說，儘管Model 3較為平價，但是仍不算主流車款，不至於需要稅務優惠才能存活。他認為Model 3是入門款的豪華車，與BMW 3系列或賓士C系列同等級，價格超過多數美國民眾能夠負擔的範圍，因此就算補助結束，買氣或許不受影響。

（本文內容由授權使用。圖片出處：Tesla）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※網頁設計一頭霧水該從何著手呢? 台北網頁設計公司幫您輕鬆架站!

※想知道最厲害的網頁設計公司"嚨底家"!

※別再煩惱如何寫文案,掌握八大原則!

※產品缺大量曝光嗎?你需要的是一流包裝設計!

看好電動車潛力，台中建商與台達電子合作，於新完工大樓採用台達電的電動車充電解決方案，設置兩座通用型快速充電站，充電30分鐘即可上路。

通用型充電站指Tesla之外的電動車皆適用，Tesla則要使用超級充電站（Supercharger），目前僅有台北花博公園有設置Tesla的超級充電站。

2017年1月，台達協助BMW台灣總代理汎德於台北市20處停車場建置40座電動車充電座；4月時又再次為汎德於台北101大樓建置直流和交流充電器。

（首圖來源：public domain CC0）

本站聲明:網站內容來源於EnergyTrend https://www.energytrend.com.tw/ev/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※教你寫出一流的銷售文案?

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※回頭車貨運收費標準

※別再煩惱如何寫文案,掌握八大原則!

※超省錢租車方案

※產品缺大量曝光嗎?你需要的是一流包裝設計!