ef+Npoi導出百萬行excel之踩坑記

        最近在做一個需求是導出較大的excel,本文是記錄我在做需求過程中遇到的幾個問題和解題方法,給大家分享一下,一來可以幫助同樣遇到問題的朋友,二呢,各位大神也許有更好的方法可以指點小弟一下,讓我順便學習一下。 背景::工頭:“小鍾啊,xx界面加個導出excel功能03以後的格式,需要能支持到excel的最大行,同時需要5個併發就行” 我:“收到,但是數據大的時候速度可能比較慢。” 工頭:“你先做後續客戶反饋了在給他加進度條。” Npoi神器介紹:SXSSFWorkbook 專門用來導出大數據用,他會把數據先寫入C盤的臨時目錄;不會所有 都留在內存里;更詳細介紹請百度或者參考( ) 有了這層基礎開始劈里啪啦一段操作寫代碼;(以下代碼非生產代碼只是我為了帖子寫重現問題的測試代碼) 首先開個線程模擬併發 編寫導出方法:記錄時間、創建SXSSFWorkbook 代碼如圖: 啟動運行; 好!第一口鍋已造好,看這個提示,前面說了SXSSFWorkbook 是會先把緩存數據寫入Windows臨時文件裡頭的,這個目錄正好是Windows的臨時文件夾雖然是個錯誤但是驗證了剛剛的說法;至於這個錯誤看提示 我們有個大膽的想法是文件佔用問題,應該是創建文件的時候文件已經存在了,這樣我們把npoi的dll打開來看看,通過看源碼和各種f12我們看到了這麼一段代碼 這裏看到用來隨機數,而我們知道net的隨機數在極短的時間內生成是不可靠的(詳見百度或者: )也就是說生成一樣的文件名,然後我們在通過 github里可以看到   早在年初NPOI就對這個問題做了更改就換成guid了,隨後我來到了nuget nuget最新版 是去年12月份發布,並沒有包含上面的更改; 所以呢 要麼github下載最新版編譯要麼自己解決,想了想如果換版本的話以前的功能可能會影響到所以,我們就在外面加一把小鎖吧!如圖   這樣呢我們在試試!   很好 不會在出現文件佔用問題了;好繼續導出! 既然是都先寫入緩存文件是不是佔用的內存就很小了 來看看 2G多。。。什麼情況,還在漲   3G。。。這明顯不符合工頭的需求了,然後終於它炸了 第一念頭是為啥我該怎麼辦,設置GC的回收模式?手動多GC?還是要把代碼給拿下來看看,看看這麼大內存哪裡沒釋放文件?冷靜、冷靜、想想,既然是內存爆了 那麼正確流程應該是抓取看看是什麼吃的內存得出結果再去改東西, 發現了啥是不是很熟悉的東西? 狀態管理、包裝類,想到了啥 EF的“模型跟蹤”這個功能佔用的內存最大了。那就去掉吧 加上這麼一句 意思是無跟蹤查詢 ,修改實例后SaveChanges不對對它生效; (AsNoTracking 更詳情理解介紹請百度在加上msdn: ) 現在在繼續導出看看: 內存是吃的不大了, 可以看出臨時文件還是很大的,這還沒導完呢,所以做的時候 盡量要保證下硬盤的空間! 等待。。。 總結: 1.導出大數據用SXSSFWorkbook 2.構建SXSSFWorkbook 時候lock或者自己編譯最新版本 3.我們做導出時,ef查詢數據後記得加AsNoTracking 關閉綁定跟蹤。(以後日常開發中如果只需要查詢的也可以這樣做) 4.SXSSFWorkbook 導出大數據 臨時文件夾所在的硬盤不能太小 因為會生成大於excel本身的緩存文件!     最後導出完畢 用時:  本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※USB CONNECTOR掌控什麼技術要點? 帶您認識其相關發展及效能

※評比前十大台北網頁設計、台北網站設計公司知名案例作品心得分享

※智慧手機時代的來臨,RWD網頁設計已成為網頁設計推薦首選

網民揭山東偷排污 污水管深埋入海口

摘錄自2020年1月1日大紀元報導

據報,有中國網民近日發表一則視頻,批露山東省龍口市的排污管道深埋於入海口處偷排污水,污染狀況令人震驚。

該拍攝者說,山東龍口濱海大道附近的入海口處,海水退潮後沙灘裸露,有黑色的污水流入大海,且有一股刺鼻的味道。在排污口附近,還有一個黑色管道通向更深處的海中。

山東龍口偷排污水的視頻被曝光後,受到網民的廣泛關注。日前,當地官方的回應也證實了此視頻的真實性。

據《新京報》報導,上(12)月30日晚,龍口市委宣傳部稱,視頻中的上游管道已完全封閉,下游管道全部拆除。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※幫你考照過關,堆高機裝卸操作教學影片大公開 !

※高效率洗滌塔活性碳設備,能去除多少有機溶劑?

※飲用桶裝水到底安不安全? 破解錯誤迷思!

※家庭、朋友聚會,享受輕鬆烤肉必備外燴烤爐NO.1

※新北市探針業者,哪家可以精準車製?

※十大封口機人氣排行榜-烘焙必備幫手!

今年首爆禽流感 雲林撲殺2.3萬隻雞

摘錄自2020年1月2日自由時報雲林縣報導

2020年第一天雲林就傳出禽流感,斗南一處養雞場確診感染高病原性禽流感(H5N2),場內2萬3千多隻紅羽土雞全數撲殺,雲林縣動植物防疫所呼籲,日夜溫差大,養禽業者要落實相關防疫工作。

雲林縣動植物防疫所指出,斗南這處養雞場飼養這批紅羽土雞已70多天,去年12月26日飼主發現有一百多隻異常死亡,27、28日也有200多隻死亡,28日主動通知防疫所,經採樣送驗確診為H5N2。

防疫所表示,去年全縣確診禽流感養禽場有53場,總計撲殺28萬9千多隻家禽,相較前年2018年62場、44萬6千多隻減少許多,去年確診以養雞場最多有29場,其次養鴨場18場。

防疫所強調,確診場數減少主要是業者的自我防疫觀念、技術提升,加上全國防疫策略有助於疫情的防堵,但仍提醒業者,冬季為禽流感高峰期,養禽場要落實人車門禁管制、進出消毒,發現有禽隻異常死亡要主動通報、及早處置,以防範疫情擴散。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※使用真空封口機常見問題?

※高價位跟低價位的示波器又有何差異?

※各大百貨每波促銷贈品活動,限量知名LOGOL型資料夾,獨家販售中!!

※哪裡有合版印刷優惠,尋找L夾客製化印刷廠商?

※如何正確使用開飲機?

※洗滌塔運作原理介紹

副市長陳雄文說,每年季節變化之際常有民眾反應水質惡化

副市長陳雄文說,每年季節變化之際常有民眾反應水質惡化,但經環保局採集水樣,發現是藻類影響,透過告示牌了解水色改變,屬於生態體係自然現象,讓民眾不再因水色變化感到害怕。

環保局長吳家安指出,市府長期推動愛河整治,包括清淤、打撈河面垃圾、防治偷排污染等,愛河2019年全流域平均河川污染指數為5.14,比2018年同期整體改善率達11.38%。

吳家安說,當單一藻類大量繁殖時,愛河的顏色會隨著不同藻類產生的色素而出現不同的顏色,例如愛河變為藍綠色,是水中顫藻及纖毛蟲大量繁殖;愛河變為黃褐色,是水中甲藻及矽藻大量繁殖;愛河變為紅褐色,則是水中隱藻大量繁殖等。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※一般小吃店常見使用的nbr耐油手套,是否有含耐酸鹼作用?

※迴轉式空壓機性能介紹 !

※海線倉儲類人員薪水待遇最新情報

※(全省)堆高機租賃保養一覽表

※高效率洗滌塔活性碳設備,能去除多少有機溶劑?

※射出成型技師工作甘苦談

外運焚化拉警報 南投3月起不收超商垃圾

摘錄自2020年1月2日自由時報南投報導

南投縣每日約產生250噸垃圾,惟因縣內並無焚化爐,垃圾全仰賴外運焚化,為減少垃圾量,縣府近日將公告不再收運縣內187家連鎖超商垃圾,預計從3月起實施,估計每月約可減少90噸到150噸垃圾,即每日約減量3至5噸垃圾。

南投縣13鄉鎮市平均每日垃圾量約230至250噸,縣內未興建焚化爐,必須外運焚化處理,每逢各縣市焚化爐歲修潮,南投垃圾處理就拉警報,尤其近幾年多處焚化爐老舊,需要更大規模整修,垃圾處理量能縮減,更使得南投垃圾無法去化,草屯、南投等地垃圾常堆積如山,不時引發民怨。

縣府環保局長方信雄表示,連鎖超商生產的垃圾並非家戶垃圾,環保局無義務幫忙收運垃圾,尤其近幾年來各大連鎖超商都販賣便當等餐食,垃圾量越來越多,業者必須自己行找尋廢棄物清理公司處理垃圾,2019年8月已和超商業者開會取得共識,2020年起不再收運縣內連鎖超商垃圾。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※幫你考照過關,堆高機裝卸操作教學影片大公開 !

※高效率洗滌塔活性碳設備,能去除多少有機溶劑?

※飲用桶裝水到底安不安全? 破解錯誤迷思!

※家庭、朋友聚會,享受輕鬆烤肉必備外燴烤爐NO.1

※新北市探針業者,哪家可以精準車製?

※十大封口機人氣排行榜-烘焙必備幫手!

印尼雅加達暴雨侵襲 洪災土石流釀21死

摘錄自2020年1月2日公視報導

印尼首都雅加達跨年夜遭暴雨侵襲,引發洪水和土石流,目前至少造成21人死亡。

汽機車被洪水淹得滅頂,搜救人員出動橡皮艇挨家挨戶搜救,印尼首都雅加達跨年夜下起暴雨,引發七年來最嚴重水災,水深達到3公尺高,部分地鐵和火車停駛,一座機場也被迫臨時關閉,不少旅客滯留到早上,印尼總統佐科威表示已經動員12萬名搜救人員,全力救災。

佐科威說:「許多公共設施被淹沒,包括哈里姆柏達那庫蘇馬機場、芝甘北公路。」此外,雅加達郊區發生土石流災情,一名16歲高中生遭雷擊死亡,當局警告在雨季四月結束前,可能將再發生洪災。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※使用真空封口機常見問題?

※高價位跟低價位的示波器又有何差異?

※各大百貨每波促銷贈品活動,限量知名LOGOL型資料夾,獨家販售中!!

※哪裡有合版印刷優惠,尋找L夾客製化印刷廠商?

※如何正確使用開飲機?

※洗滌塔運作原理介紹

違法放天燈釀禍! 華裔三女自首「火燒動物園」:真的很抱歉

摘錄自2020年1月3日ETtoday新聞雲報導

德國克雷費爾德動物園(Krefeld Zoo)31日跨年夜陷入火海,奪走30多隻動物的性命。如今,三名介於30歲至60歲的母女檔1日已向警方投案,外傳一行人感到相當抱歉。但令人關注的是,德國許多地區多年來禁止放天燈,而她們所施放的五盞天燈當中,就有四盞墜落於被燒毀的猿猴館附近。

BBC報導,這些天燈寫有新年祝福語,在三名女子主動投案後,接著進行筆跡確認;根據她們的說法,為了迎接新年到來,她們在網路上購買五盞天燈,以為可以像跨年夜放煙火一樣施放天燈,最終釀成悲劇。另據聯合早報報導,三人為華裔女子。

儘管警方對三人自首的行為給予正面評價,但她們如今可能面臨過失縱火罪名,最高可能被判處五年有期徒刑或罰款。

這場火災燒毀占地約2000平方公尺(605坪)的熱帶猿猴館,也就是稀有婆羅洲猩猩(Bornean orangutans)、黑猩猩、狨猴(marmoset)的家,且部分鳥類、狐蝠(fruit bat)也生活在這裡。事發後,30多隻猩猩等種類的動物喪命,根據調查員霍普曼(Gerd Hoppmann)的說法,許多猩猩死於吸入濃煙。

園區2日仍處於關閉狀態,入口處也臨時搭建一處用鮮花、蠟燭組成的紀念碑。報導指出,這是德國近年來最嚴重的一起動物園火災事故;2010年11月,喀斯魯(Karlsruhe)一間動物園也發生火災,當時造成26隻動物死亡。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※一般小吃店常見使用的nbr耐油手套,是否有含耐酸鹼作用?

※迴轉式空壓機性能介紹 !

※海線倉儲類人員薪水待遇最新情報

※(全省)堆高機租賃保養一覽表

※高效率洗滌塔活性碳設備,能去除多少有機溶劑?

※射出成型技師工作甘苦談

布袋海巡隊海上觀測 守護瀕危白海豚

摘錄自2020年1月5日公視報導

過去半年,海巡署布袋海巡隊在雲嘉海域,一共觀測到白海豚出現32次,算是每一個月都有看見。為了保護這些白海豚,海巡單位會加強取締違法的漁船。

海巡署第十三海巡隊長李松樵說:「因為之前有學者跟我們提過,就是說儘量不要去做主動的靠近,所以我們那個時候就是定點在那邊做一個拍攝,那個時候剛好運氣很好,白海豚牠們整個家族往我們巡防艇這邊來靠近。」

駐守在嘉義縣布袋的第十三海巡隊,在2018年6月至去年年底,在雲嘉海域觀測到32次白海豚的活動,他們發現在雲林海域的麥寮港至台西外海,以及嘉義海域外傘頂洲以南,比較會看到白海豚。

白海豚的活動主要在沿岸3海浬的範圍內,海巡隊表示,漁船違法的刺網或是拖網的作業都會傷害到白海豚,所以除了海上執法、救護、污染防治之外,白海豚的海洋保育,未來也會是海巡任務主要會強力執行的目標。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※幫你考照過關,堆高機裝卸操作教學影片大公開 !

※高效率洗滌塔活性碳設備,能去除多少有機溶劑?

※飲用桶裝水到底安不安全? 破解錯誤迷思!

※家庭、朋友聚會,享受輕鬆烤肉必備外燴烤爐NO.1

※新北市探針業者,哪家可以精準車製?

※十大封口機人氣排行榜-烘焙必備幫手!

強大洪水將車子沖走,所以很多車都翻覆,現在問題是這些車子擋到路,影響到提供救援的隊伍

道路救援聯盟發言人費多指出:「強大洪水將車子沖走,所以很多車都翻覆,現在問題是這些車子擋到路,影響到提供救援的隊伍。」

在爪哇島南部的大雅加達,與鄰近的地區利巴克(Lebak),出現嚴重死傷,洪水沖毀道路、大橋,軍警以直升機空投物資。災民馬彥說:「他們(官員)也許需要時間將救援物資運送過來,我無法評估政府的效率。」

根據印尼氣象、氣候與地球物理局(BMKG)的報告,這次洪災是自1866年有紀錄以來最強大的降雨。官員表示,不排除死亡人數還會增加。這次雅加達洪災起因於跨年元旦起的連日暴雨,造成洪水、山崩,當局撤離數萬人,並且有超過17萬人被安置在救難中心。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※使用真空封口機常見問題?

※高價位跟低價位的示波器又有何差異?

※各大百貨每波促銷贈品活動,限量知名LOGOL型資料夾,獨家販售中!!

※哪裡有合版印刷優惠,尋找L夾客製化印刷廠商?

※如何正確使用開飲機?

※洗滌塔運作原理介紹

反送中衝突後 香港玻璃瓶回收商獲指示有限度重啟回收點

摘錄自2020年1月5日星島日報報導

香港反送中衝突中,示威者近月多次在衝突時以玻璃瓶製作汽油彈進行抗議,港府去年11月宣布暫停回收玻璃樽服務。消息人士指,政府近日已向玻璃瓶回收承辦商「開綠燈」,可有限度陸續恢復回收玻璃樽服務,獲批的回收點大多為建築物內的位置,當中九龍區有約一百個回收桶已經重設,數量為原先的一成。環保署回覆《星島日報》查詢時表示,會因應社會情況的發展,為不同地點的廢玻璃容器回收服務作出合適安排。

香港玻璃再生總經理馮華洪表示,該公司過去1000多個回收點先前已全部關閉,但近期獲政府通知,可陸續回復部分回收點,現已有約100個回收點獲批重置,數量為原先的一成。他透露,獲政府批准重啟服務的回收點,大多位於大廈內的室內位置,部分回收點有物業公司管理,相信政府認為於有關地方重啟回收服務,遭示威者取走的風險較低。

本站聲明:網站內容來源於https://e-info.org.tw/,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※一般小吃店常見使用的nbr耐油手套,是否有含耐酸鹼作用?

※迴轉式空壓機性能介紹 !

※海線倉儲類人員薪水待遇最新情報

※(全省)堆高機租賃保養一覽表

※高效率洗滌塔活性碳設備,能去除多少有機溶劑?

※射出成型技師工作甘苦談