[爬蟲實戰] 如何抓取淘寶網雙十一購物狂歡節活動網頁中的商品列表?

• 大數學堂
• Nov. 10, 2015, 2:41 p.m.

這篇文章介紹了如何使用Python網路爬蟲來抓取雙十一購物狂歡節活動網頁中的商品列表。雖然淘寶的網頁改版後讓資料抓取變得困難，但這不會阻止我們追求購物資訊的熱情。文章將教你如何使用Python網路爬蟲來解決這個問題。

開始上課

[爬蟲實戰] 如何簡簡單單突破驗證碼 (Captcha) 限制?

• 大數學堂
• July 26, 2023, 12:39 p.m.

這堂免費課指出，不一定需要使用OpenCV來辨識文字，可以使用之前的HTTP請求Session和圖片顯示功能來半自動地抓取有驗證碼限制的網頁內容。這種方法讓抓取網頁資料變得容易又輕鬆。

開始上課

Buzz Alert - Social Media Based Disaster Alert Map

• 大數學堂
• Oct. 13, 2015, 11:44 p.m.

透過採集社群網絡的即時訊息和緊急中心的位置資訊，我們可以建立一個即時的災害預警系統，從而拯救更多人的生命。如果政府能夠建立起這樣的系統，許多人就可以從毀滅性的災害中得救。現在，由於社群網絡的普及，人們可以更容易地傳播即時訊息，如此一來，我們就可以向政府報告國內發生的災害情況。此外，我們還可以整合開放數據的資訊，使人們可以找到最近的緊急中心或避難所尋求幫助。因此，我們建立了Buzz Alert，一個基於社群媒體的預警地圖系統，可以自動從社群網絡收集意見數據，並將災害訊息標示為地圖上的亮點。同時，我們還從開放數據中收集官方緊急中心 醫院和消防機構的位置資訊，並標示在地圖上。我們最大的願望是，全球的政府都能使用Buzz Alert來拯救未來任何災害中的人們。

開始上課

[爬蟲實戰] 如何使用Python 爬蟲 (Python Crawler) 下載Youtube 影片

• 大數學堂
• July 26, 2023, 2 p.m.

這堂免費課介紹了如何使用Python爬蟲抓取YouTube影片並進行下載。不同於一般的爬蟲，要抓取實體影片連結，需要使用正規表達式和查詢字符串解析函數。接著，使用二進制編碼的方式，可以下載Girl's day Expectation的音樂影片串流。這篇文章提供了一個實際的例子來示範如何下載YouTube影片。

開始上課

[爬蟲實戰] 如何擷取網頁中的隱藏輸入以順利下載證交所的 csv 檔?

• 大數學堂
• Sept. 20, 2015, 5:05 p.m.

本文章提到了爬蟲不僅可以擷取網頁的資訊，還可以下載csv檔案。作者在探索過程中發現，證交所使用了base64編碼將網頁內容放在post參數中，讓人感到十分困惑。然而，通過直接抓取網頁中的隱藏輸入欄位，再將資料進行base64編碼，作者成功地下載了csv檔案。

開始上課