大家好~ 新年快樂
我是清大菸酒貓~先在這邊跟大家拜個年

過年期間,待在家中有些無聊
所以我就索性把 Dcard 討論區上的文章全部爬下來
看看能不能做些什麼研究

之所以選擇討論區的原因是
討論區屬於網路上公開的區域
任何人都能夠不需經過任何認證取得資料
所以比較不會有隱私的問題

我爬下來的資料涵蓋的時間是
2011/1/5 到 2015/2/14 的資料
總計有 59,230 篇文章,991,912 篇留言



那既然有資料之後
就可以先來做一些簡單的統計
這次我們就先看一下各學校與系所的活躍程度吧



=== 發最多文的學校 Top 5 ====
1. 臺灣大學 2481 篇
2. 輔仁大學 1656 篇
3. 成功大學 1509 篇
4. 淡江大學 1380 篇
5. 東吳大學 1345 篇

=== 發最多文的系所 Top 5 ====
1. 資訊工程學系 633 篇
2. 電機工程學系 485 篇
3. 資訊管理學系 438 篇
4. 中國文學系 316 篇
5. 機械工程學系 281 篇

=== 發最多文的學校與系所 Top 5 ====
1. 交通大學 資訊工程學系 115 篇
2. 中興大學 化學工程學系 106 篇
3. 高雄第一科大 資訊管理學系 103 篇
4. 高雄大學 亞太工商管理學系 91 篇
5. 臺灣大學 資訊管理學系 89 篇




=== 留最多次言的學校 Top 5 ====
1. 臺灣大學 52359 次
2. 交通大學 48332 次
3. 成功大學 39318 次
4. 東華大學 37568 次
5. 淡江大學 36937 次

=== 留最多次言的系所 Top 5 ====
1. 資訊工程學系 30603 次
2. 電機工程學系 19268 次
3. 機械工程學系 12957 次
4. 中國文學系 12613 次
5. 資訊管理學系 11737 次

=== 留最多次言的學校與系所 Top 5 ====
1. 交通大學 資訊工程學系 5814 次
2. 東華大學 諮商與臨床心理學系 5229 次
3. 交通大學 機械工程學系 4708 次
4. 中科大 護理學系 3706 次
5. 元智大學 資訊工程學系 3382 次


更詳細的統計資料可以在這裡找到:


下次我會貼出與性別相關的統計資料
各位有什麼想看的統計資訊,也可以在下面留言
如果我可以統計出來的話,就會貼出來給大家XD


小插曲:
我在嘗試將資料存進我的資料庫時
發現有一篇文章的留言塞了奇怪的東西
害我資料存不進去:


打開一看才發現有人從 B25 開始嘗試攻擊 Dcard 的伺服器
不過這個人也有可能是 Dcard 的測試人員吧~

清大菸酒貓

熱門回應

259
高雄大學 亞太工商管理學系 91 篇
看起來我們學校都靠波波鳥撐天下啊...
238
罪魁禍首在此
上榜真是又榮幸又羞恥 五味雜陳啊......


粉紅陸行波波鳥
70
看到資訊工程系的回文數量
讓我背後一陣涼意

不過後來看到是交大資工就…
原來人外有人,天外有天啊0_<

不過後來發現中科資工也有2456次回覆…好可怕

中顆橘子

共 83 則回應

4
好酷哦!!!!!!
21
有神快拜!
好奇原PO到底用了多少時間在數....
70
看到資訊工程系的回文數量
讓我背後一陣涼意

不過後來看到是交大資工就…
原來人外有人,天外有天啊0_<

不過後來發現中科資工也有2456次回覆…好可怕

中顆橘子
4
這...神文出現啦!!
原po辛苦了XD
259
高雄大學 亞太工商管理學系 91 篇
看起來我們學校都靠波波鳥撐天下啊...
25
我有點好認到可怕欸 哈哈哈
原來我留過577篇言 @@
1
認真推~~~
2
等等系上名單怎麼會有個
陳冠希 1
...............
2
元智資工上榜啦
2
大神請受我一拜!!<(_ _)>

-語璇
3
原來我的留言數已經有1091了啊!(大驚

外星水瓶
1
PO最多廢文的學校 ----中原大學 (欸
0
原PO好強大啊!!!!!!!!!!!!!!!!!!!!
9
B8 我還看到清大NONO
這到底xDDDDDDDD

Post images

19
發文最多的學校系所
有一個根本波波鳥吧哈哈哈哈哈

不過主要是因為波波鳥都沒隱藏
而且你們系的好像很少人哈哈哈
-33來遲了
14
中原和東華的廢文數持續飛快上升中

...
7
有人用 sql injection 攻擊留言板 = =
感覺挺無腦的

- -帥版蝦- -
238
罪魁禍首在此
上榜真是又榮幸又羞恥 五味雜陳啊......


粉紅陸行波波鳥
22
整理完後真的覺得還蠻有趣的

將近一百萬篇的文章怎麼可能一一數啦XD
當然是讓程式來算囉~
他大概花了 10 秒吧

我看到資工排第一也很訝異
而且還比第二名多了快一倍

不會~不會~
都是程式算的~

我看到的時候第一個想到也是波波鳥XD
波波鳥太強惹~

哈哈~那代表們你在 Dcard 上很活躍啊~

感謝XD

交大陳冠希呀~

不一定是廢文啦XD

因為這是程式自動計算的
那就代表有人的系所叫這個名字囉~
不過我們都有清大小吃部惹~
我想應該不奇怪XD

恩恩~第一次看到也挺訝異的
除此之外還有一篇出現超長留言
下次再貼出來

這代表你已經成為了神級的人物了 (?
5
原來資訊工程可以做到這種事呀?!好厲害喔!!
1
這個厲害
超神!!
3
學長 我們學校一共有620篇左右的文章耶
我只是冰山一角XD

No no no我覺得你比較神
清大的男孩紙都這麼厲害嗎(●°u°●)


粉紅陸行波波鳥
2
太強啦~~
感覺清大人都不太活躍QAQ
9
已跪!
厲害!!媽~~我遇到想嫁的男生了....
5
是33耶~~~~~
對啊我從來不會匿名 連簽名檔都不太會拿掉
辨識度太高了XD


粉紅陸行波波鳥
1
猛猛der
14
雖然91篇可能還不見得只有你發
但曾幾何時,亞太=波波的形象已長存我心
以後如果要改系徽
我會以匿名校友的身分幫你送交鳥徽去報名
7
我剛剛數了一下 以高大亞太名義發的文有75篇 全部大概85吧
學長不要XDDDDDD


粉紅陸行波波鳥
0
B17 可以求解釋嗎xDD?
0
對呀~理論上跟電腦有關的事情我們都做得到吧~
理論上啦...

感謝支持~

其他學校也有很厲害的人啦~

真的... 清大連前 10 名都沒有 QQ

這樣我會害羞啦 >///<
可是我有閃光了~

波波鳥形象也深植我心了~

清大菸酒貓
3
1
想問你的 crawler. 是怎麼寫的??求開放原史碼
是用 python ? 還是 PHP +curl ...
寫法有 用到 模擬 browser 送request 嗎

- - 帥版蝦- -
0
B30 只是很驚訝能夠有辦法把那麼多篇的文章跟回應用程式計算出來,尤其如果你不是開發者的話。話說跟電腦有關的,難道資工會駭資料是基本功嗎?XD
0
中央人都沒出現哪~~
1
我只爬到這一行字XDD

['請先登入 或 立即註冊 Dcard!']
1
原PO也說了 是找公開的區域,只要能公開看到的就不算是用駭的吧。
所以就是把文章全弄下來 再收集關鍵字
1
正解

通常 Crawler 會用 Python 寫
不過因為我不會 Python
所以我是用 Java 寫的XD
大概 100 行左右

用瀏覽器附設的 debug 工具檢測一下 request
就可以知道 Dcard 是如何從伺服器取得文章了~

然後再讓程式跑一個迴圈去送 request
把回應的物件存起來即可

如果你想要我取得的資料的話
我可以放到網路上XD

清大菸酒貓
1
嘖嘖我已經潛水很久了為何留言數還會排16啦 XDD
是說我前面的是晨心吧?XDD

加大臭豆腐
2
這些資料不是用駭的啦XD
都是大家點一點瀏覽器就能夠找到的文章與留言哦~
感謝 B36 解釋~

有啦~中央在留言數也有前十名
請參考附表~

加油~
1
我!!!!!!
我想看神回覆的統計!!!!(任性
神回就是每篇有上人氣回覆就算
3
哦?神回覆的統計?
那你想看什麼樣的統計呢?

我的意思是說
想看「男生跟女生哪種人發的神回比較多?」
還是「神回大概都是哪些簽名檔的人發的呢?」

清大菸酒貓
0
一樣學校和系所之類的
男女,簽名檔好像也不錯耶!!!
不過好像很難統計orz
0
耶耶我們學校的發文數上榜了欸www
不過...果然沒有我們系的哈哈
覺得同系的卡友好少...

校瓜
5
「神回覆讚數統計」「男女神回覆讚數比較」「學校神回覆讚數統計」「系所神回覆讚數統計」
「文章讚數排名」「男女文章讚數排名」「學校文章讚數統計」「系所文章讚數統計」
同理也可統計還有回覆數、各文章回文學校系所的多樣性、各文章回文簽名檔數統計、各簽名檔發文數之類的
突然覺得你過年有得忙了XD


粉紅陸行波波鳥
3
我有打算要統計一下各種簽名檔的發文次數
不過確實很麻煩
因為要把每個文章最後一行的字抓出來
然後還要統計有沒有重複
可能要花點時間

拍拍~不過有可能是他們都隱藏系所了~
3
等等~!!怎麼都是讚數統計啊XD
其實我性別的統計已經算好了

只是我現在有點懶得整理 (趴
而且我明天還要出去看電影啊XDD
2
你不要這麼專業好不好XD
0
沒有啦就只是想了一下讚數有哪些統計方式
同理也可以統計回文數啊~
或是像我說的單篇文章回文的學校數量之類的
不要只看引號裡面的啦XDDD


粉紅陸行波波鳥
0
哈哈~只是想吐槽一下而已~
一步一步來吧~

清大菸酒貓
1
國北護=臺北護理健康大學

原PO應該花了不少時間在整理吧~
回應...