梦奇 Lab 梦奇 Lab: 互联网数据采集与抽取


不少从事IS方面的学术研究者虽然有很好的idea, 但在数据处理方面,尤其面对如今互联网庞大的数据如何进行采集、抽取、清洗、格式化、组织往往力不从心。 人工采集处理数据费时费力,市面购买往往价格高昂。很多研究尚未开始变石沉大海。
梦奇 Lab 为个人学术研究者或大学、研究所等学术研究机构"无偿"提供来自数据方面的技术支持。

数据集探索          定制数据集

数据驱动

“未来的世界,我们将不再由石油驱动,而是由数据驱动。 ” - 马云

互联网数据有多少

据估计,它们之间的四大店里至少有1200 PB级。也就是说120万太字节 。

数据的价值

“我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性,即93%的人类行为可预测。” - 《Science》

他们收录的数据

谷歌

5,000 PB

百度

2,000 PB

Facebook

300 PB

eBay

90 PB

梦奇 Lab 收录的数据

总个数

79

总行数

75,587,489

总大小

29.67 GB

总网页

24,113,373

数据集探索

中国高校导航

中国所有大学数据 - 中国高校导航 - www.ccug.net
更新:2016/09/11 - 创建:2016/09/11

行数:2,204 | 变量数:16 | 数据大小:4.78 MB | 下载量:3 | 浏览量:763
Allen - 11月前
虎扑

虎扑体育论坛全部用户数据 - bbs.hupu.com
更新:2016/08/25 - 创建:2016/08/25

行数:114,285 | 变量数:17 | 数据大小:48.73 MB | 下载量:0 | 浏览量:636
Allen - 11月前
虎扑

虎扑体育论坛全部回复数据 - bbs.hupu.com
更新:2016/08/26 - 创建:2016/08/05

行数:26,739,944 | 变量数:14 | 数据大小:9.33 GB | 下载量:0 | 浏览量:683
Allen - 1年前
虎扑

虎扑体育论坛主贴所有数据 - bbs.hupu.com
更新:2016/08/05 - 创建:2016/08/01

行数:595,717 | 变量数:15 | 数据大小:1.29 GB | 下载量:0 | 浏览量:662
Allen - 1年前
猫扑网

猫扑大杂烩数据-猫扑网 - dzh.mop.com
更新:2016/07/31 - 创建:2016/07/30

行数:23,186 | 变量数:18 | 数据大小:52.27 MB | 下载量:0 | 浏览量:662
Allen - 1年前
老杳吧

集微网分类资讯数据 - laoyaoba.com
更新:2016/07/26 - 创建:2016/07/25

行数:285,055 | 变量数:10 | 数据大小:915.85 MB | 下载量:0 | 浏览量:678
Allen - 1年前
新加坡狮城论坛

新加坡狮城论坛全部数据(包含主贴及全部回复数据) - bbs.sgcn.com
更新:2016/07/29 - 创建:2016/07/11

行数:11,160,252 | 变量数:11 | 数据大小:5.15 GB | 下载量:0 | 浏览量:699
Allen - 1年前
新加坡狮城论坛

新加坡狮城论坛主贴数据 - bbs.sgcn.com
更新:2016/07/09 - 创建:2016/07/08

行数:997,723 | 变量数:12 | 数据大小:1020.84 MB | 下载量:0 | 浏览量:1052
Allen - 1年前
hclip

成人视频网站数据集, 适用于文本分析, 关键字过滤 - hclips.com
更新:2016/07/05 - 创建:2016/07/05

行数:1,166,950 | 变量数:19 | 数据大小:533.17 MB | 下载量:0 | 浏览量:787
Allen - 1年前
无忧保姆网

无忧保姆网全部保姆信息 - www.51baomu.cn
更新:2016/07/03 - 创建:2016/07/03

行数:90,652 | 变量数:13 | 数据大小:22.28 MB | 下载量:0 | 浏览量:781
Allen - 1年前