全球人工智能：专注为AI开发者提供全球最新AI技术动态和社群交流。用户来源包括：北大、清华、中科院、复旦、麻省理工、卡内基梅隆、斯坦福、哈佛、牛津、剑桥等世界名校的AI技术硕士、博士和教授；以及谷歌、腾讯、百度、脸谱、微软、华为、阿里、海康威视、滴滴、英伟达等全球名企的AI开发者和AI科学家。

文章来源：Techug 作者：程序师视野

PornHubBot源代码介绍：

PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

项目爬的是PornHub.com，结构简单，速度飞快

爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。

10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]

所需的环境和架构：

开发语言: Python2.7

开发环境: MacOS系统、4G内存

数据库: MongoDB：

启动前配置：

安装MongoDB,并启动，不需要配置

安装Scrapy

安装Python的依赖模块：pymongo、json、requests

根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动指令：python PornHub/quickstart.py

运行截图：

数据库说明：数据库中保存数据的表是 PhRes。以下是PhRes表字段说明：

展开全文

GitHub资源：https://github.com/xiyouMc/WebHubBot

GitHub资源：https://github.com/xiyouMc/WebHubBot

声明：本文内容仅供AI技术研究使用，严禁传播色情内容！

热门文章推荐

重磅|中国医疗机器人行业图谱：2家上市，12家获融资，近1/3的团队来自哈工大

重磅|这家只上了中小板的AI公司市值或将超万亿!!!!!

重磅|佩奇致股东公开信：除了谷歌，Alphabet还做了啥？

重磅|滴滴宣布融资380亿(估值约3500亿):重点布局AI业务！

最新|霍金称世界正迈入“新科学复兴”，李开复微博点赞

资源|杜克大学计算机统计学（Python）全部内容中文翻译

重磅|马斯克的第四次惊天创举：这一次，他将拿人脑开刀！

重磅|15种排序算法动画演示（附视频）