SpidersInterface V1.0

SpidersInterface V1.0
注意事项
http请求状态信息
1.即时检索接口
1.1 抖音即时检索单页爬取接口(暂时有问题)
1.2 手机微博即时检索单页爬取接口
1.3 手机微博通过videosid检索单页爬取接口
1.4 快手即时检索单页爬取接口
1.5 快手通过videosid检索详情爬取接口
1.6 抖音通过userid检索单页爬取接口(非对外提供)
1.7 抖音通过videosid检索详情爬取接口
1.8 腾讯通过videosid检索详情爬取接口
1.9 抖音通过userid检索PC首页爬取接口
2 数据库

[TOC]

注意事项

没有加密的爬虫不是好爬虫 key：**** 加密算法为md5
一般加密方式md5(key_value+page_num+t+****)=token
秒拍加密方式md5(key_value+user_id+t+hi)=token
抖音等接口的线上单机服务器IP：==IP：47.100.18.13:8070==
==不确定的请询问虫师==

http请求状态信息

| 状态码 | 说明 |
| ------ | ---- |
| 200 OK | 请求成功 |
| 401 Unauthorized | 请求未授权 |
| 403 Forbidden | 请求未授权，资源访问权限不够 |
| 400 Bad Request | 请求错误，请参考 API 文档并重试 |
| 404 Not Found | 请求失败，访问资源不存在 |
| 405 Method Not Allowed | 请求失败，请求方法不允许 |
| 500 Internal Server Error | 服务端错误 |
| 503 Service Unavailable | 请求过于频繁，服务不可用|

#1.即时检索接口
#1.1 抖音即时检索单页爬取接口(暂时有问题)

url ：127.0.0.1/v1/spider/douyin
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|key_value | true |string |搜索关键字如：人民网 |
|page_num |true |string| 页数第一页输入1其余看返回值|
|t |true |long |当前时间戳如： 1541640964|
|token| true |string| 9c7dcad525814f31aebb34afeaf7901c|

example

/v1/spider/douyin

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
| max_cursor | long | 下一页页码对应page_num 如： 1533720493000|
| pubdate | string | 发布时间如： 2018-11-02 23:28 时间戳也行后期改|
| title | string| 标题|
| forwarding_amount| int | 转发数|
| point_num | int | 点击数|
| cover_photo | string | 封面图片|
| BGM | string | 背景音乐名|
| comments | int| 评论数|
| source | string | 视频来源|
| address | string| 视频地址|
| duration | string | 视频长度 32000毫秒(ms)|
| 请求结果 | json or list| True：请求成功 json数据 False：[] other：自己输入格式不对，请看具体提示|

![Alt text](./1542091734240.png)

#1.2 手机微博即时检索单页爬取接口

url ：127.0.0.1/v1/spider/mweibo
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|key_value | true |string |搜索关键字如：人民网 |
|page_num |true |string| 页数第一页输入1, 第二页为 2|
|t |true |long |当前时间戳如： 1541640964|
|token| true |string| 9c7dcad525814f31aebb34afeaf7901c|

example

/v1/spider/mweibo

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
|pubdate | string |发布时间如：19小时前|
|title |string |标题|
|forwarding_amount| int| 转发数|
|point_num |int| 点击数|
|cover_photo| string |封面图片|
|comments |int| 评论数|
|source |string| 视频来源|
|address| string| 视频地址|
|playback |int |视频播放量|
|source_from|string|视频最终来源只有微博有|
|duration |int| 单位为秒视频播放时长|
|aweme_id |string |视频id|
| 请求结果 | json or list| True：请求成功 json数据
False：[] other：自己输入格式不对，请看具体提示

![Alt text](./O8[X0Q{ED_`1}75]8UWA.png)

#1.3 手机微博通过videosid检索单页爬取接口

url ：127.0.0.1/v1/spider/mweibo_videosid
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|videos_id|true |string| 视频id|
|t |true |long |当前时间戳如： 1541640964|
|token| true |string| 9c7dcad525814f31aebb34afeaf7901c|

example

/v1/spider/mweibo_videosid

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
|aweme_id |string |视频id|
|forwarding_amount| int| 转发数|
|point_num |int| 点击数|
|comments |int| 评论数|
|address| string| 视频下载地址|
|playback |int |视频播放量|
| 请求结果 | json or list| True：请求成功 json数据
False：[] other：自己输入格式不对，请看具体提示

![Alt text](./214344124.png)

#1.4 快手即时检索单页爬取接口

url ：127.0.0.1/v1/spider/kuaishou
method ：post
postData：json格式

example

/v1/spider/kuaishou

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
| max_cursor | long | 下一页页码对应page_num 如： 1533720493000|
| pubdate | string | 发布时间如： 2018-11-02 23:28 时间戳也行后期改|
| title | string| 标题|
| forwarding_amount| int | 转发数|
| point_num | int | 点击数|
| cover_photo | string | 封面图片|
| playback |int |播放量|
| comments | int| 评论数|
| source | string | 视频来源|
| address | string| 视频地址|
| aweme_id |string |视频id|
| duration | string | 视频长度 32000毫秒(ms)|
| 请求结果 | json or list| True：请求成功 json数据 False：[] other：自己输入格式不对，请看具体提示|

![Alt text](./15465819591.jpg) #1.5 快手通过videosid检索详情爬取接口

url ：127.0.0.1/v1/spider/kuaishou_videosid
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|t |true |long | 当前时间戳如： 69721760111|
|videos_id| true |string| 视频id videosid 如：6632114097238314247|
|token| true |string| 6aad2d49e26a1bec8defbd689ee599d3|

example

/v1/spider/kuaishou_videosid

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
| aweme_id | string | 视频id |
| point_num | string | 点击数|
| comments | string | 评论数|
| playback | string | 播放量|
| 请求结果 | json or list| True：请求成功 json数据 False：[] other：自己输入格式不对，请看具体提示|
Alt text

#1.6 抖音通过userid检索单页爬取接口(非对外提供)

url ：127.0.0.1/v1/spider/douyin_userid
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|key_value | true |string |搜索关键字如：人民网 |
|page_num |true |string| 页数第一页输入1其余看返回值|
|t |true |long | 当前时间戳如： 1541640964|
|user_id| true |string| 用户userid 如：69721760111|
|token| true |string| 9c7dcad525814f31aebb34afeaf7901c|

example

/v1/spider/douyin_userid

responseData

![Alt text](./1542094318146.png)

#1.7 抖音通过videosid检索详情爬取接口

url ：127.0.0.1/v1/spider/douyin_videosid
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|t |true |long | 当前时间戳如： 69721760111|
|videos_id| true |string| 用户videosid 如：6632114097238314247|
|token| true |string| 6aad2d49e26a1bec8defbd689ee599d3|

example

/v1/spider/douyin_videosid

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
| aweme_id | string | videosid|
| point_num | string | 点击数|
| comments | string | 评论数|
| 请求结果 | json or list| True：请求成功 json数据 False：[] other：自己输入格式不对，请看具体提示|

![Alt text](./1544413614847.png)

#1.8 腾讯通过videosid检索详情爬取接口

url ：127.0.0.1/v1/spider/tengxun_videosid
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|t |true |long | 当前时间戳如： 69721760111|
|videos_id| true |string| 视频videosid 如：6632114097238314247|
|token| true |string| 6aad2d49e26a1bec8defbd689ee599d3|

example

/v1/spider/tengxun_videosid

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
| aweme_id | string | videosid|
| playback | int | 播放数|
| comments | int | 评论数|
| 请求结果 | json or list| True：请求成功 json数据 False：[] other：自己输入格式不对，请看具体提示|

Alt text

#1.9 抖音通过userid检索PC首页爬取接口

url ：127.0.0.1/v1/spider/douyin/userid
method ：post
postData：json格式

| 参数名 | 是否必须 | 类型 | 说明 |
| ------ | -------- | ---- | ---- |
|t |true |long | 当前时间戳如： 69721760111|
|user_id| true |string| 用户user_id 如：98362447836|
|token| true |string| e1c86888960142233dc69592621e28c7|

example

/v1/spider/douyin/userid

responseData

| 字段名| 类型 | 说明|
| ------ | -------- | ---- |
| user_id | string | user_id用户|
| short_id | string | short_id 抖音id号|
| img | string | logo地址|
| nickname | string | 媒体或用户名|
| point_num | string | 点赞数|
| focus | string | 关注数|
| followers | string | 粉丝数|
| location | string | 地址|
| signature | string | 简介|
| create_date | int | 请求时间戳|
| works | string | 作品数|
| constellation | string | 星座|
| likes | string | 喜欢数|
| 请求结果 | json or list| True：请求成功 json数据 False：[] other：自己输入格式不对，请看具体提示|

![Alt text](./1548331445036.png)

#2 数据库

连接地址: 47.100.18.13:37018
账号密码: xxx ----- xxxx
取的数据根据你的具体需求来

spiders_douyin 抖音视频信息
spiders_douyin_comments 抖音评论信息
spiders_douyin_user 抖音用户媒体信息
spiders_kuaishou 快手视频信息
spiders_miaopai 秒拍视频信息
spiders_mweibo 微博视频信息
spiders_fans_douyin 抖音粉丝视频信息
spiders_fans_miaopai 秒拍粉丝视频信息
spiders_fans_weibo 微博粉丝视频信息
videos_data 抖音媒体用户数据每天详情
leaderboard_all 抖音每小时排行榜
算法看