八爪鱼API文档

1.4.1.获取全新Token

你需要提供一次八爪鱼平台的用户名和密码来获取全新【Access Token】。

{
    "access_token": "ABCD1234", 	     //访问通行证
    "token_type": "bearer",		             //token类型
    "expires_in": 86399,		                 //access_token有效时间（秒）（推荐在有效期间内推荐重复使用） 
    "refresh_token": "refresh_token"	 //刷新access_token的凭证
}

HeaderName: Authorization
Value: bearer {access_token}

1.4.2.刷新Token

上一次请求的【Access Token】实体中的【access_token】过期后，可以使用同一实体中的【refresh_token】刷新【Access Token】，方法与获取全新Token类似，修改【请求包含信息】即可。

注意：同一个【refresh_token】只能使用一次，使用后即失效。

2.1.1.得到该用户所有的任务组

请求

响应

用户任务组Json元素的数组格式和状态信息

信息格式

{
  "data": [
    {
      "taskGroupId": 1,
      "taskGroupName": "示例组1"
    },
    {
      "taskGroupId": 2,
      "taskGroupName": "示例组2"
    }
  ],
  "error": "success",
  "error_Description": "操作成功"
}

2.2.1.获取任务组中的任务

请求

请求包含信息

响应

返回任务Id(taskId)，任务名(taskName)和任务创建者(creationUserId)组成的Json元素的数组和状态信息

信息格式

{
  "data": [
    {
      "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
      "taskName": "示例任务1",
      "creationUserId": "5d1e4b3c-645c-44ab-ac0e-bfa9ad600ece"
    },
    {
      "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
      "taskName": "示例任务2",
      "creationUserId": "5d1e4b3c-645c-44ab-ac0e-bfa9ad600ece"
    }
  ],
  "error": "success",
  "error_Description": "操作成功"
}

2.2.2.清空任务数据

请求

请求包含信息

响应

清空任务数据成功与否

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.3.1.导出一批任务数据

此接口可导出任务未导出过的数据，导出成功后将数据标记为【正在导出】（而非【已导出】）状态，故可多次调用此接口导出同一批数据，在你确认数据被正确接收后再调用【标记数据为已导出状态】接口即可。

注意：若在导出数据时发生了意外（比如网络中断），请再次调用此接口重新导出未成功传输的这批数据（不记录断点）。

请求

请求包含信息

响应

任务数据和状态信息

信息格式

{
  "data": {
    "total": 100000,
    "currentTotal": 4,
    "dataList": [
      {
        "词条": "深圳视界",
        "简介": "领先的信息化解决方案提供商，致力于企业级数据整合，网页数据采集，整理，分析和挖掘。"
      },
      {
        "词条": "八爪鱼",
        "简介": "它彻底改变了大家对爬虫和采集器的认知，让网页数据采集变得前所未有的简单。"
      },
      {
        "词条": "数多多",
        "简介": "致力于打造大数据共享与交易平台。"
      },
      {
        "词条": "微图",
        "简介": "一款简单易用的数据分析及可视化工具，支持自然语言分析及文本挖掘。"
      }
    ]
  },
  "error": "success",
  "error_Description": "操作成功"
}

2.3.2.标记数据为已导出状态

当调用【导出一批任务数据】导出某任务一批数据后，这批数据状态从【未导出】变为【正在导出】，调用此接口会将该任务当前所有【正在导出】状态的数据更新为【已导出】状态。

注意：请确认通过【导出一批任务数据】(api/notexportdata/gettop)接口返回的结果被正确完整接收后再调用此接口。

请求

请求包含信息

响应

是否更新成功

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.4.1.根据起始偏移量获取任务数据

此接口根据数据起始偏移量（offset）和请求数据量获取任务数据，初始请求请将偏移量设置为0（offset = 0），数据量size ∈[1,1000]，每次通过此接口请求数据返回的偏移量（offset > 0）可以作为读取下一批数据的起始偏移量。例如某任务有1000条数据， 第一次调用offset = 0, size = 100，则将会返回任务的头100条数据，以及下一次的起始偏移量offset = x（x不一定等于100）。第二次调用时请求参数设置为offset = x，size = 100，则返回任务的第101-200条数据，以及下一次起始偏移量offset=x1，然后用x1作为下次的起始偏移量，以此类推。

注意：此接口只用来读取数据，不会影响数据的导出状态，有关导出状态的详细介绍请参考【标记数据为已导出状态】。

请求

请求包含信息

响应

任务数据和状态信息

信息格式

{
  "data": {
    "offset": 4,
    "total": 100000,
    "restTotal": 99996,
    "dataList": [
      {
        "词条": "深圳视界",
        "简介": "领先的信息化解决方案提供商，致力于企业级数据整合，网页数据采集，整理，分析和挖掘。"
      },
      {
        "词条": "八爪鱼",
        "简介": "它彻底改变了我对爬虫和采集器的认识，让网页数据采集变得前所未有的简单。"
      },
      {
        "词条": "数多多",
        "简介": "致力于打造大数据共享与交易平台。"
      },
      {
        "词条": "微图",
        "简介": "一款简单易用的数据分析及可视化工具，支持自然语言分析及文本挖掘。"
      }
    ]
  },
  "error": "success",
  "error_Description": "操作成功"
}