Octoparse API ドキュメント

1.4.1. 新アクセストークンを取得する

新しいアクセストークンを取得するには、ユーザー名とパスワードが必要です。

{
    "access_token": "ABCD1234",      //アクセストークン
    "token_type": "bearer",		     //トークンタイプ
    "expires_in": 86399,		     //アクセストークンの有効期限（秒）（有効期限内に同じトークンを繰り返し使用することをお勧めします） 
    "refresh_token": "refresh_token" //認可コード（アクセストークンを更新する際に使用します）
}

HeaderName: Authorization
Value: bearer {access_token}

1.4.2. アクセストークンを更新する

アクセストークンの有効期限が切れると、ユーザーは「refresh_token」でアクセストークンを更新することができます。「Refresh Token」は、ユーザー名とパスワードに通じて新トークンを取得の方がより安全です。

注: 各「refresh_token」は一度しか使用できません。現在のリクエストから返された新「Refresh Token」は、次のリクエストに使用されるべきです。

2.1.1.すべてのタスクグループの情報をリストアップする

リクエスト

レスポンス

タスクグループ情報とリクエストステータスを含む JSON 形式のテキスト。

レスポンスのContent-Type

{
  "data": [
    {
      "taskGroupId": 1,
      "taskGroupName": "Example Task Group 1"
    },
    {
      "taskGroupId": 2,
      "taskGroupName": "Example Task Group 2"
    }
  ],
  "error": "success",
  "error_Description": "Operation successes."
}

2.2.1.グループ内のタスク一覧を表示する

リクエスト

パラメーター

レスポンス

タスク ID(taskId)、タスク名(taskName)、ユーザー ID とリクエストステータスを含む JSON 形式のテキスト。

レスポンスのContent-Type

{
  "data": [
    {
      "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
      "taskName": "Example Task 1",
      "creationUserId": "5d1e4b3c-645c-44ab-ac0e-bfa9ad600ece"
    },
    {
      "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
      "taskName": "Example Task 2",
      "creationUserId": "5d1e4b3c-645c-44ab-ac0e-bfa9ad600ece"
    }
  ],
  "error": "success",
  "error_Description": "Operation successes."
}

2.2.2.データをクリアする

リクエスト

パラメーター

レスポンス

データが正常にクリアされたかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Operation successes."
}

2.3.1.データをエクスポートする

エクスポートされていないデータをエクスポートします。データは、エクスポート後に（status=exported ではなく）status=exporting とタグ付けされます。この方法では、同じデータセットをこの方法で複数回エクスポートすることができます。データが正常に取得されていることを確認した後、データのステータスを「exported」に更新したい場合は、2.3.2 の手順でステータスの更新を行ってください。

注：エクスポートが中断された場合（ネットワークの接続中断など）、この方法を使用して再度データをエクスポートしてください。

リクエスト

パラメーター

レスポンス

データとリクエスト状態

レスポンスのContent-Type

{
  "data": {
    "total": 100000,
    "currentTotal": 4,
    "dataList": [
      {
        "state": "Texas",
        "city": "Plano"
      },
      {
        "state": "Texas",
        "city": "Houston"
      },
      {
        "state": "Texas",
        "city": "Austin"
      },
      {
        "state": "Texas",
        "city": "Arlington"
      }
    ]
  },
  "error": "success",
  "error_Description": "Operation successes."
}

2.3.2.データの状態を更新する

これにより、データの状態が「exporting（抽出中）」から「exported（抽出完了）」に更新されます。

注：API「タスクデータのエクスポート」(api/notexportdata/gettop)からエクスポートされたデータが正常に取得されていることを確認した上で、この方法を使用してください。

リクエスト

パラメーター

レスポンス

タスクの状態が正常に変更されたかどうかを表示されます。

レスポンスのContent-Type

{
  "error": "success",
  "error_Description": "Operation successes."
}

2.4.1.オフセットによるデータを取得する

このメソッドには、リクエストにはオフセット、サイズ、タスク ID などのパラメーターが必要です。 オフセットのデフォルト値は 0 (offset=0)、サイズは size∈[1,1000] とします。返されたオフセット（offset > 0）は、次のリクエストに使用されます。 例として、タスクは 1000 行のデータがある場合、パラメーター：offset = 0, size = 100 を使用すると、最初の 100 行のデータとオフセット x（x は必ずしも 100 とは限らない）が返されます。 2 回目のリクエストを行う場合、最初のリクエストから返されたオフセット、offset = X, size = 100 を使用して、 次の 100 行のデータ（101 行目から 200 行目まで）を取得し、次のオフセット offset=x1 も返されました。x1 を次の開始オフセットとして使用する、というようにしています。

注：この方法はデータを取得するためだけに使用されますが、データの状態には影響しません。（エクスポートされていないデータはエクスポートされていない状態のままになります）

リクエスト

パラメーター

レスポンス

データとリクエスト状態

レスポンスのContent-Type

{
  "data": {
    "offset": 4,
    "total": 100000,
    "restTotal": 99996,
    "dataList": [
      {
        "state": "Texas",
        "city": "Plano"
      },
      {
        "state": "Texas",
        "city": "Houston"
      },
      {
        "state": "Texas",
        "city": "Austin"
      },
      {
        "state": "Texas",
        "city": "Arlington"
      }
    ]
  },
  "error": "success",
  "error_Description": "Operation successes."
}