• TOP
• 機械学習

[Colaboratory]Google Drive上で共有(公開)されているファイルのダウンロード

2021-04-25T08:18:00+09:00 2021-05-04T09:59:33Z 機械学習

gdownを使って行えます。(Colaboratoryに初めからインストールされています。)

以下のように記載します。

!gdown --id yourFileIdHere

idは共有ファイルのURLから取得します。
例えば以下のURLの場合は、「0B_URf9ZWjAW7SC11Xzc4R2d0N2c」がidです。 https://drive.google.com/open?id=0B_URf9ZWjAW7SC11Xzc4R2d0N2c

残念ながら1Ｇバイト以上のファイルだとダウンロードできませんでした。

以下のコードを使って、1Gバイト以上のファイルをダウンロードできました。

import requests

def download_file_from_google_drive(id, destination):
    def get_confirm_token(response):
        for key, value in response.cookies.items():
            if key.startswith('download_warning'):
                return value

        return None

    def save_response_content(response, destination):
        CHUNK_SIZE = 32768

        with open(destination, "wb") as f:
            for chunk in response.iter_content(CHUNK_SIZE):
                if chunk: # filter out keep-alive new chunks
                    f.write(chunk)

    URL = "https://docs.google.com/uc?export=download"

    session = requests.Session()

    response = session.get(URL, params = { 'id' : id }, stream = True)
    token = get_confirm_token(response)

    if token:
        params = { 'id' : id, 'confirm' : token }
        response = session.get(URL, params = params, stream = True)

    save_response_content(response, destination)

使い方は以下です。

download_file_from_google_drive("0B7EVK8r0v71pZjFTYXZWM3FlRnM", "celebA.zip")