Google Custom Search APIを使ってGoogle検索をやってみる（GAS）1位から100位までの結果を表示する

読者から質問があり、「51位から100位まではどうやればいいか」というものでした。先回コードは1-10位までで1回のみだったので、おそらく2回ループを回すようなコードのイメージがつかなかったのかなと考えました。実際に、ループ処理では、1回目と2回目以降で全く考え方が異なります。1回のみであれば制御は1回オリジナルですが、ループであればより平準化というか効率的にという考えが求められるからですね。

実際に、先回記事のサンプルコードはループ処理が面倒だったのでやってなかったのですが、ループ処理を追加することで、50位までなら5回（10位までを5回）のようにして、100位までなら1回10件を10回繰り返すということで実現してみました。

ただ冷静に考えると、最後にまとめるのですが、本SearchAPIを使った対象件数がノーマルなGoogle検索と相当ずれていたりします。プログラムで検索したリクエスト結果とはいえ取得した1件目から10件目の後に、11件目から20件目・・・のようにしているわけですが、これが順位といっていいのかが疑問です。結論的にいえば、怪しいというかヒットの有無もずれていたりしていて、参考になるのかな？くらいです。というか、この検索APIをどう使うかなんですが、仮に検索結果を得られるという自動化みたいなことをやる場合、その結果はカスタム検索ということで「カスタム検索エンジン」の設定などでも変わってくるのだろうと考えられます。

さすがにそのカスタム検索設定まで突っ込んで調べていません。逆に分かることがあれば教えて頂ければ嬉しいです。

概要
コード
留意点
検索結果の妥当性
アイデアの否定（笑）
自分で考えてみるのが大事というオチで

概要

今回やってみたのは、

先回記事の改造をして、100位までの結果を出せるようにした
そもそもGoogle検索とAPI検索は結果的に妥当性があるのかを調べた

というところで、大きく２つです。

コード

細かい話は先回記事を見てみてください。

改造した点は以下のようになります。

start_num（検索開始位置）、start_str（検索開始位置の文字列変換用）、j（検索ループ用）を新規追加
リクエストURLにパラメタ「start」を付け、その変数に対してstart_strをセットする
col_pos（セル行位置）を使い、セルに順に追加していく
ループを回し１回目＝１～１０位、２回目＝１１位～２０位、・・・以下、for jループ指定値まで回す（10なら10回、5なら5回）
ループ最後に、start_numを+10増やして、1件目→11件目→21件目→31件目→41件目（50件目まで）→終了となる

インデントもしてなくて見づらくなってますが、

for (j = 0; j < 10; j++) {

のjループが肝です。 j<10が10回ループを回すという意図です。コードを実行する際はリクエスト数を無駄に減らすことになるので、ぜひ1など数を減らして実行して2などでループを確認しつつ試されるほうがいいでしょう。

Loggerなどのログはコメントアウトしているつもりですが消えてなかったすいません。

function main(){

  //設定シートから設定情報を読み込む
  var spreadsheet = SpreadsheetApp.getActiveSpreadsheet();
  var sheet = spreadsheet.getSheetByName('config');
  var word = sheet.getRange(2,2).getValue();
  
  var start_num = 1;
  var start_str = '';
  var j = 0;
  
  for (j = 0; j < 10; j++) {
  
  start_str = start_num.toString();
  
  var apiKey = 'xxx'; //apiキー
  var apiUrl = 'https://www.googleapis.com/customsearch/v1/';
  var query  = '?q='+ encodeURIComponent(word);
  query += '&cx=' + 'xxx';
  query += '&start=' + start_str; //n件目から
  query += '&key='+apiKey;
  
  apiUrl = apiUrl + query;
  
  var response = UrlFetchApp.fetch(apiUrl);
  if (response.getResponseCode() !== 200) {
    throw new Error('エラーのため取得できませんでした');
  } else {
    var res =  JSON.parse(response);
  }

  //Logger.log(res);
  
  //データを取得する
  try {

    //データシートを取得する    
    var sheet = spreadsheet.getSheetByName('data');

    //検索合計数を取得する
    var totalResults =  res.queries["request"][0]["totalResults"].toString();
   
    //取得した値をセルに書き込む
    sheet.getRange(1,1).setValue(totalResults); //合計検索数
    
    //10件ずつ情報を取得する
    var col_pos = parseInt(start_num) + 3; //書き込み行を設定する
    var titles =[];
    var i = 0;
    for (i = 0; i < 10; i++) {
      titles.push([res.items[i]["title"].toString()]);
    }
    sheet.getRange(col_pos,2,10,1).setValues(titles); //配列で書き込む
   
    //urlを取得する    
    var urls = [];
    for (i = 0; i < 10; i++) {
      urls.push([res.items[i]["link"].toString()]);
    }
    sheet.getRange(col_pos,3,10,1).setValues(urls); //配列で書き込む
    
    //概要を取得する
    var snippets = [];
    for (i = 0; i < 10; i++) {
      snippets.push([res.items[i]["snippet"].toString()]);
    }
    sheet.getRange(col_pos,4,10,1).setValues(snippets); //配列で書き込む

    //Logger.log(snippets);
                    
    
  } catch(e) {
    return e.toString();
  }

  start_num = parseInt(start_num) + 10;

  //Logger.log(start_num);
  
  }
  
}