YouTube検索結果をスクレイピングして勝手API化 http://www.ark-web.jp/sandbox/wiki/184.html

YouTube検索結果をスクレイピングして勝手API化

YouTube APIのlist_by_tagは検索結果が少ない †

YouTubeのDeveloper APIsのyoutube.videos.list_by_tagを使うと、指定したキーワードでの検索結果をXMLで受け取ることができます。

ただ、このAPIを使って得られる検索結果は、YouTube.com上で全文検索した場合よりも検索結果の数が少ないです。

• YouTube.comで「aaaa」で検索した結果
  => 全 1359 件(2006/11/26現在)
  http://www.youtube.com/results?search_query=aaaa&search=Search
• videos.list_by_tagを使って「aaaa」で検索した結果
  => 全 900件未満(2006/11/26現在)
  http://www.youtube.com/api2_rest?...tag=aaaa&page=9&per_page=100

検索結果をスクレイピングして勝手API化 †

そこで、YouTubeの検索結果のHTMLをスクレイピングして、それをXMLとして返す勝手APIを作成しました。

• 使用例： (20 × 68 = 1360件以上の結果が得られている)
  http://okra.ark-web.jp/~shida/sandbox/youtube_search_result_scraper/?keyword=aaaa&page=68
• パラメータ:

keyword

UTF-8でURLエンコードして指定してください。

page

正の整数で指定してください。

※注意)

• 1ページあたりのエントリー数は「20」固定となっており指定はできません。
• YouTubeの検索結果ページのHTMLがかわると動作しなくなります。
• まだ作ったばかりでβです。

ダウンロード †

• RubyForgeでMITライセンスで公開しています。
  http://rubyforge.org/projects/youtubescraper/
• インストールは次のようにして行うことが出来ます。

  $ sudo gem install youtubesearchresultscraper

• Rdocはこちら
  http://www.ark-web.jp/sandbox/wiki/youtubesearchresultscraper/doc/

コメント †

なにか問題があったら是非こちらにご報告をお願いします。

• GJ! B^) -- 中野 2006-11-26 (日) 17:58:28
• すばらすい -- 安藤? 2006-11-26 (日) 23:08:43
• 今アクセスしたらエラーが出てしまいました。no such file to load -- youtube/searchresultscraper -- funaki? 2006-11-28 (火) 09:35:50
• すみません、いつの間にかgemがサーバーからアンインストールされてました。^^;　インストールし直ししました。 -- 志田 2006-12-02 (土) 14:48:15
• 0.0.2にバージョンがあがりました。 -- 志田 2006-12-03 (日) 13:06:48
• バージョンが0.0.3にあがりました。スクレイピング失敗時のエラー処理と、検索総数の取得ができるようになりました。小沼さんが対応してくださいました。ありがとうございます。m(_ _)m -- 志田 2006-12-22 (金) 13:41:11
• 勉強になりました。こちらこそありがとうございます。m(_ _)m -- 小沼 2007-01-30 (火) 12:20:14
• 今見てみたところ、APIとスクレイピングではほとんど件数が変わらなくなっていますね。このモジュールももう用済みかも・・・? -- 志田 2007-06-18 (月) 17:36:40

投稿者志田 | パーマリンク | コメント(8)

|

tag: YouTube, WebAPI, スクレイピング

Menu

• システム勉強会
• オープンソース・ライセンスなツールなど
• Plaggerでみんなのブックマークをアグリゲート

Movable Type用プラグイン Aシリーズ

ECサイト構築 Zen Cartハイエンド

Tag

最新の20件

ARK-Webビジネスブログの最新記事