学会員メーリングリストアーカイブ (2015年)

[dbjapan] タスク参加募集 NTCIR-12 IMine- 2タスク


日本データベース学会の皆様,
(重複して受け取られた場合にはご容赦ください)

京都大学の山本と申します.
NTCIR-12 IMine-2タスクの参加募集をお送りさせていただきます.

IMine-2ではこれまで以上に,実際の検索エンジンに求め
られる技術と密接に関連したタスクとなっております.
参加をご検討いただければ幸いです.

##################################################
                  タスク参加募集

     NTCIR-12 検索意図マイニングタスク(IMine-2)

     IMine-2 ホームページ:
     http://www.dl.kuis.kyoto-u.ac.jp/imine2/

     NTCIR-12 の参加登録締切:  2015年6月30日
###################################################

=== 概要 ===

IMine-2(検索意図マイニング)タスクは,NTCIR-12のタ
スクの1つです.NTCIRとは,複数の参加者が,同じ目的,
テストコレクションのもと,互いに技術を競い合う,もし
くは協力することを通じて情報アクセス技術を進歩させる
ことを目的とした国際的なワークショップです.IMine-2
は,ウェブ検索ユーザの検索意図理解を目的としたタスク
であり,後述する,検索クエリの意図理解タスク,あるい
は文書ランキングタスクなどに対してそれぞれのチームが
取り組み,その精度を共通の枠組みで評価します.

IMine-2はこれまでのNTCIRにて実施されてきたIMine,
INTENT,INTENT-2タスクがその前身となっており,情報検
索分野で現在も活発に研究が行われている,検索意図推定,
検索結果多様化に関する世界最大の評価型タスクです.
IMine-2では,これまで扱って来た検索結果多様化だけでな
く,近年活発に取り組まれている統合検索(aggregated
search)の考えをタスク設計に取り入れ,より実際の検索
エンジン技術に即したタスクとなりました.

=== タスク ===

IMine-2タスクでは,下記の2つのサブタスクを設けてお
ります.どの言語のどのサブタスクでも自由に参加いただ
けます.

(1)Query Understandingサブタスク(日,中,英)

Query Understandingサブタスクは,クエリの背後にある
検索意図理解を目的としたサブタスクです.与えられたク
エリに対し,考えられる意図を文字列で表現したもの(サ
ブトピック)を重要度でランクづけして出力します.例えば,
「iPhone6」というクエリに対し,「iPhone6 公式ページ」,
「iPhone6 売上」,「iPhone6 画像」,「iPhone6 故障」
といったサブトピックが出力として考えられます.

これまでの過去のNTCIRで取り組んでいたSubtopic
Miningサブタスクとの違いは,本サブタスクでは,個々の
サブトピックに対し,どの種類の情報をユーザが求めてい
るかという意図も推定する必要がある点です.現在のウェ
ブ検索エンジンは,検索結果ページ中に,通常のウェブペ
ージだけでなく,ニュース,画像,Q&Aといった,様々な
種類の情報がマージされ1つの検索結果ページを構成してい
ます.このように,それぞれのサブトピックに対して,ユ
ーザが求める情報の種類は異なると考えられます.本研究
では,このような情報の種類をバーティカルと呼び,それ
ぞれのサブトピックに適したバーティカルの推定がシステ
ムに求められます.

たとえば,「iPhone 6」というクエリでは,システムに求め
られる出力は下記のようになります.

――
1st: iPhone6 公式ページ Web
2nd: iPhone6 売上      News
3rd: iPhone6 画像      Image
4th: iPhone6 故障      Q&A
 :
――

システムは,上記のような出力を,オーガナイザが配布す
るデータセットや,参加者が独自に用意したデータセット
を用いて生成します.また,システムの出力はトピックの
多様性および,トピックとバーティカルとの対応の適切さ
の両面から評価される予定です.

(2)Vertical Incorporatingサブタスク(中,英)

Vertical Incorporatingサブタスクは,多様な意図を持
つユーザを満足させるためのランキング生成を目的とした
サブタスクです.Vertical Incorporatingサブタスクで
は,与えられたクエリに対して,多様化されたランキング
を出力するタスクです.このサブタスクでは,システムは
単に様々なサブトピックをカバーするような多様なランキ
ングを生成するだけでなく,Webページ,画像,ニュース
といった異なるバーティカルからの情報を適切に統合し1
つのランキング結果を作成することが求められます.本サ
ブタスクは中国語および英語によるタスクが設けられてお
り,それぞれSogouT,ClueWeb12-B13コーパスから得られ
た文書,また,各種バーティカル検索エンジンから収集さ
れたデータがデータセットとして配布されます.

=== データセット(予定) ===
IMine-2では,それぞれのサブタスクに取り組むため,参
加チームに下記のデータセットを配布することを予定して
います.

- 各種ウェブ検索エンジンのクエリ推薦,補完データ
- Sogou検索エンジン(中国における検索エンジン)
   - クエリログ(SogouQ)
   - 文書コーパス(SogouT)
- 英語ウェブ文書コーパス
   - ClueWeb12-B13
- 各種バーティカルに関する検索結果
    - 画像検索,ニュース検索といったさまざまな種類の
      検索エンジンから収集した検索結果を参加者に配布
      します.

=== 日程 ===

2015年6月        テストクエリ・データセット公開
2015年6月30日	   参加登録締切
2015年10月        結果提出締切
2016年2月1日     評価結果公開
2016年3月1日     ドラフト論文 提出締切
2016年5月1日     最終論文 提出締切
2016年6月7-10日   NTCIR-12 conference @ NII

=== 参加方法 ===

本タスクに興味を持たれた研究グループはぜひNTCIR参加
登録ページhttp://ntcir.nii.ac.jp/NTCIR12Regist/
にて参加登録をお願いいたします.

また,タスク参加者は 1) NTCIR-12ワークショップへ査読
なしの論文投稿,および 2) NTCIR-12ワークショップ(2016年
6月開催)への参加が求められますので留意ください.

=== 運営者 ===

山本 岳洋(京都大学)
Yiqun Liu, Tsinghua University
Min Zhang, Tsinghua University
Zhicheng Dou, Renmin University of China
Ke Zhou, Yahoo! Labs
Ilya Markov, University of Amsterdam
加藤 誠(京都大学)
大島 裕明(京都大学)

=== 問い合わせ先 ===

質問がございましたら下記にご連絡ください.

imine2-organizers [at] dl.kuis.kyoto-u.ac.jp
(日英を問わず,お気軽にお問い合わせください.)

=== リンク ===

IMine-2 ホームページ:
http://www.dl.kuis.kyoto-u.ac.jp/imine2/

IMine ホームページ:
http://thuir.org/IMine/

NTCIR-12:
http://research.nii.ac.jp/ntcir/ntcir-12/

-- 
Takehiro Yamamoto, Assistant Professor
Department of Social Informatics,
Graduate School of Informatics, Kyoto University
Email: tyamamot [at] dl.kuis.kyoto-u.ac.jp
Tel: 075-753-5702
http://rerank-lab.org/