人と自然に対話するAIを、研究の最前線で。

京都大学 言語メディア研究室は、自然言語処理を軸に、人と自然に対話して会議を支援する対話システム（会議アシスタント）などの研究に取り組んでいます。李様は、LLMを活用した会話システムで「誰と・いつ話すか」に着目した研究を進める中、その土台となる評価用データのアノテーションをアノサポに依頼しました。

研究テーマである「会議の有効性評価」では、会議をトピックごとにセグメント化して評価する新しい手法の検証に、大量かつ難易度の高いアノテーションが必要でした。過去にはAmazon Mechanical Turk等のクラウドソーシングも利用しましたが、作業者の質のコントロールが難しく、タスクが難しいほど作業者間の回答の一致度が下がるという課題が。データ量も多く、研究室のメンバーだけで対応するのは現実的ではありませんでした。

アノサポは、コスト面での相談のしやすさに加え、難易度の高いタスクに「適した作業者をテストで選抜する」体制で対応しました。李様と約2週間かけてアノテーション仕様書を共同で設計し、内容を細かく定義しつつ、現場が迷わない粒度にまとめています。クラウドソーシングでは難しかった"作業者の質のコントロール"を、選抜とテストによって担保しました。

クラウドソーシングでは一致度が下がっていた難タスクでも、選抜した作業者による一貫したアノテーションを実現。会議の有効性を「人による評価」と「LLMによる自動評価」で比較検証する研究の土台となるデータを整えました。会議アシスタント開発に向けた評価手法の確立を、データ面から後押ししています。