マルチカメラシステムを用いた乳牛の一括管理手法を開発 ～個々の乳牛の健康管理や牛乳生産の効率化に寄与～

【研究の概要】

東京理科大学 工学部 情報工学科の山本 洋太助教、谷口 行信教授、同大学大学院 工学研究科 情報工学専攻の穐澤 和宏氏（2021年度 修士課程修了）、粟生 俊平氏（2024年度 修士課程2年）の研究グループは、マルチカメラシステムを用いて、複数の乳牛を一貫して追跡できる位置情報ベースの手法を開発しました。これは、複数のカメラを使って牛舎全体で乳牛を追跡する初めての試みです。

乳牛の健康管理では、乳牛の様子を常に観察し、異常を早期に発見することが重要です。従来は人の目で観察して逐一判断してきましたが、酪農従事者の減少に加え、信頼性の面でも課題が残されていました。近年、カメラを用いた乳牛の監視システムが開発されましたが、乳牛の姿勢変化や細かな動作により、十分な追跡精度は得られていませんでした。複数のカメラを使った追跡方法も検討されてきましたが、画像特徴量に基づく方法では性能的な限界がありました。そこで、本研究グループは、位置情報に基づく新しい追跡方法を提案し、複数のカメラを使用しても個々の乳牛を識別し、牛舎全体で一貫して追跡できる手法の開発に取り組みました。

本研究で開発した手法では、乳牛の移動が活発な場合（データセットB）と制限された場合（データセットC）の両方で、MOTA(＊2)とIDF1(＊3)の精度スコアがそれぞれ約90%、80%に達し、画像特徴量を使用した従来の追跡方法よりも大幅に優れていることが明らかとなりました。本手法は位置情報のみを使用するため、乳牛の外観的な特徴に対して頑健であり、カメラレンズの歪みによる視認性の変化や画像特徴量の不足があっても、良好に機能することが示唆されました。

本研究成果は、2024年12月4日に国際学術誌「Computers and Electronics in Agriculture」にオンライン掲載されました。

【研究の背景】

　酪農業従事者は年々減少しており、近年では初めて1万人を下回りました。一方で、全体の需要はあるため、牛舎あたりの乳牛飼育頭数は増加傾向にあります。集約的な飼育は酪農の効率化という観点では有効と考えられますが、乳牛一頭一頭の健康管理が困難になっているのが現状です。特に、乳牛は病気にかかりやすく、群れ全体に感染が広がる病気もあるため、異常の見逃しによって大きな経済的損失が発生する可能性があります。さらに、安定した牛乳の生産には乳牛を適切なタイミングで妊娠させる必要があり、酪農家にとって乳牛の個体管理はますます困難な問題となっています。

過去の研究では、複数のカメラを使用して乳牛を追跡する手法が開発されています。しかし、カメラごとに別々に追跡が行われ、同じ乳牛が異なる個体として認識されることや、カメラ間での個体識別と紐づけが行われる場合でも、牛舎の一部を映す少数のカメラ間に限られているなどの課題がありました。

そこで、本研究グループは、マルチカメラシステムを用いて牛舎全体を効率的に監視し、乳牛の個体管理を自動で行うことで、病気の早期発見や妊娠サイクルの維持を実現することを目指して研究を進めてきました。そして今回、画像特徴量を使用せず、位置情報のみを基にした乳牛の追跡方法を提案しました。

【研究結果の詳細】

(1) マルチカメラシステムによる乳牛の追跡手法

今回開発した手法は、検出、射影変換、追跡のフレームワークに基づいており、前処理とその後の3つのステップで構成されています。

前処理: カメラのキャリブレーション。

天井に設置したカメラからの画像座標と実際の牛舎座標との対応を計算し、位置情報を統一された牛舎座標系で扱えるようにする。

ステップ①: 乳牛の個別領域の検出。

各カメラの牛舎画像に対して、物体検出技術を適用し、各乳牛の個別領域を検出する。

ステップ②: 射影変換と牛舎座標系への統合。

ステップ①で得られた各乳牛の個別領域を牛舎座標系に射影し、同じ視野を共有するカメラから射影された同一の領域を統合する。

ステップ③: 乳牛の追跡。

ステップ②で得られた個々の乳牛の射影と統合を基に、牛舎全体にわたる乳牛の追跡軌跡を生成する。

　(2) 追跡に使用した撮影データ

牛舎に設置した10台のカメラで、43頭の乳牛を58分間にわたって撮影しました。得られた画像に対して、各乳牛の周囲に矩形を手動で割り当て、追跡用のグラウンドトゥルースデータとして個別のIDを付与しました。

データセットAとBは、乳牛が搾乳室から牛舎内の特定の位置に歩いて移動するシーンを記録したもので、乳牛が活発に動きながら複数のカメラの下を通過する様子が映っています。データセットCは、乳牛が給餌エリアで群がっているシーンを記録したもので、乳牛はあまり動かないものの、左右に揺れながら餌を食べ、時には食べ物や水を巡って競争している様子が映っています。今回、29頭の乳牛が撮影されたデータセットAを学習に使用し、40頭、43頭の乳牛を撮影したデータセットBとCを追跡精度の評価に使用しました。これらは、牛舎内での乳牛の典型的な動きを捉えたデータセットです。

　(3) 追跡精度の評価

データセットBとCを使用した乳牛の追跡の結果、画像特徴量をベースとした手法では、MOTAで10~40％、IDF1で10~60％の精度であったのに対し、本手法では、MOTAで約90％、IDF1で約80％の精度であることがわかりました。また、1時間のデータセットを5分割して細かく評価した結果、画像特徴量をベースとした手法のMOTAとIDF1の平均はそれぞれ6.9±8.5%、13.1±3.8%で、本手法のMOTAとIDF1の平均はそれぞれ86.5±3.8%、81.4±6.5%であり、開発した手法が従来法よりも優れていることが示唆されました。

本研究を主導した山本助教は、「個人的には牛乳が好きですが、乳牛の管理に関する問題についてはこれまであまり認識していませんでした。実際、研究の一環で牛舎を訪れる機会があり、現場の方々とのヒアリングを通じて、乳牛の管理がいかに難しいか、また、労働力の減少や飼育費用、エネルギーの高騰がもたらす影響が深刻であることを実感しました。本研究により、個体管理の効率化が進み、おいしい牛乳を引き続き楽しむことができるようになることを願っています」と、コメントしています。

【用語】

＊1 射影変換:

　画像内の点を別の視点に基づいて変換する手法。主にカメラの視点変化や透視投影を補正するために使用される。

＊2 MOTA(Multi-Object Tracking Accuracy):

　複数の物体の追跡精度を評価するための指標。特に、物体を正確に追い続ける能力を判断する際に使用される。

＊3 IDF1(Identification F1):

複数の物体の追跡精度を評価するための指標。特に、物体の識別精度を判断する際に使用される。

【論文情報】 

雑誌名：Computers  and Electronics in Agriculture

論文タイトル：Entire-barn dairy cow tracking framework for  multi-camera systems

著者：Yota  Yamamoto, Kazuhiro Akizawa, Shunpei Aou, Yukinobu Taniguchi

DOI：10.1016/j.compag.2024.109668