パナソニック コネクトと中央大学、 つかんだものを落とさずに回し続けられるロボットハンド制御技術を開発
パナソニック コネクト株式会社と学校法人 中央大学は、2023年10月1日から5日に米国ミシガン州で開催された電気・情報工学分野で世界最大規模の学術研究団体IEEE（※1）における「IROS 2023／IEEE/RSJ International Conference on Intelligent Robots and Systems」にて”Vision-Based In-Hand Manipulation of Variously Shaped Objects via Contact Point Prediction”のタイトルで、ロボットハンド制御技術についての共同研究の成果を発表しました。また、9月11日から14日に仙台で開催された「第41回ロボット学会学術講演会」においても、”接触点の予測に基づく画像を用いたIn-Hand Manipulation（※2）”を発表しました。この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の助成事業の結果得られたものです。
プレスリリース https://news.panasonic.com/jp/press/jn231019-1
※1：Institute of Electrical and Electronics Engineers
世界最大規模の電気・電子・情報工学分野の国際学会
※2：ハンドの中で物体の位置や姿勢を変化させる操作のこと
インハンドマニピュレーション(ハンド制御)
ロボットハンドで把持した対象物の位置や姿勢をハンド内で変更する動作を指します。
単純な物体把持のみならず、物体を離さずにハンドの中で物体を滑らせながらその姿勢を変化させます。
インハンドマニピュレーション(ハンド制御)の応用例
対象物の姿勢を変える動作を含む作業への応用ができるので、これまで人が行ってきた様々な現場において無人化による効率的な作業を実現します。
部品組立
箱詰め・パック詰め
検品
商品陳列
研究と課題
インハンドマニピュレーションをスムーズに行うために、表面にコンベアベルトを巻いた複数のフィンガで構成されるロボットハンドでの研究が進んでいます。フィンガ同士で対象物を把持し、その状態でベルトを動かすことで、対象物の並進と回転が可能となり、これを使用することで対象物の位置姿勢変更が可能な範囲の拡大を図ることができます。しかし、特に姿勢変更のために対象物をハンド内で回転させる際、対象物の形状や姿勢によっては、掴み続けることができずにハンドから落下してしまうという課題がありました。
対象物を落とさずに把持するためには、対象物の表面とロボットハンドとが接触しつづける必要があり、接触を維持するためには、対象物の形状や回転中の姿勢に合わせてフィンガ同士の幅の調節が必要となります。
ベルト制御の課題
フィンガ制御の課題
開発の成果
対象物の形状や姿勢に応じてフィンガとベルトを制御するインハンドマニピュレーション技術
パナソニック コネクトでは、ロボットビジョン技術(※3)を活かし、対象物の形状や姿勢に応じてフィンガとベルトを制御するシステムを開発しました。
対象物を落とさずに把持するためには、対象物の表面とロボットハンドとが接触しつづける必要があり、接触を維持するためには、対象物の形状や回転中の姿勢に合わせてフィンガ同士の幅を調節する必要があります。しかし、フィンガが必要な幅の分だけ開閉しない状況もあり、その場合に対象物を掴み続けられなくなります。そこで、この状況を引き起こす2つの原因に対してアプローチする技術を開発しました。
※3: ロボットを制御するための視覚機能
実験環境のハードウェア構成
制御方法の詳細
１．回転中に、対象物とハンドとが接触している部位が変化する「接触点の切り替わり」がもたらす、フィンガ幅の急激な変化への対応
「カメラ画像を基に接触点がいつ切り替わるのかを予測し、その前後において対象物の回転速度が最も遅くなるようにベルトを制御することで、幅変化を抑える」
ステレオカメラから取得した画像中から対象物の領域を抽出し、その領域を囲う輪郭を取得します。この輪郭に対して多角形近似および凸包算出を行います。凸包の頂点のうち、最も左および右に位置する点を対象物とハンドとの現在の接触点とします。さらに、残りの頂点の中から、対象物が回転し続ける場合に次にハンドと接触する点を予想し、次の接触点と定義します。そして、現在の接触点と次の接触点を結んだ線分が鉛直軸となす角を算出します。これは、算出した角度の分だけ対象物が回転すると、接触点が切り替わることを示します。この角度が小さい場合は、接触点の切り替わりが近いことを表し、その際には必要なフィンガ幅の変化が大きくなると考えられます。このとき、対象物の回転量が小さければ、落下を防ぐことができます。そこで、算出した角度に正比例するように対象物の目標回転量を定め、それに合わせてベルトを制御します。この制御手法により、接触点の切り替わりが近いときには、ベルトが遅く動き、対象物の回転量も小さくなります。これにより、フィンガ幅の変化を小さく抑えることができます。
画像からの接触点の予測フロー
２． 1の処理の中で取得した輪郭と対象物の目標回転量を用いて、次の時刻での輪郭を推定し遅延の影響を減少
1つ目の処理の中で取得した輪郭と対象物の目標回転量を用います。現在の輪郭に対して、目標分だけ回転した輪郭を算出し、次の時刻での輪郭を推定。この輪郭のうち、最も左および右に位置する点を検出します。この点を次の時刻での接触点推定位置とし、この点に合わせてフィンガを制御します。この制御により、現在の観測値ではなく、次の時刻の推定値に合わせてフィンガが動くため、遅延の影響を減らすことができます。
［実験動画］カメラで物体の位置・姿勢をセンシングして物体操作する
実験では、22点の対象物（形状11種・サイズ2種）に対して、うち10点を1回転させることに成功。提案手法を使用しない条件に対して、大きい対象物を落下させる割合が14.5%改善し、小さい対象物を1回転させる割合が6.4%向上しました。本技術がインハンドマニピュレーションを実行できる対象物の種類および位置や姿勢の変更範囲の拡大に繋がると期待されます。
動画：Ⓒ 2023 IEEE
［実験動画］不定形の生ものを弱い力で把持し1回転させる制御の実験結果
いちご、ブロッコリー、ぶどう、きのこ、マスカットなど柔らかく不定形な把持物を傷つけることなく落とさずに1回転させています。
今後の研究開発と応用先
製造・物流・流通の現場におけるピックアンドプレース作業への展開
例えば、製造の現場では、部品組立作業において部品をピックし、組立可能な姿勢に変更した後に、相手側の部品にプレースする作業が可能です。また、物流の現場では、倉庫や青果場などで様々な形状のモノを整列させて箱内に配置することで高密度な箱詰めが可能となります。現状は人手でパック詰めされているモノも、ロボットにより整列配置することができ、集荷場等での自動化に貢献することが期待されます。形状に個体差がある青果等についても、各個体に合わせた制御を行うことができます。さらに、小売店舗等の流通現場においても、商品陳列等のモノを決まった姿勢で並べる作業への応用が見込まれます。