روش شناسی و نتایج

به منظور مطابقت داده های بصری و لامسه ای که به خوبی جفت نشده اند، با بهره گیری از تجزیه و تحلیل عمیق حداکثر واریانس (DMCA) ابتدا تمثیل های این دو ویژگی از طریق عبور آنها از لایه های چندگانه انباشته جداگانه تبدیل غیرخطی، محاسبه و سپس با پیاده سازی و اجرای تجزیه و تحلیل حداکثر واریانس، فضای پنهان مشترک برای این دو ویژگی به طوریکه کوواریانس بین این دو تمثیل حداکثر مقدار خویش باشد، محاسبه شده است.

به منظور ارزیابی و بررسی روش DMCA معرفی شده در شناسایی بافت لباس، از مجموعه داده ای لباس وی تک استفاده شده است. ابتدا از روش شناسایی تک نمایی کلاسیک با بهره گیری از داده های مربوط به هریک از ویژگی ها، استفاده شده است. هنگام بهره گیری از داده های مربوط به حسگر GelSight و دوربین دیجیتال برای مجموعه آموزش و آزمون، میزان دقت برآورد شده برای شناسایی بافت پارچه برابر با 83.4% یا 85.9% می باشد. این ارقام نشان دهنده، تمثیل های فراگرفته شده توسط شبکه های عمیق به کارگرفته شده برای شناسایی بافت با استفاده از هریک از ویژگی ها به صورت جداگانه، می باشند.

با این حال، به ویژه در حوزه رباتیک، دستیابی به داده های مربوط به ویژگی خاص که برای آموزش به کار گرفته شده اند، امری آسان نمی باشد: داده های لامسه ای اغلب در دسترس نبوده یا جمع آوری آنها بسیار دشوار می باشد؛ علاوه بر این، دسترسی به بافت های دارای جزئیات متعلق به اجسام (اشیا) حتی از طریق دوربین های دیجیتال، امری ممکن و آسان نمی باشد.

بدین منظور، به منظور آموزش مدل برای شناسایی بافت متقاطع پارچه با بهره گیری از یک ویژگی حسی در عین حال نیز از داده های ویژگی دیگر برای اجرای مدل استفاده شده است. این امر بر اساس این فرض که ویژگی های مشابه بصری بافت ها به احتمال زیاد دارای بافت های لامسه ای مشابه می باشند و برعکس، شکل گرفته است.

شایان ذکر است که روش مقطعی شناسایی بافت پارچه عملکردی بدتر نسبت به موارد انجام گرفته توسط روش تک نمایی، است. هنگام ارزیابی داده های برگرفته شده از حسگر GelSight برای آموزش با بهره گیری از مدل آموزش داده شده توسط داده های بصری، دقت به دست آمده برابر با 16.7% بوده است. از سویی دیگر، در وضعیت برعکس، دقت به دست آمده تنها برابر با 14.8% بوده است.

دلایل احتمالی این امر، عواملیست که منجر به تفاوت در شکل ظاهری الگوی پارچه مشابه در دو ویژگی مختلف، می باشند. در دوربین، دید، مقیاس، چرخش، انتقال، واریانس رنگ و نور قابل مشاهده می باشند.

درمورد احساس لامسه نیز، برداشت های مختلف از الگوهای لباس با توجه به میزان فشارهای مختلف اعمال شده توسط حسگر بر سطح پارچه، تغییر می نمایند. این تفاوت ها بدین معنا می باشند که امکان مناسب نبودن ویژگی های فراگرفته شده توسط یکی از روش ها برای روش دیگر، وجود دارد. به منظور استخراج ویژگی های همبسته بین حس بینایی و لامسه، و حفظ این ویژگی ها برای شناسایی بافت پارچه و در عین حال کاهش تفاوت های بین این دو روش، از روش DMCA معرفی شده به منظور دستیابی به تمثیل مشترک از بافت ها برای این دو ویژگی ها، بهره گرفته شده است.

در طی بررسی ها، چنین فرض شده که داده های جمع آوری شده توسط دوربین و GelSight در طی مرحله فراگیری مدل به کارگرفته شده اند در حالیکه، از داده های GelSight یا دوربین تنها در تحلیل های بعدی انجام گرفته با استفاده از داده های جدید، بهره گرفته شده است. تنظیمات به کار گرفته شده در پی بردن به این مساله که آیا چارچوب DMCA قادر به بهره گیری از تمثیل های دارای ابعاد کمتر که در داده های دونمایی اطلاعات را نسبت به موارد فراگرفته شده توسط داده های تک نمایی، بهتر نمایش می دهند، می باشد یا نه، کمک قابل توجهی می نمایند. ابتدا نحوه طبقه بندی بافت پارچه در صورت در دسترس بودن داده های برگرفته از GelSight، بررسی شده است.

به دلیل افزایش ابعاد خروجی هنگام بهره گیری از روش DMCA، عملکرد طبقه بندی نیز بهبود می یابد. با ادامه افزایش ابعاد خروجی، میزان دقت روش DMCA نیز کاهش یافته و میزان دقت طبقه بندی انجام گرفته به 90% می رسد. عملکردی مشابه هنگام طبقه بندی گروه های مختلف پارچه با بهر گیری از روش DMCA در صورت در دسترس بودن تصاویر اتخاذشده از دوربین، نیز قابل مشاهده است. عملکرد طبقه بندی روش DMCA با افزایش ابعاد خروجی، افزایش قابل توجهی از خود نشان داده و هنگام ابعاد خروجی به بیش از 20 می رسد، کاهش شدیدی داشته و بدین ترتیب دقت طبقه بندی برابر با 92.6% می گردد.

به طور کلی، نتایج به دست آمده چنین نشان داده اند که رویه فراگیری DMCA معرفی شده هنگام استفاده از تمثیل های مشترک لامسه-بصری چه در شناسایی لامسه ای چه در شناسایی بصری بافت پارچه، عملکرد قابل توجهی از خود ارائه می دهد. این امرثابت می نماید که DMCA نه تنها ابزاری قدرتمند برای ویژگی های ساخت دست بشر می باشد، بلکه، برای ابزاری مناسب و قدرتمند برای ویژگی های فراگرفته شده توسط شبکه های عمیق نیز است.

علاوه بر این، چنین نمایش داده شده است که استفاده از داده های مدل دیگر در مرحله یادگیری تنها هنگام بهره گیری از یک ویژگی در مرحله آزمون، منجر به بهبود عملکرد شناسایی می گردد.