مهدی پورکرمان نخبه ی ایرانی گفت کاهش خطا در عمل های ترمیمی و زیبایی تنها با تکیه بر تکنولوژی های روز دنیا میسر میشود

بیوگرافی: مهدی پورکرمان متولد 25/06/1364 تحصیلات: مهندسی نرم افزار
مدیر تیم تحقیق و توسعه و برنامه نویس ارشد شرکت طراح طب پاسارگاد 1397-1401

به گزارش پایگاه خبری پیام گو : در دوران کودکی علاقه ی زیادی به ابتکار و انجام کارهای جدید داشتم و شیفته ی انیمیشن و بازی های ویدیویی بودم بطوری که همیشه خود را در حال ساخت این برنامه ها تصور می کردم. تلاقی نوجوانی من با دوران طلایی ورود کامپیوتر، نرم افزار و اینترنت به کشور سبب بازشدن درهای جدیدی رو به دنیایی شگرف و هیجان انگیز و آشنایی من با کامپیوتر و دنیای نرم افزار شد.

از ابتدا نرم افزار های گرافیکی و سه بعدی توجه من را به خود جلب کرد و شروع به یادگیری آنها کردم. در دوران تحصیلات دانشگاهی به برنامه نویسی گرافیکی، سه بعدی و بلادرنگ کامپیوتری بسیار علاقه مند بودم چنان که تقریبا تمامی پروژه های درسی خود را در این حوزه انتخاب می کردم.

برنامه نویسی بلادرنگ سه بعدی ( 3D Interactive) جایگاهی در بازار کار آن سالها نداشت و از آنجایی که من به نرم افزار های گرافیکی و سه بعدی تسلط داشتم و به ساخت انیمیشن های سه بعدی علاقه مند بودم پس از فارغ التحصیلی فعالیت خود را به عنوان سازنده انیمیشن های سه بعدی شروع کردم. پس از کسب تجربه و پیشرفت چشمگیر در این حرفه به عنوان جنرالیست سه بعدی شناخته شدم.از جمله فعالیت های انجام شده من در این دوران میتوان به : همکاری در ساخت انیمیشن های سه بعدی (“مهربانان”، انیمیشن “قلب مترسک” )، ویژوال افکت فیلم و سریالهایی مثل “پنج کیلومتر تا بهشت” و ساخت تبلیغات تلویزیونی( خدمات مکانیزه شهرداری تهران، شکلات پارمیدا،بانک ملت،…) اشاره کرد.

در سال 1392 شرکت خود را تاسیس کردم . در راستای علاقه ام به تکنولوژی های جدید، اولین نمایش های پروژکشن مپینگ را در کشور راه اندازی و پروژه های ارزنده بسیاری در این زمینه به ثمر رساندم. برخی از پروژه های انجام شده:

پروژکشن مپینگ” اختتامیه جشنواره دفاع مقدس”، ” اختتامیه جشنواره فیلم شهر”، “اختتامیه جشنواره فیلم رشد”، ” اختتامیه جشنواره فیلم یاس”، تئاتر بزرگ “شب های آفتابی” به کارگردانی بهزاد بهزادپور، تئاتر “خواهرانه” به کارگردانی حسین پارسایی
در طول این سالها همواره زمانی را صرف پرورش و دنبال کردن دیگر علاقه مندی هایم همچون ساخت نرم افزارهای بلادرنگ میکردم. اولین نرم افزار اینتراکتیو شبیه ساز واقعیت مجازی خود را در سال 1386 ساختم و تا سال 1394 با گسترش بازار کار، فعالیت خود را رفته رفته به سمت برنامه نویسی سیستم های بلادرنگ سوق دادم. پس از آشنایی با تکنولوژی های بسیار و کسب تجارب تا سال 1397، چندین پروژه در زمینه های واقعیت مجازی و واقعیت افزوده را با موفقیت به پایان رساندم. از سال 1397 به شرکت دانش بنیان طراح طب پاسارگاد پیوستم و به عنوان مدیر تیم تحقیق و توسعه و برنامه نویس ارشد این شرکت تا به امروز مشغول به کار هستم.

مقدمه
ریزش مو ها و ابرو ها همواره یکی از دغدغه های اکثر افراد جامعه بوده است. از جمله روشهای ترمیمی میتوان به کاشت مو و میکروبلیدینگ اشاره کرد. هر روزه به تعداد متقاضیان این روشها افزوده میشود ولی با وجود تعداد زیاد این متقاضیان روش دقیق و مشخصی برای طراحی اولیه و اجرای آن به درستی وجود نداشته است. متقاضیان تا پیش از پایان کار متخصص، نمی توانستند از نتیجه کار و تغییری که روی ظاهر و چهره ی آنها انجام می شود مطلع گردند، همچنین کار طراحی با ابزارهای ابتدایی و مکانیکی انجام می شد که این شرایط نارضایتی های بسیاری را ایجاد می کرد.
همین امر ایده ی ساخت سیستمی را در ذهن ما به وجود آورد.این سیستم می بایست قابلیت طراحی سه بعدی و نمایش تغییرات، پیش از انجام عمل های ترمیمی اصلی را روی صورت متقاضی داشته باشد و همچنین به بالا بردن دقت انجام این عمل ها و کاهش خطای انسانی کمک کند.

تاریخچه پروژه
تحقیقات اصلی ما از سال 1397 آغاز شد و با بررسی تکنولوژی های موجود و تکنولوژی های در دسترس ورژن اولیه این سیستم را با استفاده از اسکنر های فتوگرامتری ساخت شرکت، ساخت نرم افزار طراحی بلادرنگ سه بعدی و نمایش AR شروع کردیم. این سیستم در کنار مزایایی بسیار معایبی نیز داشت همانند: زمانبر بودن آماده سازی اسکن های سه بعدی فتوگرامتری، نیاز به دقت بالا در نمایش AR و … . به همین سبب تحقیقات گسترده تری را در جهت ساخت سیستم بهینه تر آغاز کردیم.

نسخه دوم این سیستم با استفاده از ترکیب دوربین های دو بعدی و سه بعدی ،هوش مصنوعی، بینایی سه بعدی ماشین و پردازش نقاط ابری ساخته شد که علاوه بر سرعت بیشتر، پیشرفت قابل توجهی در دقت طراحی و دقت انجام عمل ترمیمی نهایی نیز داشت. این سیستم در دنیا منحصر به فرد است و نمونه خارجی برای آن وجود ندارد.

کاهش زمان اسکن سه بعدی از 40 دقیقه به 2 دقیقه ، نمایش طراحی انجام شده بصورت واقعیت افزوده سه بعدی بلادرنگ و زنده(Real-time/Live AR) بر روی صورت متقاضی با بیشترین دقت و کمترین خطا، از دست آورد های ساخت این سیستم است. در پایان طراحی، قالب سه بعدی حاصل از طراحی بصورت اتوماتیک در نرم افزار ساخته شده و متخصص و یا پزشک میتوانند از این قالب ها جهت انجام کار نهایی استفاده کند.

معرفی عملکرد سیستم
نرم افزار ما ابتدا در کمترین زمان، یک اسکن سه بعدی از صورت فرد توسط دوربینهای سه بعدی تهیه می کند.
سپس با شناسایی صورت و اجزاء آن در محیط سه بعدی، ابروهای مجازی بصورت واقعیت افزوده و با دقت بالا بر روی صورت متقاضی نمایش داده می شوند.

در ادامه پزشک و متخصص زیبایی با کمک ابزارهایی ویژه ی طراحی و اندازه گیری دقیقی که در نرم افزار ما وجود دارد بهترین طراحی ها را با توجه به فرم و تناسب صورت فرد انجام می دهند.

پس از مرحله ی طراحی متقاضی می تواند از بین طراحی های پیشنهادی که روی صورت خود بصورت مجازی می بینید، طرح مورد نظر خود را انتخاب نماید.

در نهایت قالب هایی سه بعدی از طراحی انجام شده بصورت اتوماتیک در نرم افزار ساخته میشود که توسط پرینتر های سه بعدی بصورت دقیق چاپ می شوند و پزشک یا متخصصین زیبایی از این قالب ها و ابزارهای درون سیستم برای انجام کار نهایی استفاده میکنند.

قابل ذکر است سیستم واقعیت افزوده ی ما با فیلترهای معمول که بر روی گوشی های هوشمند در دسترس همه است دو تفاوت اصلی دارد:

1) دقت در سیستم ما بسیار بالا است درحالی که فیلترهای نمایشی از آنجایی که دقت پایین و خطای زیادی دارند تنها در زمینه سرگرمی از آنها استفاده میشود.

2) شناسایی صورت و اجزاء آن درسیستم ما در فضای ابر نقاط سه بعدی، توسط بینایی سه بعدی ماشین انجام می شود در حالی که در فیلترهای موجود این کار در فضای دو بعدی انجام میشود و یک شبیه سازی سه بعدی برای نمایش نهایی اتفاق می افتد.

ویژگی های اصلی و منحصر به فرد این سیستم
طراحی و نمایش دقیق ابروی سه بعدی بر روی صورت متقاضی و کمک به اجرای نهایی دقیق آن توسط پزشک و یا متخصص کاشت و یا میکروبلیدینگ
اسکنر سه بعدی چهره با سنسور( Single Sensor Fusion)
امکان ویرایش مدل های سه بعدی اسکن شده توسط ابزارهای ویژه
استفاده از پردازش های موازی جهت افزایش سرعت و بازدهی فرایند ها
تشخیص چهره و اجزاء آن توسط هوش مصنوعی در فضای بلادرنگ ابر نقاط سه بعدی(3D PointCloud)
تشخیص فاصله صورت و اندازه گیری های تناسب اجزاء صورت توسط بینایی سه بعدی ماشین(3D Computer Vision)
مطابقت با مدل اسکن‌شده سه‌ بعدی روی داده‌های ابر نقاط (Real-Time 3D AR FUSION )
نمایش واقعیت افزوده سه بعدی (Realtime-3D AR)
ابزارهای دقیق طراحی مدل و بافت ابرو
ابزارهای دقیق اندازه گیری و تناسب در محیط سه بعدی
تولید قالب سه بعدی خودکار از طراحی انجام شده با قابلیت ارسال مستقیم برای چاپگر سه بعدی

چالش ها
ساخت یک سیستم مبتنی بر تکنولوژی های جدید بسیار پیچیده است و من به عنوان مدیر تیم تحقیق و توسعه و برنامه نویس ارشد این سیستم از ابتدای کار هر روزه با چالش های زیادی روبرو بوده ام. از جمله:

1. ساخت اسکنر سه بعدی
جهت ساخت اسکنر سه بعدی پس از تحقیق و مطالعه ی زیاد ابتدا تمام روش های موجود را پیاده سازی کردم اما هریک معایب و محدودیت های خود را داشتند و مناسب این کار نبودند. در نهایت یک اسکنر چهره سه بعدی را با استفاده از الگوریتم های ویژه ساخته شد که این اسکنر تنها به 15 فریم از چهره از زوایای مختلف نیاز دارد و کل فرآیند اسکن در کمتر از 2 دقیقه انجام می شود. لازم به ذکر است نه تنها استفاده از این اسکنر بسیار ساده و سریع است بلکه کیفیت اسکن نیز مطلوب است.

2. نمایش سه بعدی واقعیت افزوده
نمایش سه بعدی واقعیت افزوده بر روی صورت با دقت بالا یکی از فعالیت هایی بود که تا قبل از این انجام نشده بود. از نظر تئوری ایده ی من تطبیق نقاط سه بعدی اسکن شده با داده های سه بعدی بدست آمده از سنسور ها بصورت بلادرنگ بود. پس از طراحی و پیاده سازی بسیار از الگوریتمها میزان نویز و خطا سبب میشد تا همچنان به دقت مورد نظر نرسم.به همین منظور برای کاهش این نویز از ترکیب دوربین RGB 4K با داده های سه بعدی قبلی و همچنین ردیابی نشانگرهای ویژه تعبیه شده روی صورت فرد استفاده کردم که این امر به کاهش چشمگیر خطا منجر و نتیجه ی نهایی حاصل شد.

3. ساخت قالب سه بعدی بصورت اتوماتیک
در این قسمت الگوریتم هایی را طراحی کردم که با استفاده از بینایی ماشین در محیط سه بعدی این کار انجام میشود. درعمل این قالب ها پس از پایان فرایند طراحی بصورت اتوماتیک و با دقت بالایی در زمان کمتر از یک دقیقه ساخته میشوند و برای پرینتر سه بعدی ارسال میگردند.

علاوه بر چالش های تکنیکال ذکر شده، در دسترس نبودن سخت افزار های مورد نیاز بدلیل تحریم ها، مشکلات اینترنت داخل کشور و نبود ثبات اقتصادی را نیز میتوان نام برد.

در مواجه با این مشکلات علاوه بر مطالعه و تحقیق و یاد گیری روزانه به صبر و استقامت زیادی نیاز بود که با کمک خداوند متعال و کمک های مدیریت مجموعه وهمکاری همه ی اعضای تیم توانستیم این تکنولوژی جدید را خلق و به دنیا معرفی کنیم.