راهنمایی در مورد Render Farm

[vandelin 653]

درود

 

یکسری اطلاعات میخواستم راجب رندر فارم .

 

به صورت دقیق در رابطه با این موارد :

 

نرم افزار 3Ds Max

رندرر های مختلف

 

GPU base ، cpu Base و یا GPU+CPU base ? چرا ؟

 

بیشترین پیشنهادهایی که شنیدم cpu base بوده که خب تکلیف مشخه یه دوال سوکت زئون .

 

اما میخوام ببینم gpu base چطوره ؟ چه رندرر هایی میتونن ازش استفاده کنن ، اصلاً وجود داره ؟

 

همچنین راجب خود GPU ها ، استفاده از تسلا چه مزیت هایی داره ؟ کوادرو چطور ؟ و sp و Dp کجاها مزیت دارن ؟

 

 

[UnforgiveN 1172]

در مورد استفاده از پردازش GPU کلا وقتی میری سراغ پردازش موازی سنگین روی Iray و V-Ray کارایی خودشون رو نشون میدن .

یعنی خود نرم افزار بعد از دیتکت کردن دیوایسی که OpenCL/CUDA ساپورت میکنه اتوماتیک پردازش های V-Ray iray رو محول میکنه( OpenCL از iray ساپورت نمیکنه ) به دیوایس های موجود اگر کارتی که ساپورت نکنه موجود نباشه میره سراغ CPU پس کلا داستان CPU و GPU بیس این میشه.

حالا اگر ترکیبی باشه یا CPU به تنهایی سویچ میشه .

مزیت تسلا و کوادرو هم تو قدرت پردازش اونها نسبت به کارت های سری 4 و 5 و ... هست میتونی اختلاف کارایی هاشون رو تو نت جستچو کنی و ببینی، چیزی جدای از CUDA روی اونها نیست و کلا مربوط میشه به قدرت پردازشی .

اما وقتی صحبت از farm میکنی معمولا لینک میشی به پردازش تحت شبکه که قاعدتا باید بری سراغ زئون و multithread چون روی پردازش های single thread برات کارایی بیشتری ندارن که هیچ احتمالا بسته به کانفیگ پروژه و نوع رندرینگ سرعت کمتری هم داری.

پردازش تحت شبکه هم تو بحث CPU و GPU بیس همون داستان روی لوکال رو داره یعنی سویچ کردن رندرها اگه از مولتی یعنی CPU و GPU تو کانفیگ استفاده میکنی اینجا رندر به صورت تک فریم روی استیشن ها وقتی به درستی جواب میده که کانفیگ ها برابر باشن نه اینکه مثلا یه استیشن CPU و GPU بیس باشه و یه استیشن CPU بیس در غیر اینصورت درگیر لود بالانسینگ میشی . تو V-Ray پردازش های Geometry-Lights-Emapping-Materials-Textures و چند تا دیگه ساپورت میشن . در مورد iray هم میتونی تو نت جستجو کنی فکر کنم حدود 2 سال هست که باب شده لینک nvidia اینجا هست http://www.nvidia.com/object/nvidia-iray.html

[vandelin 653]

در مورد استفاده از پردازش GPU کلا وقتی میری سراغ پردازش موازی سنگین روی Iray و V-Ray کارایی خودشون رو نشون میدن .

یعنی خود نرم افزار بعد از دیتکت کردن دیوایسی که OpenCL/CUDA ساپورت میکنه اتوماتیک پردازش های V-Ray iray رو محول میکنه( OpenCL از iray ساپورت نمیکنه ) به دیوایس های موجود اگر کارتی که ساپورت نکنه موجود نباشه میره سراغ CPU پس کلا داستان CPU و GPU بیس این میشه.

حالا اگر ترکیبی باشه یا CPU به تنهایی سویچ میشه .

مزیت تسلا و کوادرو هم تو قدرت پردازش اونها نسبت به کارت های سری 4 و 5 و ... هست میتونی اختلاف کارایی هاشون رو تو نت جستچو کنی و ببینی، چیزی جدای از CUDA روی اونها نیست و کلا مربوط میشه به قدرت پردازشی .

اما وقتی صحبت از farm میکنی معمولا لینک میشی به پردازش تحت شبکه که قاعدتا باید بری سراغ زئون و multithread چون روی پردازش های single thread برات کارایی بیشتری ندارن که هیچ احتمالا بسته به کانفیگ پروژه و نوع رندرینگ سرعت کمتری هم داری.

پردازش تحت شبکه هم تو بحث CPU و GPU بیس همون داستان روی لوکال رو داره یعنی سویچ کردن رندرها اگه از مولتی یعنی CPU و GPU تو کانفیگ استفاده میکنی اینجا رندر به صورت تک فریم روی استیشن ها وقتی به درستی جواب میده که کانفیگ ها برابر باشن نه اینکه مثلا یه استیشن CPU و GPU بیس باشه و یه استیشن CPU بیس در غیر اینصورت درگیر لود بالانسینگ میشی . تو V-Ray پردازش های Geometry-Lights-Emapping-Materials-Textures و چند تا دیگه ساپورت میشن . در مورد iray هم میتونی تو نت جستجو کنی فکر کنم حدود 2 سال هست که باب شده لینک nvidia اینجا هست http://www.nvidia.com/object/nvidia-iray.html

 

 

ممنون

 

بزرگترین مشکلی که دارم ، اینه که دقیق نمیدونم میتونم از GPU-base استفاده کنم یا نه . موضوع اصلی هم همینه .

 

رسم بر این هست که معمولاً برای نود ها از زئون استفاده میشه که خب خیلی ساده میشه قضیه ، هرچقدر بودجه باشه زئون میگیرم و ...

 

از طرفی اگه استفاده mental ray مطرح باشه به کل باید gpu رو فراموش کرد چون ظاهراً اصلاً از gpu استفاده نمیکنه ...

 

اما فرض بر این هست که مصرف فقط vray rt باشه که ظاهراً توانایی استفاده های زیادی از gpu و cuda داره ولی مشکلاتی از قبیل نداشتن یه سری افکت مثل موشن بلور هست ...

 

به صورت چندتا سوال مطرح میکنم .

پروژه به این صورته که مشخص شه که بهترین سیستم (بدون در نظر گرفتن بودجه ولی رعایت p/p) برای 3ds چی هست ؟ ورک استیشن ؟ فارم ؟ یا ... ؟

 

در مورد ورک استیشن خودش بحث های زیادی داره ، یه سایتی رو دیده بودم که از 8 عدد 580 استفاده کرده بود و تو ویدئویی هم که نشون داده بود ، نتیجه با vray rt چند صد برابر بهتر از دو عدد پردازنده دئون بود ! به نوعی ثابت کرده بود که استفاده از یه ورک استیشن به جای جندین عدد نود به صرفه تره !

 

حالا :

1. بر فرض امکان استفاده از نود های GPU بیس (مثلاً ده عدد نود هر کدام 8 عدد 580) امکان پذیر هست یا نه ؟

2. امکان استفاده از نود های بر پایه تسلا (هر نود 4 تسلا و دو عدد زئون)

3. امکان استفاده از GPU base cluster

4. خب میدونیم که برای رندر توسط gpu ، حجم scene مورد نظر نباید متجاوز از رم گرافیکی باشه . فلسفه استفاده از کوادرو ها هم به همین صورته ، تقریباً با کلی مقاله و مطلبی که خوندم به این نتیجه رسیدم که کوادرو ها سریعتر از جیفورس ها نیستن مگه انجین dp باشه که خب مثلاً iray سینگل هست . و تنها دلیلی که کوادرو ها رو برتر میکنه ، حجم رم زیادی هست که دارن مثلاً به جز این سری آخری ، کوادرو های 6000 اگه اشتباه نکنم 6 گیگ رم داشتن در حالی که مثلاً یه 580 بیشتر از 3 گیگ رم نداشت . پس کوادرو ها رو تا حدودی میدونم که صرفه استفادشون ، توانایی انجام دادن کاری هست که 580 های با حجم حافظه کمشون از پسش بر نمیان نه اینکه کوادرو ها سریعتر باشن ...

 

حالا سوالی که مطرحه ، نود های GPU+cpu base ، با داشتن تسلا رندر سریعتری انجام میدن یا جیفورس ؟ با فرض اینکه Scene مورد نظر از حجم رم جیفورس بیشتر نباشه .

 

5. یه موضوع راجب نود ها ، برای رندر ، یک scene بین نود ها تقسیم میشه ؟ یا هر scene رو به یه نود میسپارن تا سیستم برای رندر بعدی آزاد باشه ؟

مثلاً یه جا دیدم از یه رک آماده استفاده میکردن که دارا 10 بورد شامل 20 پردازنده زئون بود ، رو هر سیستم با mental ray به ترتیب رندر میگرفت ...

[UnforgiveN 1172]

بهترین سیستم رو کار شما تعیین میکنه یعنی کاملا بسته به نحوه استفاده رندرینگ داره اینکه دیدی نتیجه با vray rt و 8 تا 580 چند برابر بهتر از دو تا پردازنده زئون بوده درسته اگه 1 بار روی کودا یا OpenCl بروت فورس کرده باشی کاملا متوجه میشی .

درسته mental ray کاری با GPU نداره دقیقا مثالی هست که نوشتم برای بهترین سیستم که کار شما تعیین میکنه .

1: تو V-Ray RT هرچی GPU دردسترس باشه و به سیستم شناسایی بشه استفاده میشه محدودیت با شماست تعداد اسلات ها و پهنای باند دیتا و پاور ...

2: بله

3: تو مورد 1 نوشتم : هر GPU روی شبکه شما شناسایی کنی جدای از CPU به عنوان GPU دیتکت شده میتونه کار انجام بده .

4: رم گرافیک مسئله مهمی هست و کاملا بستگی به پروژه داره اینجا کلا مربوط میشه به لود بالانسینگ که تو نسخه های جدید مکث و درایور های جدید بهینه شدن . اگر مسئله رم نباشه همه چیز بر میگرده به تعداد هسته های CUDA مثلا روی تسلا 2050 که 448 هسته هست و 580 تعداد 512 تا، پهنای باند حافظه و کلاک هم تو 580 بیشتر هست پس نسبت به اختلاف قیمت 580 برتر از تسلا 2050 هست . کلا با توجه به قیمت 580 بهترین انتخاب تو CUDA هست .

5: خودت تو کانفیگ رندر فارم تنظیم میکنی رندر به چه صورت باشه.

[vandelin 653]

من هر چی جلوتر میرم گیج تر میشم :D

 

درسته ، دقیقاً بستگی به کاری که انجام میشه داره ، ولی هدف اینه که تمام احتمال های ممکن برای 3ds max رو در نظر بگیریم و بهترین راهکارها رو ارائه بدیم .

 

همونطور که گفتم ، برای cpu-base کاملآً تکلیف میشخه و به قول شما میمونه قضیه خنک کنندگی و پاور و باند و غیره .

 

اما gpu+cpu ، یه بورد دوال و دوتا زئون و گرافیک چی ؟ من دو سه انتخاب به نظرم میرسه :

1. هشت عدد 580 سه گیگ

2. 4 عدد K20c

3. 4 عدد کوادرو سری K

 

یه سری موارد هست که خب مطمئن نیستم .

اصولآً میگن کوادرو به درد رندر نمیخوره و بیشتر مناسب viewport هست . برای رندر خیلی ها تسلا رو پیشنهاد میکنن ، اما نسخه های مختلف کارت های تسلا به جز تعداد هسته و فرکانس و غیره چه تفاوتی دارن ؟ میدونم که K20X برای سرور استفاده میشه و K20 برای ورک استیشن ، اما برای فارم از کدوم باید استفاده شه و چه فرقی دارن ؟

نود های از پیش کانفیگ شده ایی هم دیدم که کوادرو مثلاً K6000 استفاده کردن ، و یه سری هم دیدم که از 4 تا K20 . دقیقاً چه فرقی دارن ؟ مزایا و معایب ؟

 

کلاً این چند انتخاب ، چه مزایا و معایبی دارن ؟

 

و یه سوال که راجبش اطلاعاتی ندارم تقریباً ، واسه 3ds max میشه از gpu cluster استفاده کرد ؟ کانفیگشون دقیقاً به چه صورته ؟ در واقع خوده این نود ها به چه صورت هستند ؟ بوردشون چی هست ؟ کلاً راجب HPC ، کاربردشون ، کانفیگیورشنشون و ... لینک هم بدید یا چند نکته خاص که برم راجبش سرچ کنم بدید ممنون میشم .

مثلا :

http://www.amax.com/hpc/productdetail.asp?product_id=superg

ویرایش شده اکتبر 24, 2013 توسط vandelin

[UnforgiveN 1172]

احتمال ها زیاد هست کانفیگ پیش فرضی تقریبا نمیشه ارائه کرد و داستانش طولانی هست یه مقاله میشه :D .

مطلب همون پست قبلی هست اگه بصورت کلی منظورت هست باید بری سراغ بنچ مارک ها و به نسبت هزینه و نوع کار تصمیم بگیری .

8 تا 580 و 4 تا K20 و 4 تا ... برای چی ؟ چه حجم کاری ؟

کوادرو به درد رندر نمیخوره برای همینه که یه کوادرو کنار تسلا کانفیگ میکنن از قدرت کوادرو جای دیگه استفاده میشه که پردازش بالانس بشه .

نسخه های تسلا بجز چیزایی که نوشتی تفاوت دیگه ندارن فقط داستان قدرت پردازشی و هسته و رم و باند و ... نسخه های تک GPU روی ورک استیشن .

برای فارم چی باید استفاده بشه و چه فرقی داره و پیش کانفیگ ها مزایا و معایبشون چی هست کاملا مربوط میشه به نسبت کار و بالانس پرفورمنس و هزینه هیچ چیز دیگه ایی وجود نداره که مهم تر از این باشه :D

من فکر میکنم اگر با Backburner کار کنی و مستندات رو بخونی ذهنت آماده تر میشه احتمالا Backburner روی 3ds رو دیدی رایگان هست یک بار باهاش کار کن متوجه اصول کار فارم میشی اینجا رو ببین : http://www.synergis.com/uploads/resources/backburner.pdf داکیومنت توضیح Backburner هست بخونی یه چارچوب تو ذهنت شکل میگیره که کار به چه صورت هست کانفیگ

چجوری انجام میشه این داستان مدیزیت نرم افزاری کانفیگ ها هست و برنامه ریزی کار داستان کانفیگ سخت افزاری هم مطلب خودش رو داره .

برد ها بستگی به تعداد نود ها داره نود کمتر و اسلات بیشتر یعنی محدودیت باند که برای برطرف کردنش میرن سراغ فیبر نوری و Expansion Backplane ها نود بیشتر و اسلات کمتر یعنی دردسر کمتر این ها وقتی هست که خودت سیستم ها رو اسمبل میکنی اگر بخوای بری سراغ کانفیگ های آماده اونها بردهای خودشون رو دارن که تو لول کاربری معمولی نیست و قالبا سفارشی هست .

این میشه یه نمای کلی از کانفیگ سخت افزاری، کاری که احتمالا میتونی خودت انجام بدی :

[P@dmIRA 79]

دوستان من یه چیزو نفهمیدم!

مگه تو مایا یا 3ds max رندری (vray, iray, mray) داریم که gpu base باشه؟

[kiaspid 44]

اگه سوالی داشتی من در خدمتم ... تاجایی که تجربه من تو کار با سرور HP و رندرینگ اجازه بده کمکت میکنم . تمام حرفایی که شما گفتی و دوستان گفتن رو سزیع خوندم و درست بودن ، منتها همه ی این حرفها موقعی باید مطرح بشه که بودجش موجود باشه ، شما چقدر بودجه دارید ؟ 

آیا میتونید 34,000,000 تومن برای یک سرور 32 هسته ای hp با 64gb رم هزینه کنیــد ؟ 

من حدود8 سال است که مکس کار میکنم 6 سال بصورت حرفه ای ، به صورت تخصصی vray و texturing , lighting , rendering کار کردم , از زمانی که gpu rendering به وی ری اضافه شد مطالعات زیادی داشتم ، بزرگ ترین مشکل سر راه این موضوع ( gpu R ) حافظه dedicate گرافیک هست ، زمانی که شما صحنهای بزرگ تر از حافظه ی گرافیک خودتون دارید دیگه  گرافیک هیچ عکس العملی نخواهد داشت ، و رندر را انجام نمی دهد . 

در حال حاضر بزگ ترین حافظه گرفیکی 12gb که مربوط به K6000 هست ، که قیمتشم حدود 17 تا 20 میلیون تومان باید باشه . ( که خریدنش دیونگی هست ) . خرید همچین تجهیزاتی در همه جای دنیا توسط شرکت ها و استدیو ها انجام میشه و شخص هیچ موقع همچین هزینه ای نمی کنه ، آن هم در ایران که پروژه های بزرگ و سینمایی تعطیل است خرید معنی  ندارد و اقتصادی نیست . نکته مـــهم بعدی ساپورت نکردن gpu از بعضی امکانات بوده که به مرور در حال برطرف شدن هست و هنوز نیاز به زمان داره . 

اگر بخوام خلاصه ی شاید یک سال مطالعه و تست رو بگم ، اینه که بهترین گزینه cpu هست چون شما می تونید براحتی 32gb رم رو با هزینه ناچیز براش فراهم کنید . من خودم دوتا سیستم با 128gb دارم ، یعنی 64gb برای هر کدام ، و تونستم تقریبا هر پروژه ی بزرگی که داشتم رو انجام بدم .