بحث چالشی : EtherChannel ، پورت share برای ilo و ESXi

[hamed_mhk]

سلام

قبل از اینکه بخوام سوالم - یا به عبارت بهتر بحث - رو باز کنم و مطرح کنم، لازم میدونم یک مقدمه کوچیک بگم و اینکه چرا بجای مطرح کردن سوال، مستقیم میخوام یک بحث راه بندازم رو توضیح بدم و یک مقداری مقدمه چینی بکنم !


عرض کنم که بعضی وقت‌ها به یک مشکلی بر میخوریم و در موردش سرچ میکنیم، توی فروم ها ، وبلاگ‌ها و پایگاه‌های دانش سازنده یا دیگران سرک می‌کشیم و جوابی براش پیدا نمیکنیم.
در بسیار از موارد - اگر درست سرچ کرده باشیم و دست خالی برگشته باشیم - معمولاً اون مشکل یک باگی چیزیه
ولی در بعضی از اوقات اون مشکل باگ نیست ، بلکه "یک حقیقت پنهان" هستش!!!!!
در واقع اون قضیه ای که مثلاً به گمان ِ ما یک مشکل هست، نه تنها مشکل نیست و حتی باگ هم نیست، بلکه جزء اساس اون نرم‌افزار یا سیستمه و وقتی بهش درست فکر میکنی و با دقت‌ نگاه میکنی، میبینی همچین پربیراه هم نبوده و در واقع ما انتظار اشتباه از اون داشتیم!


حالا چرا اینا رو میگم؟!

من توی چند وقت ِ اخیر به مشکلاتی خوردم که وقتی کنکاش کردم و توی بحرش رفتم دیدم که خب قضیه واقعاً مشکل نبوده و من باید نگاهم رو عوض میکردم .......
اما واقعاً اینجوره ؟!!!!!
یعنی نکنه که من اشتباه میکنم و مثلاً‌ اون نگاه قبلی درست بوده و مثلاً‌ خوب سرچ نکردم یا یه مطلب رو به کلی نفهمیدم !!!!


این قضیه بحث چالشی رو هم از این جهت هست که میخوام مطرح کنم !!!!


من یک چیزی رو به عنوان یک "مطلب خبری" مطرح میکنم که منبع و رفرنس درستی هم براش ندارم!
حالا شاید یک استدلال‌های هم داشته باشم! شاید هم نداشته باشم!
حالا یا درسته یا غلط !
یا منبع براش هست یا نیست !



این رو اینجا مطرح میکنم، که دوستان و اساتید در موردش صحبت کنن و اگر برای "تایید" یا "نقیض" اون مطلبی ، لینکی، مستندی، حتی استدلال و دلیلی دارن مطرح کنن و در مورد بحث کنیم
شاید در وحله اول اندکی به دانش ِ نداشته این بنده حقیر افزوده بشه و در وحله دوم هم دانش دوستان بالا بره!


بریم که داشته باشیم :

=-=-=-=-=-=-=-=

سناریو
یک سوییچ سیسکو داریم که 2 پورت اون EtherChannel شدن
این دو پورت خورده به 2 پورت از یک سرور HP که روی اون ESXi نصب شده و Nic Teaming‌ با تنظیمات Route based on IP Hash روی اون تنظیم شده

مشکل / حقیقت / ؟؟؟؟ :
شما نمیتونید iLO رو به صورت iLO Shared Network Port و استفاده از VLAN‌ روی این دو پورت راه اندازی کنید و حتماً باید از پورت Dedicate سرور برای ilo استفاده کنید یا از یک پورت خالی دیگه روی سرور برای این کار بهره ببرید

=-=-=-=-=-=-=-=

پی نوشت: من نمیدونم این رو باید توی این انجمن مطرح میکردم، یا انجمن سیسکو یا انجمن زیرساخت! حالا قرعه به نام این انجمن افتاد ! اگر جاش اشتباه مدیران زحمتش رو میکشن !
پیشاپیش ممنون

---

موضوعات مشابه:

• EtherChannel سویچ و Team در ESXi
• esxi 5.1 چه کارت شبکه ای را ساپورت میکند؟
• Etherchannel بين Cisco 3560 و ESXI
• ایمپورت کردن ios داخل esxi (فوری خیلی فوری)
• مشکل با پارالل پورت در Esxi

---

[mscomp]

من هم در مورد iscsi nas با همچین مشکلی روبرو شدم
یعنی روی esxi دو عدد کارت شبکه رو به صورت redundancy به یک سوییچ مجازی متصل کرده بودم بعد اجازه ی اضافه کردن iscsi نمیداد و به nic team کردن کارت شبکه ها گیر میداد . اومدم کارت شبکه دوم رو حذف کردم iscsi nas رو اضافه کردم بعد دوباره کارت شبکه دوم رو به سوییچ اضافه کردم و داره کار میکنه !.
حالا باگ esxi بود یا باگ یوزر یا هر چیز دیگه خدا داند و البته متخصص ...

[SADEGH65]

با سلام خدمت دوست عزیز

همانطور که خودت گفتی این یک مشکل نیست و دقیقا مربوط به ساختار کاری سرور های hp در بخش ILO است.
برای اطلاع سایر دوستانی که شاید اطلاعات کمتری در این رابطه داشته باشند میگویم :
بر روی سرور های HP یک چیپ ، و در واقع یک بخشی از برد اصلی سرور را با نام Integrated Lights-Out در اختیار دارید که توسط آن میتوانید مدیریت و مانییتورینگ سخت افزار را در لایه ای متفاوت با سیستم عامل ( و البته در جاهایی در کنار آن ) داشته باشید .
منظور این است که شما میتوانید توسط محیط مدیریتی ای که این بخش از برد برای شما فراهم میکند سلامت فعالیت تعدادی از قطعات را بررسی کرده ، رخداد های مربوط به این سخت افزار ها را مشاهده نمایید ، سرور را از نظر مدیریت پاور ( چه روشن و خاموش نمودن سیستم و چه مصرف ) در اختیار داشته باشید ، و همچنین میتوانید کنسول سرور را در این بخش باز نمایید ( یک مانیتور و کیبرد تحت شبکه همانند IP KVM ).
برای ارتباط با این چیپ و استفاده از آن تحت شبکه دو راه وجود دارد ، 1- در بسیاری از مدل ها پورت شبکه اختصاصی برای آن وجود دارد که میتوانید کابلی به آن متصل نموده و استفاده کنید ، 2- میتوانید در تنظیمات از حالت Shared Port استفاده کنید که در این حالت اطلاعات مربوط به این اینترفیس از پورت شبکه اول سرور به سوییچ ارتباطی ارسال میشود ( در این حالت میتوانید تنظیم نمایید اطلاعات با تگ vlan انتخابی شما به سوییچ ارسال شود .

حال اتفاقی که در اینجا صورت گرفته است مربوط به همین بخش است در هنگامی که ما از Link Aggregation که در سیسکو Etherchannel شناخته میشود استفاده میکنیم با توجه به نوع عملکرد دیتای ورودی و خروجی دیگر به ازای پورت اهمیت زیادی پیدا نمیکند و اطلاعات به صورت همزمان بر روی تمامی پورت های مرتبط با این Etherchannel در نظر گرفته میشود ( در واقع لینک فیزیکی دیگر برای سوییج و .. در مسیر یابی لایه 2 معنی ندارد و در اصل به اطلاعات را بر روی این Etherchannel مسیر یابی کرده و میفرستد ) در این حالت نمیتوان انتظار داشت ترافیکی که تنها قرار است از پورت شماره 1 خارج شود را به صورت صحیح در دسترس باشد.

-------------------------

نظر شخصی :
در صورتی که شرکت و یا سازمانی دانش و نیاز به استفاده از NIC Teaming و EtherChannel را داشته باشد آنقدر استتاعت مالی خواهد داشت که بتواند برای پورت ILO سرور ها یک پورت شبکه بر روی سویی در نظر بگیرد.

[mehranphp]

ILO به صورت Shared port فقط بروی nic 1 قابل راه اندازی است.

[hamed_mhk]

دقیقاً‌ درسته

بحث اینه که قضیه Link Aggregation یک داستان 2 طرفه ست
به این معنی که وقتی دو تا دستکاه رو مثلاً با 2 تا لینک به هم وصل می‌کنید، هم مبدا باید ای رو بدون و تنظیم بشه، و هم مقصد باید این رو بدونه و تنظیم بشه.
به دلیل اینه سرویس ilo یک سیستم مستقل از سیستم عامل (در این مثل ESXi) هست، به شرطی میتونه توی این بازی قرار بگیره، که توی اون بتونیم این تنظیمات رو انجام بدیم و خب چون ilo (و احتمالاً iDRAC‌ و امثالهم)‌ همچین تنظیماتی ندارن، نمیشه و نباید حساب کرد روش
البته من هنوز توی بحر ilo4 نرفتم و نمیتونم که این کار رو میتونه بکنه یا نه !

در صورتی که شرکت و یا سازمانی دانش و نیاز به استفاده از NIC Teaming و EtherChannel را داشته باشد آنقدر استتاعت مالی خواهد داشت که بتواند برای پورت ILO سرور ها یک پورت شبکه بر روی سویی در نظر بگیرد.

آره خب! ولی به هر حال من میخواستم این رو تست کنم و کردم و نشد !!
البته مثلاً توی برنامه آینده - نه چندان نزدیک - این بود که سرورها رو با 4 پورت وصل کنم به سوییچ و ilo رو هم به صورت تگ VLAN‌ بیارم تو بازی که تیرمون به سنگ خورد !!!

[SADEGH65]

دقیقاً‌ درسته

بحث اینه که قضیه Link Aggregation یک داستان 2 طرفه ست
به این معنی که وقتی دو تا دستکاه رو مثلاً با 2 تا لینک به هم وصل می‌کنید، هم مبدا باید ای رو بدون و تنظیم بشه، و هم مقصد باید این رو بدونه و تنظیم بشه.
به دلیل اینه سرویس ilo یک سیستم مستقل از سیستم عامل (در این مثل ESXi) هست، به شرطی میتونه توی این بازی قرار بگیره، که توی اون بتونیم این تنظیمات رو انجام بدیم و خب چون ilo (و احتمالاً iDRAC‌ و امثالهم)‌ همچین تنظیماتی ندارن، نمیشه و نباید حساب کرد روش
البته من هنوز توی بحر ilo4 نرفتم و نمیتونم که این کار رو میتونه بکنه یا نه !

البته من به صورت اختصاصی این مورد را در ILO4 تست نکردم در این زمینه ولی تمامی محیط های این چنینی فقط روی LAN1 به صورت Shared Port عمل میکنند ( از ilo100 تا ipmi , iDRAC )

[VMwares]

همانطور که صادق جان گفتن با توجه به اینکه شما ترافیک iLO را با یک NIC به بیرون ارسال میکنید عملا نمیتوانید از این ویژگی در یک Aggregate استفاده کنید به این دلیل که در تمام Switch ها ( و نه تنها Cisco) زمانی که دو Switch Port به عنوان Member در یک Aggregate قرار میگیرند، دیگر تنظیمات خود پورت ها (مانند VLAN ها و یا Trunk ها) مورد استفاده قرار نمیگیرد و به جای آن تنظیمات Aggregate جدید (که در Cisco به عنوان Port-Channel شناخته میشود) مورد استفاده قرار میگیرد. حال اگر Aggregate شما از نوع Static باشد که اصلا Switch اهمیتی به اینکه یکی از NIC ها قادر به ارسال ترافیک VLAN مربوط به iLO نمیباشد نمیدهد و طبیعتا نیمی از Packet ها Drop میشود و اگر هم LACP باشد یا PAGP (اختصاصا Cisco) باشد باز هم چون پورت روبروی Switch عملا Up است، Switch نمیتواند تشخیص بدهد که یکی از VLAN ها تنها از یک Port قابل دسترسی است.
در کل میتوان گفت که شدنی نیست.
ولی راه دیگری هم دارد، استفاده از iLO Agent نصب شده بر روی سیستم عامل میتواند کارگشا باشد چراکه شما میتوانید با اتصال به سیستم عامل، دسترسی به iLO Agent داشته باشید و دیگر نیازی ندارید که تراقیک آن را به صورت Passive جدا کنید.


همچنین
با وجود اینکه ربطی به موضوع ندارد، باید یاد آور باشم که در vSphere در صورتی که از Standard Switch استفاده کنید نمیتوانید از Dynamic Aggregation هایی مثل LACP و یا PAGP استفاده کنید و برای این کار نیاز به DvSwitch دارید. اگر در Switch بر اساس LACP یا PAGP پیکربندی کنید و در سرور از Standard Switch، به دلیل محدودیت موجود با MAC-FLAP مواجه میشوید و باز هم نیمی از Packet ها بر اساس IP یا MAC (با توجه به پیکربندی Switch) مقصد Drop میشوند.

[MS-DOS]

جناب فولادوند یک موردی که نمیتونم دقیقا بگم مشکل هست یا محدودیت یا نوع عملکرد (که من چند بار تست کردم) و الان شما بهش اشاره کردید را میخوام بپرسم و نظر شما را بدانم. در esx که dvswitch ندارد و استاندارد سوییچ است اگر در سوییچ سیسکو تنظیمات etherchannel بر اساس etherchannel only باشد و LACP,PAGP نباشد و روی سرور esx تنظیمات route base ip hash باشد (طبق داکیومنتهای vmware برای اترچنل) بعنوان مثال وقتی فقط ترافیک vmotion را روی 2 اینترفیس channelgroup کنیم ، پس از چندین motion چه از طریق بررسی نرم افزار مانیتورینگ مثل solarwinds چه از روی performance سرورهای esx ظاهرا motion ها روی مجموع 2 اینترفیس نمیرود. منظورم این است که هیچ motion روی 2 گیگ ارسال نمیشود اما در صورت انجام چندین motion آنها روی اینترفیس دوم میروند. در یک وبلاگ انگلیسی خواندم که channelgroup در esx بیشتر به معنای load balancer هست. یعنی اگر یه ماشین سنگین را motion کنید آن ماشین فقط از یک اینترفیس مرود در صورتیکه ماشین دوم دیگری را motion کنید از اینترفیس دیگر. بار تعدیل میشود اما انتظار پهنای باند 2 گیگ استفاده برای یک motion را نباید داشت. چند بار هم تست کردم نتیجه همین بود. آیا این حرف من درست است؟ یا خیر شما با استاندارد سوییچ توانستید واقعا از یک لینک 2 گیگ استفاده کنید؟ من در حال حاضر بالاترین ترافیکی که میتونم ایجاد کنم motion هست چون FT ندارم که اون رو مجزا کنم همچنین تعداد ماشینها هیچ موقع روی یک اینترفیس بیشتر از 60% ارسال نمیکنن. اما همیشه همه در وبلاگها و سایتها همین متد etherchannel و ip hash رو میزارن اما انگار کسی یا واقعا تست نگرفته یا تو شرایط نبوده ببینه که نمیشه یک لینک 2 گیگی ساخت و مورد فقط تعدیل پهنای باند + failover کارت شبکه است. ممنون میشم بحث را ادامه بدید

[VMwares]

در نظر داشته باشید که Aggregation اگر به صورت Dynamic نباشد (LACP یا PAGP) میتواند از هر دو لینک Receive کند ولی برای یک مقصد تنها از یک لینک Transmit میکند و به همین دلیل شما یک vMotion را روی دو لینک نمیبینید. این مشکل نیست و محدودیت هم نیست، این ذات و عملکرد این فناوری است.

[MS-DOS]

در نظر داشته باشید که Aggregation اگر به صورت Dynamic نباشد (LACP یا PAGP) میتواند از هر دو لینک Receive کند ولی برای یک مقصد تنها از یک لینک Transmit میکند و به همین دلیل شما یک vMotion را روی دو لینک نمیبینید. .

ممنون میشم در این مورد یک مستند یا مقاله فنی معرفی کنید