
2-1-4 ماتریس کوواریانس:
به یاد داریم کوورایانس همیشه بین دو بعد اندازه گیری می شود. اگر مجموعه اطلاعاتی با بیش از دو بعد داشته باشیم، بیش از یک کوورایانس وجود دارد که می توان محاسبه کرد.
برای مثال در یک مجموعه اطلاعات در سه بعد (X,Y,Z) شما می توانید cov(X,Y)، cov(X,Z) ، cov(Y,Z)را حساب کنید.
برای یک مجموعه اطلاعاتn بعدی می توان![]()
بنا براین ماتریس کوواریانس برای یک مجموعه از داده ها باn بعد به صورت زیر است:
![]()
که Cn×n یک ماتریس باn سطر و nستون و بعدX است. اگر ما یک مجموعه اطلاعاتn بعدی داشته باشیم، پس ما ماتریس مربعی داریم. و هر عنصر ماتریس نتیجه ای از محاسبه کوواریانس بین دو بعد جدا است.
یک مثال: ما ماتریس کوواریانس را برای یک مجموعه داده 3 بعدی فرضی می سازیم. از ابعاد معمول X,Y,Zاستفاده می کنیم. پس ماتریس کوواریانس 3 ستون و 3 سطر دارد و ارزش آن ها به صورت زیر است:

توجه به چند نکته لازم است، روی قطر شما می بینید که مقدار کوواریانس بین یکی از ابعاد و خودش است در حقیقت واریانس آن بعد است.نکته دیگر این که cov(a,b)=cov(b,a) ،ماتریسی متقارن مجاور با قطر اصلی است.
2-2 ماتریس جبری:
این قسمت یک پیش زمینه برای ماتریس های جبری مورد نیاز در آنالیز اجزا اصلی را فراهم می آورد. به ویژه ما به بردارهای مشخصه و مقادیر ویژه یک ماتریس معلوم توجه داریم.
مثال1: مثالی از یک بردار غیر مشخصه و یک بردار مشخصه

مثال2: مثالی چگونه یک بردار مشخصه مقیاس دار هنوز یک بردار مشخصه است.

2-2-1 بردار های مشخصه:
همان طور که می دانید دو ماتریس که اندازه های آن ها سازگار است را می توان در هم ضرب کرد. بردار های مشخصه یک مورد خاص از این مورد هستند. دو مورد ضرب از بین یک ماتریس و یک بردار را در مثال های بالا ملاحظه می کنید. در مثال اول، نتیجه بردار یک مضرب صحیحی از بردار اصلی نیست در صورتی که در مثال دوم دقیقا 4 برابر بردار اصلی است (
این بردار مشخصه چه ویژگی باید داشته باشد؟ شما ابتدا باید بدانید که بردار مشخصه فقط می تواند برای ماتریس مربعی وجود داشته باشد. و هر ماتریس مربعی بردار مشخصه ندارد. ماتریس n×n معلوم n بردار مشخصه برای آن وجود دارد. یک ماتریس 3×3 معلوم، 3 بردار مشخصه دارد. خاصیت دیگر بردار های مشخصه این است. اگر اندازه یک بردار مقداری کم باشد همه ما در حال انجام بلندتر ساختن آن هستیم اما مسیر آن را تغییر نمی دهیم.
در ضمن تمام بردارهای مشخصه بر هم عمودند، مهم نیست شما چند بعد دارید.
این مهم است زیرا، به این معنی است که شما اطلاعات را به ازای این بردارهای مشخصه عمودی می تواند بیان کند، به جای این که آن ها را به ازای محورهای X,Y بیان کرد ما این را در قسمت آنالیز اجزای اصلی انجام می دهیم.
مطلب مهم دیگری که باید دانست این است زمانی که بردار مشخصه را پیدا می کنیم علاقمند به این هستیم که پیدا کنیم بردار های مشخصه که طول واحد دارند. طول یک بردار اثری بر روی این که آیا یک بردار مشخصه است یا نه نمی گذارد. به منظور این که بردار های مشخصه استاندارد را پیدا کنیم هر زمان که بردار مشخصه را به دست می آوریم، معمولا مقیاسی برای این که طول واحد داشته باشیم به دست می آوریم. بنا بر این همه بردار های مشخصه باید طول یکسان داشته باشند.
بردار
است بنا بر این ما بردار اصلی برای ساختن برداری با طول یک تقسیم بر
می کنیم.

متاسفانه فقط برای ماتریس های نسبتا کوچک آسان است به ماتریس های بزرگتر از 3×3 علاقه نداریم. راه معمولی برای پیدا کردن بردار های مشخصه با تعدادی روش های پیچیده تکراری است که در حوصله این مطلب نیست.
2-2-2 مقادیر ویژه:
مقادیر ویژه بسیار وابسته به بردار های مشخصه هستند. در حقیقت ما یک مقدار ویژه را در شکل های قبل دیدیم.
در هر دو مثال ها، بعد ضرب در ماتریس مربعی نتیجه به دست آمده چند بربر بردار مشخصه، این عدد مقدار ویژه مربوط به بردار مشخصه است. در مثال اول، ارزش 4 بود. 4مقدار ویژه وابسته به این مقدار مشخصه است.
می بینیم که مقادیر ویژه و بردار های مشخصه باهم جفت هستند. زمانی که شما روشی برای محاسبه بردار های مشخصه به دست می آورید معمولا به طور تمام و کمال به مقادیر ویژه هم می رسید.