.:رویال آی تی:.

پایان نامه مروري بر داده كاوي با رويكرد وب سرويس كاوي

فهرست مطالب

چكيده  ۲

مقدمه  ۴

١- فصل اول: مقدمه اي بر داده كاوي (كليات و پيشينه و بيان اهداف) ۶

١- داده كاوي چيست؟ ۶ -١

١ توصيف داده ها در داده كاوي ۱۵ -٢

١ مدل هاي پيش بيني داده ها  ۱۸ -٣

۱۸ Classification ١-٣-١

۱۸ Regression١-٣-٢

۱۹  Time series ١-٣-٣

٢- فصل دوم: مدل ها و الگوريتم هاي داده كاوي ۲۰

٢ تكنيكها داده كاوي ۲۰ -١

٢شبكه هاي عصبي ۲۰ -١-١

۲۲ Feed-Forward Backpropagation٢-١-٢

۲۳ Decision Trees ٢-١-٣

۲۶ Multivariate Adaptive Regression Splines (MARS) ٢-١-۴

۲۷ Rule Induction ٢-١-۵

۲۷  K-nearest neibour and memory-based reasoning(MBR) ٢-١-۶

٢ مدلهاي داده كاوي ۲۸ -٢

٢رگرسيون منطقي  ۲۸ -٢-١

٢تحليل تفكيكي ۲۹ -٢-٢

۳۰  (GAM) ٢مدل افزودني كلي -٢-٣

۳۰  Boosting ٢-٢-۴

٢ سلسله مراتب انتخابها ۳۰ -٣

٣- فصل سوم: وب كاوي  ۳۳

٣ مقدمه اي براي وب كاوي  ۳۷ -١

٣ محتوا كاوي وب  ۳۸ -٢

٣ ساختار كاوي وب ۳۸ -٣

٣تكنيكهاي تحليل ابرپيوندها  ۴۰ -٣-١

٣الگوريتم رتبه بندي صفحه وب  ۴۲ -٣-٢

۴۳ HITS ٣الگوريتم -٣-٣

٣ كاوش كاربردي وب  ۴۷ -۴

٣ سيستم وب كاوي  ۶۰ -۵

۶۶  KIM ٣ الگوريتم -۵-١

٣ارزيابي آنتولوژي  ۷۱ -۵-٢

۴- فصل چهارم: معماري سرويسگرا و وب سريس كاوي  ۷۵

۴ سرويس چيست؟  ۷۵ -١

۴ وب سرويس استاندارد براي داده كاوي ۸۰ -٢

۴وب سرويس كاوي ۸۸ -٣

۵- فصل پنچم: نتيجه گيري و پيشنهادات ۹۹

۵نتيجه گيري ۹۹ -١

۵بيان مسئله و پيشنهادات ۱۰۰ -٢

پيوستها  ۱۰۵

پيوست ١: لغت نامه ۱۰۶

۱۱۴ Service Oriented Architecture : پيوست ٢

پيوست ٣: وب سرويس ۱۲۰

۱۲۷ XML : پيوست ۴

منابع ۱۳۳

Abstract136

فهرست جداول

بر روي پنچ وب سايت ٨١ KIM جدول ١ – نتايج بدست آمده از روش

فهرست شکل ها

شكل ١– فرايند كشف دانش ١۴ -١

١: سير تكاملي صنعت پايگاه داده ١۴ – شكل ٢

شكل ١: معماري يك نمونه سيستم داده كاوي ١۶ -٣

شكل ١- داده ها از انباره داه ها استخراج مي گردند ٢١ -۴

شكل -١ داده ها از چند پايگاه داده استخراج شده اند ٢٢ -۵

شكل ١- كلاسترينگ ناحيه اي ٢۵ -۶

شكل ٢۶ Classification ١- يك مثال از -٧

شكل ١شبكه عصبي با يك لايه نهان ٢٩ -٨

شكل است ٣٠ Y و X وزن يال بين Wx,y ١-٩

شكل ١ درخت تصميم گيري ٣١ -١٠

شكل قرار گرفته اند) ٣۵ X ١محدوده همسايگي (بيستر همسايه ها در دسته -١١

شكل ٢- ساختار وب گراف ۴٧ -١

شكل ١- معرفي ساختارهاي وب جالب ۴٨ -٢

شكل ٢- هسته دو قسمتي ۵١ -٣

٣ زير گراف صفحات پيوندي ۵۴ -١ شكل

و بردارهاي وزني براي گراف مورد نظر ۵۴ A ٣ ماتريس مجاورتي -٢ شكل

شكل ٣- فرايند كاوش كاربردي وب ۵۵ -٣

شكل ٣ فرايند استفاده از وب كاوي ۵۶ -۴

شكل ٣ يك معماري براي وب كاوي ۵٧ -۴

شكل ٣- معماري پردازش اوليه ۵٨ -۶

شكل ٣- جدول خصوصيات مشترك صفحات وب ۶٠ -٧

شكل ٣ انواع تراكنش: منابع صفحه محتوا و كمكي برچسبهاي هستند ۶٢ -٨

شكل ٧٣ KIM ٣- ديدكلي از روش -٩

شكل ٣- شرح منو زيردرختي ٧۶ -١٠

شكل ٣- الگوريتم براي استخراج يك ليست نمونه منو از يك صفحه وب ٧٨ -١١

شكل ۴- چگونگي پوشش حرفه توسط سرويس ٨٣ -١

شكل ۴- عناصر تشكيل دهنده معماري سرويس گرا ٨۴ -٢

شكل ۴- چگونگي كاركرد معماري سرويس ٨۶ -٣

شكل ٨٩ SOAP ۴- يك معماري از -۴

شكل ۴ سه بخش عمده وب سرويس ٩٣ -۵

شكل ۴: نحوه تعامل وب سرويسها ٩۴ -۶

شكل و همنوائي آن ٩٨ WSDL  ۴: آژانس مسافرتي آنلاين -٧

شكل ۴مدل همنوائي آژانس مسافرتي آنلاين ٩٩ -٨

شكل از تعاملات بين استفاده كننده گان و سرور ١٠٠ Log ۴ نحوه ثبت -٩

شكل ها ١٠١ Log ۴: مدل ارائه شده براي استخراج دانش از -١٠

شكل ها ١٠٣ Association Rules براي استخراج Apriori ۴: الگوريتم -١١

شكل وب سرويس براي استخراج ترتيبهاي قابل اجرا ١٠۴ log ۴ الگوريتم تحليل -١٢

شكل ۴ ترتيب اجراي عمليات داخل سرويس ١٠٨ -١٣

شكل ۴ بهينه سازي يك فرايند با استفاده از داده كاوي ١١١ -١۴__

چكيده

واژه داده كاوي براي توصيف مجموعه فعاليتهاي وسيعي مورد استفاده قرار مي گيرد. دنياي مدرون امروز، دنياي اطلاعات است و ما با حجم بسيار وسيعي از داده ها سركار داريم. براي رسيدن به اطلاعات بايد اين داده ها تحليل و پردازش شوند تا اطلاعات از آنها استخراج شود. با هزينه توسعه سريع و افزايش قابليتهاي و كاهش هزينه هاي ذخيره سازي منجر به ذخيره بسيار وسيع داده ذخيره سازي پائيني شده است. وجود داده هاي زيادي بر روي وب سايتها، پايگاه داده ها، مالتي مديا، وب سرويسها و … اخيرا استفاده از داده كاوي را از اين منابع مد نظر قرار داده است. كاوش اطلاعات مفيد كه دانش مناسب را از پايگاه داده هاي وسيع استخراج مي كند، به يكي از زمينه هاي مهم تحقيقاتي تبديل شده است. م وب كاوي يكي از زمينه هاي هم تحقيقاتي در زمينه داده كاوي براي تعداد وسيعي از سرويسهاي وب جهان گستر در سالهاي اخير تبديل شده است. وب جهان گستر بصورت گسترده اي هم در زمينه ترافيك و هم در زمينه اندازه و پيچيدگي وب سايتها در حال گسترش است. اين پيچيدگي، نياز ما را به تحليل استفاده وب سايت، چگونگي ساختار وب و محتواي منابع وب وادار ساخته است. ه تكنولوژي وب سرويس باعث افزايش نقش وب سرويسها در برنامه هاي اينترنتي بطور كلي و در زمين تجاري به طور خاص شده است. از زماني كه وب سرويسها نقش مهم و فزاينده اي در تكنولوژي اطلاعات پيدا كرده اند، از سيستمهاي سرويسگرا انتظار رشد و پيچيدگي روزافرون مي رود. مانند تقاضاي سيستمهاي براي ابزارهاي كه اجازه تحليل و نظارت بر سيستمهاي سرويسگرا استفاده شده را مي دهند. روشهاي مختلفي براي داده كاوي و فرايند كاوي از وب سرويسها و تعاملات بين آنها براي تحليل تعاملات وب سرويسها بين استفاده كننده گان و مهيا كننده گان و كشف تركيب سرويهاست وجود دارد. از زمانيكه استفاده از وب سرويسها افزايش پيدا كرده، تحليل رفتار كاربراني كه از وب سرويسها استفاده مي كنند

مقدمه

اخيرا توانايي هاي فني بشر در توليد و جمع آوري داده ها به سرعت افزايش يافته است عواملي نظير استفاده گسترده از كامپيوتر در كسب و كار، علوم، خدمات دولتي و پيشرفت در وسائل جمع آوري داده، از اسكن كردن متون و تصاوير تا سيستمهاي سنجش از دور ماهواره اي، در اين تغييرات نقش مهمي داشته اند. حجم بسيار بالاي سايتهاي طراحي شده و موجود در بستر وب؛ تنوع و حجم بالاي اطلاعات موجود در آنها، تكنيكها و توزيع شدگي منابع به معظلي بزرگ در استفاده از اين منابع تبديل شده است. در واقع مشكل از آنجائي ناشي مي شود كه منابع به اندازه كافي موجود است، ولي بصورت خام و پخش شده در رسانه هاي مختلف و با حجم زياد. مشكل اصلي دربدست آوردن دانش موجود در آنها و اينكه دانش مورد نياز ما در چه منابعي و به چه صورتي واقع شده است؛ مي باشد. اين رشد انفجاري در داد ههاي ذخيره شده، نياز مبرم به وجود تكنولوژي هاي جديد و ابزارهاي خودكاري را ايجاد كرده كه به صورت هوشمند به انسان ياري رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل كند: داده كاوي به عنوان يك راه حل براي اين مسائل مطرح مي شود. كه بطورغير رسمي داده كاوي فرآيندي است، خودكار براي استخراج الگوهايي كه دانش را بازنمايي مي كنند، اين دانش به صورت ضمني در پايگاه داده هاي عظيم، انباره داده ۱، صفحات وب، منابع توزيع شده و ديگر مخازن بزرگ اطلاعات، ذخيره شده است. داده كاوي تكنيكي است كه بطور همزمان از چندين رشته علمي نظير: تكنولوژي پايگاه داده، هوش مصنوعي، يادگيري ماشين، شبكه هاي عصبي، آمار، شناسايي الگو، سيستم هاي مبتني بر دانش ۲، حصول دانش ۳، بازيابي اطلاعات ۴، محاسبات سرعت بالا ۵ و بازنمايي بصري داده ۶ بهره مي برد.

داده كاوي در اواخر دهه ۱۹۸۰ پديدار گشته، در دهه ۱۹۹۰ گامهاي بلندي در اين شاخه از علم برداشته شد و انتظار مي رود در اين قرن به رشد و پيشرفت خود ادامه دهد. كشف دانش از منابع داده فرايند شناسايي درست، ساده، مفيد، و نهايتا الگوها و مدلهاي قابل فهم در داده ها مي باشد. داده كاوي، مرحله اي از فرايند كشف دانش مي باشد و شامل الگوريتمهاي مخصوص داده كاوي است، بطوريكه، تحت محدوديتهاي مؤثر محاسباتي قابل قبول، الگوها و يا مدلها را در داده كشف مي كند. به بيان ساده تر، داده كاوي به فرايند استخراج دانش ناشناخته، درست، و بالقوه مفيد از داده اطلاق مي شود. تعريف ديگر اينست كه، داده كاوي گونه اي از تكنيكها براي شناسايي اطلاعات و يا دانش تصميم گيري از قطعات داده مي باشد، به نحوي كه با استخراج آنها، در حوزه هاي تصميم گيري، پيش بيني، پيشگويي، و تخمين مورد استفاده قرار گيرند. داده ها اغلب حجيم ، اما بدون ارزش مي باشند، داده به تنهايي قابل استفاده نيست، بلكه دانش نهفته در داده ها قابل استفاده مي باشد. به اين دليل اغلب به داده كاوي، تحليل داده اي ثانويه ۷ گفته مي شود. داده كاوي از منابع توزيع شده متفاوت تر از داده كاوي از منايع متمركز است. مشكل داده كاوي از منابع توزيع شده (مانند وب) در محتويات غير ساخت يافته و يا شبه ساخت يافته اين منابع است. منابع توزيع شده، برخلاف منابع متمركز، داراي يك ساختار استاندارد مناسب نيستند و از سبك و شيوه نگارشي متنوع محتوائي نسبت به آنچه كه در مجموعه منابع متمركز وجود دارد، پيروي مي كنند. فصل اول اين سميناريك مرور سريع بر معرفي داده كاوي؛ مدلها و روشهاي موجود در آن پرداخته است، فصل دوم مدل ها و الگوريتم هاي داده كاوي به صورت اجمالي برسي شده؛ در فصل سوم مدل وب كاوي مطرح شده است در اين فصل تكنيكها و الگوريتمهاي مختلف وب كاوي برسي شده است، در اين بخش الگوريتمهاي و چگونگي XML داده كاوي از وب نيز معرفي شده است در فصل چهارم وب سرويس و معماري وب سرويس و داده كاوي از وب سرويسها مطرح شده است. در فصل چهارم يكسري ايده ها و سوالاتي در رابطه با وب سرويس كاوي مطرح شده است.

“اخطار مهم!”  این پروژه قبلا توسط تولید کننده ی آن به عنوان پروژه درسی ارائه شده است، پس صرفا جهت کمک آموزشی استفاده نمایید در غیر این صورت تمامی عواقب و مسئولیت آن به عهده ی خود ارائه دهنده می باشد و این وب سایت هیچ مسئولیتی به عهده نخواهد داشت.

۱۴۷ صفحه

شما هم اکنون با داشتن رمز دوم کارت عابر خود و پرداخت اینترنتی می توانید بلافاصله پس از پرداخت این فایل را دریافت کنید و مطالعه این محصول با ارزش را شروع کنید .