آموزش طراحی خزشگر وب با پایتون Python

FaraDars: آموزش طراحی خزشگر وب Web Crawler با پایتون Python - (برای مشاهده نسخه کامل آموزش به لینک زیر مراجعه کنید)
https://fdrs.ir/tdmz

0:00:00 درس یکم: مقدمه ای بر بازیابی اطلاعات از محیط وب
0:32:15 درس دوم: آشنایی با ساختار صفحات وب

این جمله که ما در حال زندگی در عصر اطلاعات هستیم، برای همه ما آشنا است. اما این اطلاعات کجاست؟ این اطلاعات می تواند در روزنامه ها، رادیو، تلویزیون و به خصوص درفضای وب باشد. فضای وب روزانه در حال بزرگ و بزرگ تر شدن است. در هر لحظه میلیون ها کاربر اینترنت در سراسر دنیا با ایجاد صفحات جدید یا حذف و ویرایش صفحات و تولید محتوا در سایت های مختلف در حال تولید داده هستند که این داده ها، اطلاعات موجود در شبکه های اجتماعی، آمارهای منتشر شده در سایت ها، اطلاعات محصولات فروشگاه های اینترنتی و نتایج نظرسنجی های اینترنتی را در بر می گیرد.

با رشد انفجاری حجم داده ها در فضای وب، نظر پژوهشگران حوزه علوم داده (Data Science) به این داده ها جلب شده است، اما چگونه می توان به این داده ها دسترسی پیدا کرد؟ با پیشرفت هوش مصنوعی در دهه های اخیر، الگوریتم های قدرتمند یادگیری ماشین برای تحلیل داده های حجیم و کشف اطلاعات ارزشمند از آن ها، توسعه داده شده اند که این الگوریتم ها برای بررسی سئو (SEO) سایت، رقابت بین شرکت ها، تبلیغات، یافتن باگ های امنیتی سایت (تست نفوذ) و یا سایر نیازمندی های تحت وب مورد استفاده قرار می گیرند.

بالا رفتن قدرت محاسباتی سیستم ها، افزایش حافظه ها و همچنین دسترسی آسان به داده های موجود در وب، باعث شده است تا پژوهشگران حوزه علوم داده به استفاده از داده های حجیم تحت وب، علاقه مند شوند. با توجه به این که سایت ها، شرکت ها و بنگاه های تجاری اینترنتی، داده های خود را به سادگی در اختیار دیگران نمی گذارند، پژوهشگران و برنامه نویسان، روش ها و ابزارهای قدرتمندی را برای جمع آوری و ذخیره سازی داده های وب توسعه داده اند که به آن خزش یا کرال در وب (Web Crawling) می گویند.

آن ها با استفاده از این ابزار ها، داده ها و اطلاعات داخل وب سایت ها را کرال کرده و در قالب های معمول و قابل استفاده برای تحلیل های خود ذخیره می کنند و پس از آن می توانند به شکل یک فایل از آن استفاده کرده و یا برای پژوهش های حوزه داده کاوی از طریق وب، در اختیار عموم قرار دهند. موتورهای جستجو نیز برای ایندکس کردن (Indexing) صفحات وب از کرال و خزش در بین این صفحات استفاده می کنند.

زبان برنامه نویسی پایتون (Python) به دلایلی همچون: سرعت در کدنویسی، یادگیری آسان و بسته های قدرتمند در حوزه تحلیل داده، مورد توجه پژوهشگران حوزه علوم داده قرار گرفته است، به طوری که توسعه دهندگان بزرگ از جمله Google و Facebook، توسط این زبان برنامه نویسی قدرتمند، اپلیکیشن ها و الگوریتم های مهمی برای هوش مصنوعی توسعه داده اند.

همچنین در این زبان، به منظور کرال (Crawl) داده های مورد نیاز (متن وب سایت ها و فایل های متنی و چندرسانه ای) تحلیل گران داده از محیط وب، بسته های پرقدرتی از جمله: Request, BeautifulSoup و Selenium، توسعه داده شده است. در این فرادرس به شما آموزش می دهیم که چگونه داده های مورد نظر خود را با استفاده از زبان برنامه نویسی پایتون از هر سایتی کرال و به شیوه های درست ذخیره کنید.


آموزش طراحی خزشگر وب Web Crawler با پایتون Python - (برای مشاهده نسخه کامل آموزش به لینک زیر مراجعه کنید)
https://fdrs.ir/tdmz