آموزش پردازش زبان طبیعی - پاک ‌سازی و نرمال‌ سازی متن

مشاهده آموزش جامع یادگیری ماشین و داده کاوی و دروس علم داده https://fdrs.ir/aprt39 بی شک در طول تاریخ معاصر، دو اتفاق بسیار مهم و تاثیرگذار در زندگی انسان ها روی داده است که اولین آن انقلاب صنعتی بود که باعث استفاده از نیروی کار ماشین ها به جای انسان ها شد و دومین اتفاق، گسترش ارتباطات و انفجار اطلاعات بود به نحوی که قرن ۲۱ را قرن ارتباطات و اطلاعات نامیدند، اما اتفاق دوم با همه فواید، معایبی را نیز همراه داشت که می توان به سردرگم شدن کاربران در این حجم زیاد اطلاعات و گسترش اطلاعات نادرست، اشاره کرد. راهکار علم کامپیوتر برای حل این مساله استفاده از کامپیوترها برای پردازش این حجم از اطلاعات و ارائه اطلاعات مفید تر بود. احتمالا با هرم دانش، آشنایی دارید. براساس این هرم، کاری که کامپیوتر انجام می دهد گرفتن داده ها و تبدیل آن ها به اطلاعات مفید است. همان طور که می دانید داده ها را در بستر وب می توان به فرم های متن، تصویر، صوت یا ویدئو مشاهده نمود ولی از آن جا که بیشتر این داده ها به صورت متن هستند در این فرادرس به پردازش زبان های طبیعی می پردازیم. برای این پردازش، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که بیشتر به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم.

• #تحصیلات_و_یادگیری
• #آموزش
• #دانشگاهی
• #فرادرس
• #مهندسی
• #رایگان