در این مطلب با مفهوم پردازش زبان طبیعی، اهداف، تسک‌های مربوط به آن و کاربردهایش آشنا می‌شویم.

بیایید نگاهی به جدیدترین تکنولوژی‌های اطرافمان بیندازیم: بررسی خودکار املای کلمات و تصحیح خودکار، تولید خودکار زیرنویس برای ویدئوها، دستیارهای صوتی مانند سیری و الکسای آمازون، کامل کردن خودکار کلمه؛ اما تمام این‌ها چه ویژگی مشترکی دارند؟

تمام این تکنولوژی‌ها به خاطر همین «پردازش زبان طبیعی» وجود دارند! پردازش زبا‌ن ‌های طبیعی (Natural language processing) که به اختصار به عنوان NLP هم شناخته می‌شود. این حوزه را می‌توان تلاقی زبان‌شناسی، هوش مصنوعی و علوم کامپیوتر دانست. اما هدف پردازش زبان طبیعی چیست؟‌

هدف این است که کامپیوترها بتوانند زبان انسان‌ها (مانند انگلیسی، فارسی، اسپانیای و…) را تفسیر کنند، تحلیل کنند و جملات و متونی مشابه زبان انسان خلق کنند.

آغاز NLP را می‌توان حدود ۱۹۵۰ دانست، وقتی که آلن تورین مشغول انجام دادن تست‌هایی بود که ببیند آیا می‌توان یک کامپیوتر را طوری طراحی کند که زبان انسان را فرا بگیرد و کاری کند که انسان‌ها نتوانند تشخیص دهند که در حال صحبت با یک کامپیوتر هستند یا انسان.

اما نباید فراموش کنیم که تشخیص گفتار انسان، تنها یکی از کاربردهای گسترده NLP است. کاربردهایی مانند حذف ایمیل‌های اسپم یا توییت‌های نامناسب، و بهبود دسترسی‌پذیری‌های کامپیوتری برای افرادی با کم‌توانی، کارهایی هستند که به طور عمده بر پردازش زبان طبیعی تکیه دارند.

NLP هم از الگوریتم‌های متداول یادگیری ماشین بهره می‌برد و هم الگوریتم‌های مختص به خودش را دارد؛ پس شاید بتوان گفت پردازش زبان طبیعی دنیای خودش را دارد و اگر بخواهید وارد این حوزه شوید باید آماده قدم گذاشتن به دنیای شگفت‌انگیز شوید.

در واقع هرکسی که قدم در راه هوش مصنوعی و یادگیری ماشین می‌گذارد، در نهایت به نقطه‌ای می‌رسد که اصول اولیه یادگیری ماشین را می‌داند، تا حدی با ریاضیات آشناست و در پیاده‌سازی الگوریتم‌ها هم تجربه دارد؛ در این نقطه بهتر است یک تخصص برای خودش انتخاب کند و همان حوزه را عمیق‌تر یاد بگیرد. مثلا برخی افراد سراغ پردازش تصویر می‌روند، برخی در یادگیری تقویتی ماهر می‌شوند، برخی دنبال ساختن بازی می‌روند یا به حوزه خودروهای خودران علاقمند می‌شوند، همینطور حوزه‌هایی مانند بازارهایی مالی و پیش‌بینی قیمت سهام، پیش‌بینی آب‌وهوا و … وجود دارد. پردازش زبان طبیعی (NLP) هم یکی زمینه‌‌هایی است که می‌توانید آن به عنوان تخصص برگزنید و احتمالا بدانید که پردازش زبان طبیعی، از حوزه‌های داغ یادگیری ماشین است.

پردازش زبان طبیعی چیست و چه کاربردهایی دارد؟

پردازش زبان طبیعی، همانطور که از نامش پیداست، در قلمرو هوش مصنوعی و یادگیری ماشین، تمام موضوعاتی را در بر می‌گیرد که به زبان مربوط می‌شوند. کلام گفتاری، متن‌های نوشته شده، ترجمه ماشینی و هر جای دیگری که کلمات وارد شوند، پای پردازش زبان طبیعی در میان است.

پردازش زبان طبیعی چیست

اگر تجربه جستجوی کار در زمینه هوش مصنوعی و یادگیری ماشین را داشته باشید، احتمالا به این موضوع برخورده باشید که در اکثر مصاحبه‌های شغلی درمورد NLP هم سوالاتی می‌پرسند. بزرگ‌ترین شرکت‌های دنیا روی این موضوع کار می‌کنند و محصولاتی مانند سیری  و گوگل اسیستنت ساخته‌اند که از کارهای NLP حساب می‌شوند.  شما این دستیارهای صوتی حرف می‌زنید (یا چیزی را بیان می‌کنید یا تایپ می‌کنید) و آنها هم به شما پاسخ می‌دهند.

همچنین تبلیغات که یکی از صنایع پرسودترین‌ صنایع دنیا حساب می‌شود، خیلی به این حوزه وابسته هست. مثلا فیسبوک با اینکه پیشرفت عظیمی در حوزه تصویر داشته، باز هم برای نشان دادن تبلیغ به کاربرها از NLP استفاده می‌کند؛ از اینکه کاربرها چه چیزهایی می‌نویسند و افراد دیگر چه پاسخی به آنها می‌دهند. مثال خوب دیگه توییتر هست که عکس محور نیست و بیشتر بر پایه تکست کار می‌کند و تبلیغات را هم بر همین اساس نشان می‌دهد.

و البته پدر پدربزرگ‌ تمام شرکت‌هایی که روی NLP کار می‌کنن: گوگل! هر کاری که گوگل انجام می‌دهد، NLP هست. وقتی شما چیزی را گوگل می‌کنید،  تمام صفحات مرتبط را بر اساس بیشتری ارتباطی که با کوئری شما دارن، برای شما مرتب می‌کند. اگر کوئری شما به شکل سوالی باشد، به معنای واقعی کلمه سعی می‌کند به سوال شما پاسخ دهد. در واقع می‌توانید جواب سوال‌تان را بالای تمام نتایج ببنیید (البته برای زبان انگلیسی). یا اگر درمورد یه سازمان یا کشور سرچ کنید، اطلاعات مربوط به آن را در  سایدبار سمت راست می‌بینید.

و البته بیشترین درآمدی که گوگل دارد از تبلیغات است. نمایش تبلغات مرتبط با سرچی که انجام دادید و البته شخصی سازی شده با توجه به تاریخچه جستجوهایی که قبلا انجام داده‌اید.

تاریخچه پردازش زبان طبیعی

پردازش زبان طبیعی با زبان شناسی شروع شد. زبان شناسی به معنی مطالعه زبان است، ساختارهای دستور زبانی، نقش‌های مختلفی که اجزای جمله می‌پذیرند، چطور هرچیزی معنی مشخصی دارد. زبان شناسی قدمتی بسیار طولانی دارد و پردازش زبان طبیعی را می‌توان یک نوع زبان شناسی محاسباتی دانست. در گذشته، پردازش زبان طبیعی به این معنی بود که تمام قوانین زبان شناسی به شکل قانون‌های به کامپیوتر داده شوند. در آن زمان‌ها، به خاطر اینکه تمام قوانین به صورت هارد-کد شده به کامپیوتر داده شده بودند، NLP، یادگیری ماشین محسوب نمی‌شد، در عوض شاخه‌ای از هوش مصنوعی حساب می‌شد و از آنجایی که یادگیری ماشین هم شاخه‌ای از هوش مصنوعی بود، NLP و یادگیری ماشین به نوعی خواهر و  برادر حساب می‌شدند. بعد کم‌کم یادگیری ماشین پیشرفت بیشتری کرد و بیشتر در NLP ریشه دواند. یادگیری ماشین تاثیر بسیار زیادی روی عملکرد و انعطاف‌پذیری پردازش زبان طبیعی گذاشت. از طرفی یادگیری عمیق به میان آمد و در حال حاضر به نوعی لبه پیشرفت در NLP محسوب می‌شود.

چیزی که NLP را از سایر شاخه‌های یادگیری ماشین متمایز می‌کند، این است که NLP با متن سروکار دارد. در حالی که الگوریتم‌های یادگیری ماشین فقط اعداد و ریاضیات را می‌فهمند. به همین خاطر NLP ساختارهایی دارد که بتواند متن را به عدد تبدیل کند یا با متن با استفاده از مدل‌هایی مانند Bag of Word برخورد کند.

موضوع دیگری که پردازش زبان طبیعی را منحصر‌به‌فرد می‌کند، دنباله‌ دار بودن (Sequence Based) آن است. دنباله‌ای از کلمات که می‌توانند روی هم تاثیر داشته باشند، همچنین ساختار دستور زبانی می‌تواند روی مفهوم کلی جمله تاثیر بگذارد. پس الگوریتم‌هایی که در پردازش زبان طبیعی به کار می‌روند، لازم است که بر مبنای دنباله‌ها یا سری زمانی باشند؛ الگوریتم‌هایی مانند مدل پنهان مارکوف.

تسک‌های NLP

برای اینکه بتوانیم از پردازش زبان طبیعی به اهدافی مانند ترجمه خودکار، ساختن چت‌بات‌ها و… بریم، باید مجموعه‌ای از تسک‌ها را انجام دهیم. تسک‌هایی مانند تقسیم کردن جمله به بخش‌های مختلف (parsing)، یا بخش‌بندی درختی جمله (Syntax Tree Parsing)، یا فهمیدن اینکه هر بخش از جمله چه نقشی را ایفا می‌کند (Part of Speech Tagging – POS)، فهمیدن اینکه کدام بخش‌ از جمله، برای تسکی که می‌خواهیم انجام دهیم بیشترین اهمیت را دارد (Named Entity Recognition). انجام دادن این تسک‌ها برای رسیدن به هدفی که داریم ضروری هستند.

پیش‌پردازش‌هایی هم قبل از مدلسازی وجود دارد؛ مثلا در زبان انگلیسی همه چیز تبدیل به حروف کوچک می‌شود، هر کلمه تبدیل به یک توکن می‌شود و کلمات به ریشه اصلی خود برگردانده می‌شوند که در ادامه بیشتر با آنها آشنا خواهیم شد.

برخی از اصطلاحاتی که باید بدانید

سینتکس (Syntax): ساختار جمله، نقش‌ کلمات در جمله و در کل دستور زبان.

سمنتیک (Semantic): معنای جمله، یا برداشتی که در نهایت از جمله خواهید داشت.

داکیومنت (Document): یک تکه متن؛ می‌تواند یک پاراگراف، یک فصل یا یک کتاب باشد.

پیکره زبانی (Corpus): پیکره زبانی لیستی از داکیومنت‌ها است؛ مثلا لیستی از مطالب اخبار گونه که می‌توانید از آن برای تحلیل اخبار استفاده کنید.

توکن (token): هر کلمه در متن یا داکیومنت ما یک توکن است. البته چیزهایی مانند اسمایلی‌ها و علائم نگارشی هم توکن محسوب می‌شوند.

واژه‌های پالایشی (Stop Words): مانند حروف اضافه یا فعل‌هایی مانند «است» که در متن خیلی زیاد استفاده می‌شوند. آنها در ساختار دستور زبانی مهم هستند، اما همیشه ارزش معنایی ندارند.

پیش پردازش متن

«تا وقتی که داده‌هایتان را تمیز نکنید… هیچ‌وقت نخواهید دانست چه در دست دارید.»

تمیز کردن و پیش پردازش برای خیلی از تسک‌ها ضروری است، و NLP هم از این قاعده مستثنی نیست. پیش پردازش متن، معمولا اولین گامی است که وقتی با تسک NLP سروکار دارید باید انجام دهید.

بدون پیش‌پردازش، به عنوان مثال درمورد زبان انگلیسی، کامپیوتر حرف‌های “the”، “The”، و “<p>The” را سه کلمه کاملا متفاوت تفسیر خواهد کرد. خوشبختانه Regex و NLTK بیشتر کار را برای شما انجام خواهند داد! کارهای متداولی از جمله:

حذف نویز (Noise Removal): حذف کردن فرمت متن (مانند تگ‌های HTML)

نرمال کردن (Normalization): هر نوع پاک‌سازی دیگری که متن نیاز داشته باشد:

ریشه‌یابی کلمات (stemming): حذف کردن پیشوندها و پسوندهای کلمات. مثلا “booing”و “booed” تبدیل می‌شوند به “boo”. اما ممکن است “computer” به “compute” تبدیل شود و حرف “are” بدون تغییر باقی بماند.

صرف فعل (Lemmatization): برگرداندن فعل به ریشه‌اش. به عنوان مثال در انگلیسی “am” و “are” هر دو از ریشه “be” هستند. در واقع lemmatization را می‌توان نسخه پیچیده‌تر و زمان‌بر stemming دانست.

برخی دیگر از کارهای متداول مثل تبدیل همه حروف به حروف کوچک، حذف کردن حروف اضافه، اصلاح املای کلمات و… می‌شود.

برخی تسک‌هایی که روی syntax انجام می‌شوند

یافتن اجزای جمله (Part of Speech Tagging – PoS)

یافتن اجزای جمله به این معنی است که بدانیم هر کلمه چه نقشی در جمله دارد؛ از جمله، اسم، صفت، فعل و…. . این کار برای انسان‌ها بسیار آسان است، هرچند کامپیوترها به راحتی نمی‌توانند اجزای جمله را شناسایی کنند، به همین خاطر معمولا برای این کار از مدل پنهان مارکوف یا حداکثر آنتروپی استفاده می‌شود.

یافتن ارتباط‌ها (Relation Extraction)

به عنوان مثال در جمله اپل توسط استیو جابز اختراع شد، بین اپل و استیو جابز یک نوع ارتباط وجود دارد. Relation Extraction سعی می‌کند کشف کند بین اجزای جمله چه ارتباطی وجود دارد.

یک نوع مهم دیگر یافتن اطلاعات  مهم از جمله، تشخیص اسم‌ها (Name Entity Recognition) است. NER برای برخی از اهداف مانند چت‌بات‌ها بسیار مهم است؛ از جمله سیری، گوگل اسیستنت و… . کاری که NER‌ انجام می‌دهد این است که به جمله شما نگاه می‌کند و قسمت‌ها مهم جمله شما را استخراج می‌کند. مثلا فرض کنید شما به سیری می‌گویید: «برای روز ۲۰ خرداد با مریم برایم قرار ملاقات ست کن». سیری جمله را می‌خواند (قبل از آن با استفاده از  الگوریتم کاملا مجزای دیگری، صوت شما به متن تبدیل می‌شود) و کشف می‌کند که چه کسی، چه زمانی، چه کاری. کاری که باید انجام شود این است یک قرار ملاقات به تقویم اضافه شود. ناهار، مریم و ۲۰ خرداد باید به درستی تشخیص داده شوند و به تقویم اضافه شوند. این کار می‌تواند با استفاده از syntax tree parsing و ترکیب آن با PoS انجام می‌شود. یعنی اول ساختار جمله مشخص می‌شود و بعد اینکه هر کلمه چه نقشی را ایفا می‌کند تعیین می‌شود.

در واقع جمله به شکلی سلسله‌مراتبی تجربه می‌شود تا در نهایت به PoS می‌رسیم.

تشخیص اجزای جمله - پردازش زبان طبیعی

پس parsing به شیوه درختی تجزبه گفته می‌شود و PoS فقط نقش هر کلمه را مشخص می‌کند.

اهداف NLP

۱. چک کردن املای کلمات (Spell Checking)

شاید این کار، حداقل برای انگلیسی تا حد زیادی حل شده باشد؛ چراکه از سال ۱۹۹۰ در نسخه‌های اولیه مایکروسافت ورد، Spell Checking‌ وجود داشت. این کار می‌توان به ساختار دستور زبانی بستگی داشته باشد، برای اینکه الگوریتم بتواند حدس بزند بهترین گزینه برای نقطه مورد نظر در جمله چه چیزی است. یک روش مهم دیگر برای Spell Checking، استفاده از Edit Distance است. فرض کنید به جای نوشن cat یا car‌ می‌نویسید cak، کلمه‌ای برای ویرایش به شما پیشنهاد می‌شود که کمترین فاصله را با کلمه ای که شما نوشته‌اید داشته باشد. از طرف دیگر این موضوع در نظر گرفته می‌شود که با توجه به جمله‌ای که کاربر تا اینجا نوشته است، احتمال اینکه قصد نوشتن car وجود داشته یا cat بیشتر است.

۲. دسته بندی متن‌ها (Text Classification)

مثال معروف دسته‌بندی متن، مشخص کردن اسپم بودن یا نبودن ایمیل ها است. در واقع یک تسک دسته‌بندی باینری محسوب می‌شود که با استفاده از الگوریتم نایو بیز (naive bayes)  قابل حل است. در واقع الگوریتم نایوبیز یکی از الگوریتم‌های محبوب در حوزه پردازش زبان طبیعی به حساب می‌آید.

۳. تحلیل احساسات (Sentiment Analysis)

شاید بتوان تحلیل احساسات را هم نوعی دسته‌بندی متن در نظر گرفت. به عنوان مثال می‌خواهیم بدانیم چیزی که در یک متن بیان شده است، مثبت است یا منفی. یا اینکه بخواهید کمی پیچیده‌تر باشد و تمام احساسات مختلف را تشخیص دهید: عصبانی، خوشحال، ناراحت، مضطرب و…. در حال حاضر و برای کاربردهای واقعی بیشترین تمرکز روی احساسات مثبت و منفی قرار دارد. یکی از کاربردهای متداول تحلیل احساسات این است که بفهمیم نظراتی که درمورد یک فیلم یا محصول گذاشته می‌شود مثبت است یا منفی.

اما تحلیل احساسات ممکن است از چیزی که فکر می‌کنیم پیچیده‌تر باشد. مثلا حرف‌های کنایه‌آمیز به راحتی قابل تشخیص نیستند و یک جمله به ظاهر مثبت را به یک جمله منفی تبدیل کنند. یا ممکن است افراد از کلماتی مثبت برای بیان یک نظر منفی استفاده کنند. مثلا این محصول به طرز فوق‌العاده‌ای بد است! یا فیلم عالی نبود.

تحلیل احساسات کاربردهای مختلفی دارد. می‌تواند برای تشخیص احساسات نسبت به یک محصول یا برند مورد استفاده قرار گیرد. همچنین الگوریتم های تریدینگ زیادی وجود دارند که از معاملاتشان را بر اساس احساسات مثبت یا منفی که درمورد یک سهم وجود دارد انجام می‌دهند.

۳. تگ گذاشتن برای متن (Document Tagging)

تگ گذاری برای مطلب با دسته بندی مطلب متفاوت است. در دسته بندی متن، می‌خواهیییم از بین دو یا چند دسته‌ای که داریم یکی را برای متن انتخاب کنیم. اما درمورد تگ زدن که به عنوان تاپیک مدلینگ یا استخراج کیورد هم شناخته می شود، یک یا چند کیورد برای متن انتخاب می‌شود. مثلا فرض کنید یک متن درباره برنامه‌نویسی با موضوعات NodeJs،  React، ReactJs و Post-gres داریم و این موضوعات را می‌خواهیم به عنوان تگ به مطلب اضافه کنیم. در حال حاضر تگ زدن مطالب وب به صورت دستی انجام می‌شود، اما این کار همیشه امکان‌پذیر نیست. مثلا وقتی وب‌ کاوی (Web Scraping)‌ انجام می‌دهیم و می‌خواهیم برای مطالب به صورت خودکار تگ بگذاریم. برای این کار معمولا از الگوریتم تخصیص پنهان دیریکله (Latent Dirichlet Allocation)-LDA استفاده می‌شود.

۴. موتور جستجو (Search Engine)

موتورهای جستجو، پیدا کردن متن‌های مشابه، تشخیص تشابه بین دو متن مثال‌هایی از این کاربرد مهم پرازش طبیعی هستند.

معمولا برای انجام هدف جستجو از مدلTFIDF – term frequency–inverse document frequency است.

یکی از مثال‌های پیدا کردن متن‌های مشابه مسابقه‌ای است که وبسایت Quera.com در کگل برگزار کرده بود. در این مسابقه از شرکت‌کنندگان خواسته شده بود این مساله را حل کنند: وقتی کاربری سوالی را می‌پرسد و برای آن شرحی هم می‌نویسد، سوالات مشابه با آن به صورت لیست به کاربر نمایش داده شوند تا اگر سوال آنها از قبل وجود دارد، سوال جدیدی ایجاد نشود. یک راه متداول برای حل این مساله هم tfidf است.

۵. درک زبان طبیعی (Natural Language Understanding-NLU)

هی سیری - NLP

 

تا اینجای مطلب هر آنچه گفته شد درمورد NLP بود. حالا اگر بخواهیم معنا و مفهوم را از جمله یا متن درک کنیم، با NLU سروکار داریم. مثلا اگر بخواهیم به یک سوال پاسخ دهیم، باید هدف از مطرح شدن آن را بدانیم. همچنین برای ترجمه ماشینی، باید درکی از جمله ابتدایی به وجود بیاید تا امکان تبدیل آن به جمله مقصد وجود داشته باشد. سیری و گوگل اسیستنت را هم می‌توان مثال‌هایی از NLU دانست.

۶. خلق زبان طبیعی (Natural Language Generation)

بازم هم ترجمه ماشینی و چت‌بات‌ها مثال‌هایی از خلق زبان طبیعی حساب می‌شوند؛ چرا که علاوه بر اینکه متنی که به آنها داده شده را به عنوان ورودی دریافت می‌کنند و پردازش می‌کنند، یک متن را هم به عنوان خروجی هم دارند.

یکی از ساده‌ترین روش‌های ساخت چت‌بات این است که دیتابیسی از پرسش‌‌ها و پاسخ‌ها داشته باشید و وقتی که کسی سوال می‌پرسد، به صورت encode شده با سوال‌های مشابه مقایسه شود و پاسخی با بیشترین احتمال درست بودن مجدد decode شود و به کاربر نمایش داده شود.

این روزها شرکت‌های علاقه بسیار زیادی به چت‌بات‌ها نشان می‌دهند. به طوری مفهومی به اسم UI/UX Free معرفی شده است. به این معنی که نیازی نباشد کاربر دکمه‌ای را بزند و سعی کند به دنبال هدفش در سایت یا اپلیکیشن جستجو کند، در عوض فقط موضوع مدنظرش را تایپ کند یا بگوید و نتیجه به او نمایش داده شود. هرچند این مفهوم هنوز در حد مفهوم است، مخالفانی دارد و هنوز به مرحله اجرا نرسیده است.

۷. کپشن نویسی برای عکس (Image Captioning)

مثلا برخی شرکت‌ها، کپشن نویسی خودکار را با هدف دسترسی‌پذیری برای افراد نابینا انجام می‌دهند. همچنین جستجوی تصاویر با نوشتن یک کلمه یا عبارت امکان‌پذیر است. کپشن نویسی و جستجوی تصاویر با نوشتن متن برعکس یکدیگر محسوب می‌شوند؛ اما کپشن نویسی را می‌توان مثالی از تولید متن هم دانست. در واقع شما یک تصویر را به مدل می‌دهید و مدل سعی می‌کرد توصیفی کلمه به کلمه از عکس ارائه دهد.

۸. خلاصه سازی خودکار (Automatic Summerization)

این تسک بسیار مفید و کاربردی ولی در عین حال پیچیده است. یکی از مثال‌هایی که می‌تواند بسیار مفید باشد خلاصه سازی متن‌های حقوقی است. این کاربرد را برای متن‌های طولانی حریم خصوصی و شرایط استفاده شرکت‌ها در نظر بگیرید. اکثر افراد اهمیت چندانی به این موضوع نمی‌دهند، فقط تیک مربوطه را می‌زنند و می‌خواهند از آن سرویس استفاده کنند. اما برخی دیگر از افراد، می‌خواهند آن متن را بخوانند، اما آنقدر طولانی است که واقعا زمان زیادی می‌طلبد که بخواهند برای هر سرویسی تمام شرایط و قوانین را بخوانند. حالا اگر این متن‌ها خلاصه شوند، خواندن آنها بسیار راحت‌تر خواهد بود.

یک مثال دیگر پاسخ‌گویی گوگل به سوالاتی است که می‌پرسید. اگر به انگلیسی یک سوال را سرچ کنید، بالاتر از لینک‌ها، پاسخ شما در قالب یک پاراگراف آورده می‌شود. مثلا من این جمله را امتحان کردم: “can parrots eat grape?”، پاسخ به صورت خلاصه نمایش داده می‌شود و حتی بدون باز کردن هیچ لینکی می‌توانم پاسخ به سوالم را ببینم.

خلاصه سازی در گوگل - پردازش زبان طبیعی

بعد که اولین لینک را باز می‌کنیم، پاسخی که به ما نشان داد شده بود را به صورت هایلایت شده می‌بینیم.

هایلات کردن در نتایج گوگل - پردازش زبان طبیعی

 

۹. حروف خوان نوری (Optical Character Recognition)

این تسک هم یکی از پیوندهای کار کردن روی تصویر و متن است. حروف خوان نوری در واقع یک متن اسکن شده فیزیکی را به حروف دیجیتال تبدیل می‌کند. البته تسک اولیه برای انجام این کار استفاده از الگوریتم Convolution Neural Network برای تشخیص تصویر است. اما برخی حروف و کلمات ممکن است به درستی خوانده و تبدیل نشوند و اینجاست که NLP وارد می‌شود و آن کلمه را با کلمه‌ای با بیشترین احتمال وقوع جایگزین می‌کند.

قدم بعدی در یادگیری پردازش طبیعی

در این مطلب با مفاهیم اولیه NLP، اصطلاحات مهم و کاربردهای آن آشنا شدیم. قدم بعدی شناخت روش‌ها و الگوریتم‌های مختلف برای انجام تسک‌های مختلف مرتبط به NLP است؛ از پیش پردازش تا پردازش و انجام‌ تسک‌های پیچیده‌تر.

در قسمت بعدی پردازش زبان طبیعی در وب‌سایت لیمرا سراغ الگوریتم‌های مختلف NLP می‌رویم!

 

ارسال یک پاسخ

لطفا دیدگاه خود را وارد کنید!
لطفا نام خود را در اینجا وارد کنید