شاخه های هوش مصنوعی (NLP)
فهرست مطالب
Toggleتعریف
پردازش زبان طبیعی (NLP) به شاخه ای از علوم رایانه – و به طور خاص ، شاخه ای از هوش مصنوعی یا AI – مربوط می شود که به رایانه ها این امکان را می دهد تا متن و کلمات گفتاری را به همان شیوه ای که انسان می تواند درک کند درک کنند.
روش کار
NLP زبان شناسی محاسباتی-مدل سازی مبتنی بر قانون زبان انسانی-را با مدل های آماری ، یادگیری ماشینی و یادگیری عمیق ترکیب می کند. در کنار هم ، این فناوری ها رایانه ها را قادر می سازد تا زبان انسان را در قالب متن یا داده های صوتی پردازش کرده و معنای کامل آن را “کاملاً” درک کنند ، با نیت و احساس نویسنده.
کاربردها
NLP برنامه های رایانه ای را اجرا می کند که متن را از زبانی به زبان دیگر ترجمه می کند ، به دستورات گفتاری پاسخ می دهد و حجم زیادی از متن را به سرعت خلاصه می کند – حتی در زمان واقعی. به احتمال زیاد شما با NLP در قالب سیستم های GPS صوتی ، دستیارهای دیجیتالی ، نرم افزار دیکته گفتار به متن ، چت بات های خدمات مشتری و سایر امکانات مصرفی ارتباط برقرار کرده اید. اما NLP همچنین نقش فزاینده ای در راه حل های سازمانی دارد که به ساده سازی عملیات تجاری ، افزایش بهره وری کارکنان و ساده سازی فرایندهای تجاری مهم ماموریت کمک می کند.
وظایف
زبان انسان مملو از ابهاماتی است که نوشتن نرم افزاری را که معنای مورد نظر متن یا داده های صوتی را به طور دقیق تعیین می کند ، بسیار دشوار می کند. هم اسم ، هم صدا ، کنایه ، اصطلاحات ، استعاره ، دستور زبان و استثناء استفاده ، تغییرات در ساختار جمله-اینها تنها تعدادی از بی نظمی های زبان انسانی است که یادگیری آنها سالها طول می کشد ، اما برنامه نویسان باید برنامه های کاربردی مبتنی بر زبان طبیعی را برای تشخیص و آموزش اگر می خواهید این برنامه ها مفید واقع شوند ، از همان ابتدا به طور دقیق درک کنید.
چندین وظیفه NLP داده های متنی و صوتی انسان را به گونه ای تجزیه می کند که به رایانه کمک می کند آنچه را که بلعیده است درک کند. برخی از این وظایف شامل موارد زیر است:
تشخیص گفتار ، همچنین گفتار به متن نامیده می شود ، وظیفه تبدیل قابل اعتماد داده های صوتی به داده های متنی است. تشخیص گفتار برای هر برنامه ای که از دستورات صوتی پیروی می کند یا به سوالات گفتاری پاسخ می دهد ، ضروری است. چیزی که تشخیص گفتار را به ویژه چالش برانگیز می کند نحوه صحبت کردن مردم است – سریع ، کلمات را به هم می ریزند ، با تأکید و لحن متفاوت ، با لهجه های مختلف ، و اغلب از دستور زبان نادرست استفاده می کنند.
برچسب زدن گفتار که برچسب گذاری دستوری نیز نامیده می شود ، فرایند تعیین قسمتی از گفتار یک کلمه یا متن خاص بر اساس کاربرد و زمینه آن است. بخشی از گفتار عبارت “ساخت” را به عنوان فعل در “من می توانم یک صفحه کاغذی بسازم” و به عنوان یک اسم در “چه خودرویی متعلق به شماست؟”
ابهام زدایی از کلمه عبارت است از انتخاب معنای یک کلمه با معانی متعدد از طریق فرایند تجزیه و تحلیل معنایی که کلمه ای را که در زمینه داده شده بیشترین معنا را دارد تعیین می کند. به عنوان مثال ، ابهام زدایی از کلمه به معنای تشخیص فعل “ساختن” در “ایجاد نمره” (دستیابی) در مقابل “شرط بندی” (مکان) کمک می کند.
نامگذاری موجودیت یا NEM ، کلمات یا عبارات را به عنوان موجودیت های مفید شناسایی می کند. NEM “کنتاکی” را به عنوان مکان یا “فرد” را به عنوان نام یک مرد معرفی می کند.
تفکیک مرجع وظیفه تشخیص این است که آیا دو کلمه به یک نهاد اشاره دارند یا خیر. متداول ترین مثال تعیین شخص یا شیئی است که یک ضمیر خاص به آن اشاره می کند (به عنوان مثال ، “she” = “Mary”) ، اما همچنین می تواند شامل استعاره یا اصطلاح در متن باشد (به عنوان مثال ، نمونه ای که در آن ” خرس یک حیوان نیست بلکه یک فرد موی بزرگ است).
تجزیه و تحلیل احساسات سعی در استخراج ویژگی های ذهنی – نگرش ها ، احساسات ، طعنه ، سردرگمی ، سوء ظن – از متن دارد.
ایجاد زبان طبیعی به عنوان نقطه مقابل تشخیص گفتار یا گفتار به متن توصیف می شود. این وظیفه قرار دادن اطلاعات ساختار یافته به زبان انسان است.
ابزارها و رویکردهای NLP
پایتون و مجموعه ابزار زبان طبیعی (NLTK)
زبان برنامه نویسی پایتون طیف وسیعی از ابزارها و کتابخانه ها را برای حمله به وظایف خاص NLP ارائه می دهد. بسیاری از این موارد در مجموعه ابزار زبان طبیعی یا NLTK ، مجموعه ای باز از کتابخانه ها ، برنامه ها و منابع آموزشی برای ساخت برنامه های NLP ، یافت می شوند.
NLTK شامل کتابخانه هایی برای بسیاری از وظایف NLP ذکر شده در بالا ، به علاوه کتابخانه هایی برای وظایف فرعی ، مانند تجزیه جملات ، تقسیم بندی کلمات ، ریشه و لماتیزه (روشهای کوتاه کردن کلمات تا ریشه آنها) و نشانه گذاری (برای شکستن عبارات ، جملات ، پاراگراف ها) است. و گذر به نشانه هایی که به رایانه کمک می کند تا متن را بهتر درک کند). این کتابخانه همچنین شامل کتابخانه هایی برای پیاده سازی قابلیت هایی مانند استدلال معنایی ، توانایی دستیابی به نتیجه گیری منطقی بر اساس حقایق استخراج شده از متن است.
NLP آماری ، یادگیری ماشین و یادگیری عمیق
اولین برنامه های NLP سیستم های مبتنی بر قوانین و دستی بودند که می توانستند برخی از وظایف NLP را انجام دهند ، اما نمی توانستند به راحتی مقیاس بندی کنند تا بتوانند به ظاهر جریان بی پایان استثنائات یا افزایش حجم داده ها و متن را افزایش دهند.
NLP آماری را وارد کنید ، که الگوریتم های رایانه را با مدل های یادگیری ماشین و یادگیری عمیق ترکیب می کند تا به طور خودکار عناصر متن و داده های صوتی را استخراج ، طبقه بندی و برچسب گذاری کرده و سپس به هر معنی احتمالی آن عناصر یک احتمال آماری اختصاص دهد. امروزه ، مدل های یادگیری عمیق و تکنیک های یادگیری مبتنی بر شبکه های عصبی متحرک (CNN) و شبکه های عصبی مکرر (RNN) ، سیستم های NLP را قادر می سازد که در حین کار “یاد بگیرند” و از حجم عظیمی از متن خام ، بدون ساختار و بدون برچسب ، معنی دقیق تری را استخراج کنند. و مجموعه داده های صوتی
پردازش زبان طبیعی و IBM واتسون (نمونه واقعی و معروف)
IBM با پیشگام بودن ابزارها و خدمات مبتنی بر NLP که در سازمان ها این امکان را دارد که ضمن کسب بینش اساسی کسب و کار ، فرآیندهای پیچیده کسب و کار خود را به صورت خودکار انجام دهند ، در فضای هوش مصنوعی ابداع کرده است. این ابزارها عبارتند از:
کشف واتسون – پاسخهای با کیفیت بالا و بینشهای غنی از اسناد پیچیده سازمانی شما – جداول ، PDF ها ، داده های بزرگ و موارد دیگر – با جستجوی هوش مصنوعی. کارکنان خود را قادر سازید تا تصمیمات آگاهانه تری بگیرند و با موتورهای جستجوی زمان واقعی و قابلیت های کاوش متن که استخراج متن را انجام می دهند و روابط و الگوهای مدفون در داده های بدون ساختار را تحلیل می کنند ، در وقت خود صرفه جویی کنید. واتسون دیسکاوری از مدلهای NLP سفارشی و روشهای یادگیری ماشینی استفاده می کند تا کاربران را با هوش مصنوعی که زبان منحصر به فرد صنعت و تجارت آنها را درک می کند ، ارائه دهد. کشف واتسون را کشف کنید
درک طبیعی زبان واتسون (NLU) – تجزیه و تحلیل متن در قالب های داده بدون ساختار از جمله HTML ، صفحات وب ، رسانه های اجتماعی و موارد دیگر. با استفاده از این مجموعه ابزار زبان طبیعی برای شناسایی مفاهیم ، کلمات کلیدی ، دسته بندی ها ، معانی و احساسات ، و انجام طبقه بندی متن ، استخراج موجودیت ، شناسایی موجودیت (NER) ، تجزیه و تحلیل احساسات و خلاصه سازی ، درک خود را از زبان انسان افزایش دهید. با زبان طبیعی واتسون آشنا شوید
دستیار واتسون – با کاهش هزینه ها ، تجربه مشتری را بهبود بخشید. Watson Assistant یک چت بات هوش مصنوعی است که از یک سازنده بصری استفاده می کند ، بنابراین می توانید در عرض چند دقیقه عوامل مجازی را در هر کانالی مستقر کنید. کاوش دستیار واتسون
IBM Watson Annotator for Clinical Data که برای حوزه های مراقبت های بهداشتی و زندگی طراحی شده است ، مفاهیم کلیدی بالینی را از متن زبان طبیعی مانند شرایط ، داروها ، آلرژی ها و روش ها استخراج می کند. بینش ها و ارزش های عمیق زمینه ای برای ویژگی های کلیدی بالینی ، داده های معنی دار تری را توسعه می دهد. منابع احتمالی داده ها شامل یادداشت های بالینی ، خلاصه تخلیه ، پروتکل های کارآزمایی بالینی و داده های ادبیات است.
برای کسب اطلاعات بیشتر در مورد نحوه شروع کار با یکی از فناوری های پردازش زبان طبیعی IBM Watson ، به صفحه پردازش زبان طبیعی IBM Watson مراجعه کنید.
دیدگاهتان را بنویسید