مقاله درمورد پیکره موازی، فرآیند ارزیابی، ترجمه ماشینی

موازی» استفاده می‌کنیم.
در مدل آنتروپی بیشینه بوسیله تعریف مجموعه‌ای از توابع ویژگی، محدودیت‌هایی بر مدل داده‌ها اِعمال می‌شود. این توابع ویژگی، خصوصیاتی از داده‌ها را نشان می‌دهند که برای مدل سازی مفیدند. به طور مثال نرخ کلمات مشترک برای جفت جمله sp می‌تواند شاخص خوبی برای نشان دادن موازی بودن یا نبودن آن دو جمله باشد. بنابراین در اینجا تابع ویژگی f(sp) را داریم که مقدار آن برابر است با نرخ کلمات مشترک جفت جمله sp. اصل آنتروپی بیشینه می‌گوید شکل بهینه پارامتریک مدل داده‌ها، با توجه به محدودیت‌های داده شده بوسیله توابع ویژگی عبارت است از ترکیب خطی لگاریتمی این توابع ویژگی. از اینرو برای مسئله طبقه‌بندی ما داریم:
P(c│sp)=1/Z(sp) ∏_(j=1)^k▒〖λ_j〗^(f_i (c,sp) )
که در آن c طبقه (موازی یا غیر‌موازی)، Z(sp) ضریب نرمال سازی و fi‌ها توابع ویژگی هستند. مدل نتیجه شامل پارامترهای آزاد λ_j می‌شود که وزن ویژگی‌ها هستند.
در اینجا باید توابع ویژگی در نظر گرفته شوند که وجه تمایزی باشند بین جفت جمله‌های موازی و غیر موازی. ویژگی‌هایی که استفاده می‌شود، در دو دسته ویژگی‌های عمومی یک جفت جمله و ویژگی‌های مبتنی بر همترازی در سطح کلمه بین دو جمله، قرار می‌گیرند. هر کدام از این ویژگی‌ها در ادامه به تفصیل شرح داده می‌شوند.
ویژگی‌های عمومی
ویژگی‌های مبتنی بر طول دو جمله
تعداد کلمات هر کدام از جمله‌های یک جفت جمله، اختلاف این تعداد کلمات و نسبت آنها به یکدیگر، ویژگی‌هایی عمومی هستند که می‌توان برای یک جفت جمله در نظر گرفت. اختلاف و نسبت طول دو جمله بر حسب تعداد کاراکترهای جمله ویژگی‌هایی هستند که در [5] به کارگرفته شده‌اند.
نرخ کلمات مشترک
این ویژگی به طور مفصل در بخش 4-2 شرح داده شد و الگوریتم به دست آوردن نرخ کلمات مشترک نیز در همان بخش آورده شد. با این تفاوت در کاربرد که در آنجا با تعیین یک حد آستانه بر روی نرخ کلمات مشترک جفت جملاتی که غیرموازی بودن آنها بدیهی است حذف می‌شوند. اما در اینجا از نرخ کلمات مشترک به عنوان یک ویژگی برای استفاده در طبقه‌بند آنتروپی بیشینه استفاده می‌شود. جفت جمله‌های موازی در مقایسه با جفت جمله‌های غیرموازی اغلب نرخ کلمات مشترک نسبتا بالاتری دارند. از اینرو می‌توانند وجه تمایز خوبی بین جفت جملات موازی و جفت جملات غیرموازی باشند.
ویژگی‌های مبتنی بر همترازی در سطح کلمه یک جفت جمله
در همترازی در سطح کلمه بین دو جمله، کلمات متناظر از دو جمله به دو زبان مختلف، شناسایی می‌شوند. از آنجایی که بین دو جمله موازی اکثر کلمات یک جمله، کلمه متناظری در جمله دیگر دارند، همترازی کلمات نسبت به همترازی بین دو جمله غیر موازی بهتر صورت می‌گیرد. بنابراین ویژگی‌های مربوط به همترازی در سطح کلمه بین دو جمله برای تشخیص جملات موازی از جملات غیر موازی بسیار مفید خواهند بود. حال باید ببینیم کدام ویژگی‌ها همترازی در سطح کلمه یک جفت جمله را بهتر توصیف می‌کنند. این ویژگی‌ها در ادامه شرح داده می‌شوند.
کلمات همتراز نشده
به دلیل اینکه کلمات در جفت جمله‌های غیر موازی به میزان خیلی کمی با یکدیگر همتراز می‌شوند، تعداد کلماتی که در همترازی در سطح کلمه شرکت نکرده‌اند، ویژگی بسیار خوبی برای تشخیص جملات غیر موازی است. در اینجا تعداد کلمات همتراز نشده و نسبت این تعداد به کل طول جمله، به کارگرفته می‌شوند.
باروری30
در همترازی خودکار در سطح کلمه بین دو جمله ممکن است کلمه‌ای از یک جمله به بیش از یک کلمه از جمله مقابل متصل شود. در [49] تعداد اتصالات یک کلمه در همترازی بین دو جمله «باروری» آن کلمه خوانده می‌شود. اما این اتفاق در همترازی خودکار بین دو جمله غیرموازی بیشتر رخ می‌دهد. زیرا همتراز کننده، کلمه متناظر مناسب را در جمله مقابل نیافته و ممکن است در عوض، همترازی را با چند کلمه رایج از جمله مقابل انجام دهد. از اینرو احتمال غیرموازی بودن جفت جمله‌هایی که باروری بالایی دارند بیشتر است. نویسندگان در [43] سه تا از بیشترین باروری‌ها را به عنوان ویژگی برای طبقه‌بند آنتروپی بیشینه به کار می‌گیرند. مثال‌ آورده شده در شکل‌ 4-3 این موضوع را روشن می‌کند.
همترازی در سطح کلمه بین دو جمله غیرموازی
محدوده پیوسته
در همترازی بین دو جمله تعداد زیادی از کلمات با هم همتراز می‌شوند. اما شمردن تنها تعداد این کلمات نمی تواند به خوبی همترازی بین دو جمله را توصیف کند. بلکه شمارش تعدادی از کلمات مجاور در یک جمله که با تعدادی از کلمات مجاور در جمله دیگر به همدیگر متصل شده باشند، نشان‌گر بهتری برای موازی بودن دو جمله است. هرچه طول این محدوده کلمات مجاور شرکت کننده در همترازی بیشتر باشد، احتمال موازی بودن دو جمله بالاتر می‌رود. شکل 4-4 همترازی بین دو جمله موازی و دو محدوده پیوسته همتراز شده بین آنها را نشان می‌دهد.
همترازی در سطح کلمه بین دو جمله موازی
در شکل‌های 4-3 و 4-4، همترازی سمت راست شکل بصورت دستی انجام شده و همترازی سمت چپ شکل همترازی خودکار انجام شده با ابزار Giza++ است.
نمره همترازی
در همترازی در سطح کلمه بین دو جمله، هر دو کلمه متناظر با یک احتمال به یکدیگر متصل شده‌اند. حاصلضرب نرمالیزه شده این احتمالات می‌تواند نشانگر قدرت همترازی صورت گرفته بین دو جمله باشد. به این معنا که هر چه این حاصلضرب بزرگتر باشد، همترازی بهتری بین دو جمله صورت گرفته است. از آنجایی که اغلب همترازی بین دو جمله موازی بهتر از همترازی بین دو جمله غیر موازی است، لذا امتیاز همترازی به دست آمده ویژگی خوبی برای تشخیص جملات موازی است.
بالا بردن دقت جفت جملات موازی استخراج شده
در بین جفت جملاتی که طبقه‌بند آنتروپی بیشینه موازی تشخیص داده است، ممکن است همچنان جفت جملات غیر موازی وجود داشته باشند. از آنجایی در مرحله اول مدل، تمام جفت جملات هر دو سند با هم در نظر گرفته شدند، امکان این وجود دارد که بعد از گذشتن از مرحله یک و دو همچنان یک جمله با چندین جمله از طرف مقابل جفت شده و موازی تشخیص داده شده باشند. از آنجایی که در واقعیت چنین امکانی وجود ندارد و یا احتمال آن بسیار کم است، در این مرحله به کمک یک فیلتر سعی می‌کنیم هر جمله، تنها با یک جمله از طرف مقابل به عنوان جفت جمله موازی در نظر گرفته شود، و دیگر جمله‌ها حذف می‌شوند.
برای حذف این جملات از فیلتر «معیار TER» استفاده می‌کنیم. به این صورت که ابتدا جملات طرف مبدأ (در اینجا فارسی) را با ماشین ترجمه، ترجمه می‌کنیم. سپس میزان نزدیکی جملات طرف مقصد (در اینجا انگلیسی) را به عنوان «فرضیه31» با جملات ترجمه شده به عنوان «مرجع32» محاسبه می‌کنیم. میزان نزدیکی این دو جمله توسط معیار TER به دست می‌آید.
معیار TER در نظر می‌گیرد که برای تبدیل یک جمله «مرجع» به جمله «فرضیه» به چه تعداد عمل ویرایشی شامل عمل‌های: حذف، درج، جایگزینی و شیفت عبارت نیاز است. نسبت این تعداد عمل ویرایشی به کل تعداد کلمات جمله مرجع، نمره TER را می‌دهد. از اینرو هر چه نمره TER کمتر باشد دو جمله به هم نزدیک‌ترند. برای توضیحات بیشتر به بخش 2-2-4 مربوط به معیارهای ارزیابی ترجمه ماشینی مراجعه کنید.
در نهایت از بین همه جمله‌های مبدأ که با یک جمله مقصد جفت شده‌اند، جمله‌ای انتخاب می‌شود که کمترین نمره TER را به دست آورده باشد.
شیوه ارزیابی مدل
برای ارزیابی کارآمدی مدل، می‌باسیت خروجی نهایی مدل یعنی جفت جملات استخراج شده را ارزیابی کرد. به عبارتی می‌خواهیم ببینیم آیا جفت جملات موازی استخراج شده کیفیت ترجمه را بهبود می‌دهند؟ و به چه‌اندازه؟ برای این کار از یک ماشین ترجمه استفاده می‌کنیم. فرآیند ارزیابی شامل مراحل زیر است:
ابتدا پیکره موازی موجود را به عنوان «پیکره پایه» در نظر می‌گیریم و ماشین ترجمه را با آن آموزش می‌دهیم. ماشین ترجمه آموزش داده شده توسط پیکره پایه را «ماشین ترجمه پایه» می‌نامیم.
از یک پیکره موازی کوچک – غیر از پیکره پایه – به عنوان داده آزمایشی برای ماشین ترجمه استفاده می‌کنیم. به این صورت که جملات طرف مبدأ پیکره را به عنوان ورودی به ماشین ترجمه می‌دهیم. سپس میزان نزدیکی جملات ترجمه شده – خروجی ماشین ترجمه – را با جملات طرف مقصد پیکره آزمایشی توسط معیار بلو ارزیابی می‌کنیم.
جفت جملات موازی استخراج شده را به پیکره پایه اضافه می‌کنیم و مراحل اول و دوم را دوباره تکرار می‌کنیم. به این معنی که دوباره ماشین ترجمه را می‌سازیم اما این بار ماشین ترجمه را با پیکره پایه به اضافه جفت جملات موازی استخراج شده آموزش می‌دهیم.
ماشین ترجمه ساخته شده در مرحله سوم را با همان داده‌های مرحله دوم به عنوان داده آزمایشی ارزیابی می‌کنیم. و در نهایت دو مقدار بلوی به دست آمده در مرحله دوم و چهارم را با هم مقایسه می‌کنیم. شکل 4-5 مراحل ذکر شده را نشان می‌دهد.
فرآیند ارزیابی جفت جملات موازی استخراج شده
فصل پنجم
ارزیابی و نتیجه گیری
ارزیابی و نتیجه گیری
ارزیابی طبقه‌بند آنتروپی بیشینه
همانطور که در فصل قبل آمد ما از طبقه‌بند آنتروپی بیشینه برای تشخیص جفت جملات موازی از بین جفت جملات کاندید استفاده کردیم. در این بخش می‌خواهیم طبقه‌بند آنتروپی بیشینه و ویژگی‌های ارائه شده برای آن را ارزیابی کنیم. ارزیابی این بخش شامل تجربیات و آزمایشات مدل ارائه شده برای استخراج جفت جملات موازی از پیکره تطبیقی نمی‌شود.
طبقه‌بند آنتروپی بیشینه طراحی شده مستقل از زبان است، یعنی جفت جملات مورد استفاده می‌توانند از هر جفت زبان دلخواهی باشند. در اینجا، آزمایشات بر روی جفت زبان فارسی-انگلیسی انجام می‌شود. داده‌های مورد استفاده در آزمایشات از پیکره موازی انگلیسی-فارسی «میزان» [7] و همچنین پیکره موازی انگلیسی-فارسی تهران به نام «TEP» [10] گرفته شده‌اند. برای تولید جفت جملات غیر موازی هر کدام از جملات مبدأ در پیکره موازی، به صورت تصادفی با یک جمله از طرف مقصد (به جز جمله همتراز با آن) جفت شدند.
ارزیابی ویژگی‌ها
هر کدام از ویژگی‌هایی که برای یک جفت جمله در نظر گرفته شد تأثیر متفاوتی بر کیفیت طبقه‌بند آنتروپی بیشینه می‌گذارند. برای ارزیابی میزان تأثیرگذاری هر یک از این ویژگی‌ها بر طبقه‌بند، مجموعه ویژگی‌های متفاوتی را در نظر گرفته و به ازای هر مجموعه ویژگی یک ارزیابی روی طبقه‌بند انجام دادیم. این مجموعه ویژگی‌ها در جدول 5-1 آمده‌اند
.
مجموعه ویژگی‌ها
مجموعه ویژگی 1
ویژگی‌های عمومی به جز ویژگی کلمات مشترک
مجموعه ویژگی 2
ویژگی‌های عمومی به همراه ویژگی کلمات مشترک
مجموعه ویژگی 3
مجموعه ویژگی 2 به همراه ویژگی‌های مربوط به کلمات همتراز نشده در همترازی در سطح کلمه بین دو جمله
مجموعه ویژگی 4
مجموعه ویژگی 2 به همراه تمام ویژگی‌های مربوط به همترازی در سطح کلمه بین دو جمله
در این قسمت از 100000 جفت جمله موازی از پیکره میزان و 100000 جفت جمله غیر موازی که جملات غیر‌ موازی با استفاده از جملات پیکره میزان و جفت کردن تصادفی آنها به دست آمده‌اند، به عنوان مجموعه داده آموزشی و آزمایشی استفاده می‌شود. ارزیابی‌ها با استفاده از تکنیک اعتبارسنجی متقابل 10 قسمتی انجام می‌شود. همچنین برای اطمینان بیشتر از صحت نتایج به دست آمده، در ابتدا تمام جفت جمله‌های موازی و غیر موازی با استفاده از الگوریتم بُرزدن فیشر یاتس، بُرزده می‌شوند. جدول 5-2 نتایج ارزیابی ویژگی‌ها را نشان می‌دهد.
ارزیابی مجموعه ویژگی‌ها
دقت
بازخوانی
معیار F
مجموعه ویژگی 1
36/67
62/82
21/74
مجموعه ویژگی 2
38/80
15/77
73/78
مجموعه ویژگی 3
91/87
36/85
61/86
مجموعه ویژگی

تکه های دیگری از این پایان نامه را می توانید

در شماره بندی فوق بخوانید

متن کامل پایان نامه ها در سایت homatez.com موجود است

You may also like...

Add a Comment