دانلود کتاب Simulation-based Algorithms for Markov Decision Processes

ترجمه فارسی توضیحات (ترجمه ماشینی)

الگوریتم های مبتنی بر شبیه سازی برای فرآیندهای تصمیم گیری مارکوف

مدل‌های فرآیند تصمیم مارکوف (MDP) به طور گسترده برای مدل‌سازی مشکلات تصمیم‌گیری متوالی که در مهندسی، اقتصاد، علوم کامپیوتر و علوم اجتماعی ایجاد می‌شوند، استفاده می‌شوند. به خوبی شناخته شده است که بسیاری از مسائل دنیای واقعی که توسط MDPها مدل‌سازی می‌شوند، دارای فضاهای حالت و/یا عمل عظیمی هستند که منجر به نفرین بدنام ابعاد می‌شود که راه‌حل عملی مدل‌های حاصل را غیرقابل حل می‌کند. در موارد دیگر، سیستم مورد نظر به اندازه کافی پیچیده است که نمی توان برخی از پارامترهای مدل MDP را به طور صریح مشخص کرد، اما نمونه های شبیه سازی به راحتی در دسترس هستند (به عنوان مثال، برای انتقال تصادفی و هزینه ها). برای این تنظیمات، نمونه‌گیری و الگوریتم‌های عددی مبتنی بر جمعیت مختلف اخیراً برای غلبه بر مشکلات محاسبه یک راه‌حل بهینه از نظر یک خط مشی و/یا تابع مقدار توسعه یافته‌اند.

Simulation-based Algorithms for Markov Decision Processes

Markov decision process (MDP) models are widely used for modeling sequential decision-making problems that arise in engineering, economics, computer science, and the social sciences. It is well-known that many real-world problems modeled by MDPs have huge state and/or action spaces, leading to the notorious curse of dimensionality that makes practical solution of the resulting models intractable. In other cases, the system of interest is complex enough that it is not feasible to specify some of the MDP model parameters explicitly, but simulation samples are readily available (e.g., for random transitions and costs). For these settings, various sampling and population-based numerical algorithms have been developed recently to overcome the difficulties of computing an optimal solution in terms of a policy and/or value function.