دانلود کتاب Evaluating derivatives: principles and techniques of algorithmic differentiation

ترجمه فارسی توضیحات (ترجمه ماشینی)

ارزیابی مشتقات: اصول و تکنیک های تمایز الگوریتمی

تمایز الگوریتمی یا خودکار (AD) به ارزیابی دقیق و کارآمد مشتقات برای توابع تعریف شده توسط برنامه های کامپیوتری مربوط می شود. هیچ خطای کوتاهی رخ نمی دهد، و مقادیر مشتق عددی حاصل را می توان برای همه محاسبات علمی که بر اساس تقریب های خطی، درجه دوم یا حتی بالاتر به توابع اسکالر یا برداری غیرخطی هستند، استفاده کرد. به طور خاص، AD برای بهینه‌سازی، شناسایی پارامترها، حل معادلات، ادغام عددی معادلات دیفرانسیل و ترکیب آن‌ها استفاده شده است. جدا از کمی کردن حساسیت ها به صورت عددی، تکنیک های AD همچنین می توانند اطلاعات ساختاری، به عنوان مثال، الگوی پراکندگی و رتبه عمومی ماتریس های ژاکوبین را ارائه دهند.

این اولین درمان جامع AD تمام تکنیک های مبتنی بر قاعده زنجیره ای را برای ارزیابی مشتقات توابع مرکب با تاکید خاص بر حالت معکوس یا الحاقی توصیف می کند. تحلیل پیچیدگی مربوطه نشان می‌دهد که گرادیان‌ها همیشه نسبتاً ارزان هستند، در حالی که هزینه ارزیابی ماتریس‌های ژاکوبین و هسی به شدت به ساختار مسئله و بهره‌برداری کارآمد آن وابسته است. تلاش برای به حداقل رساندن تعداد عملیات و/یا نیاز به حافظه منجر به مشکلات بهینه‌سازی ترکیبی سخت در مورد Jacobians و یک منحنی مبادله به خوبی تعریف شده بین پیچیدگی مکانی و زمانی برای ارزیابی گرادیان می‌شود.

این کتاب به سه بخش تقسیم می‌شود: مقدمه‌ای مستقل بر مبانی AD و نرم‌افزار آن، بررسی کامل روش‌ها برای مسائل پراکنده، و فصل‌های پایانی در مورد مشتقات بالاتر، مسائل غیر هموار، و زمان‌بندی معکوس برنامه. هر یک از فصل ها با مثال ها و تمرین های مناسب برای دانش آموزانی که درک پایه ای از حساب دیفرانسیل، برنامه ریزی رویه ای و جبر خطی عددی دارند، به پایان می رسد.

Evaluating derivatives: principles and techniques of algorithmic differentiation

Algorithmic, or automatic, differentiation (AD) is concerned with the accurate and efficient evaluation of derivatives for functions defined by computer programs. No truncation errors are incurred, and the resulting numerical derivative values can be used for all scientific computations that are based on linear, quadratic, or even higher order approximations to nonlinear scalar or vector functions. In particular, AD has been applied to optimization, parameter identification, equation solving, the numerical integration of differential equations, and combinations thereof. Apart from quantifying sensitivities numerically, AD techniques can also provide structural information, e.g., sparsity pattern and generic rank of Jacobian matrices.

This first comprehensive treatment of AD describes all chainrule-based techniques for evaluating derivatives of composite functions with particular emphasis on the reverse, or adjoint, mode. The corresponding complexity analysis shows that gradients are always relatively cheap, while the cost of evaluating Jacobian and Hessian matrices is found to be strongly dependent on problem structure and its efficient exploitation. Attempts to minimize operations count and/or memory requirement lead to hard combinatorial optimization problems in the case of Jacobians and a well-defined trade-off curve between spatial and temporal complexity for gradient evaluations.

The book is divided into three parts: a stand-alone introduction to the fundamentals of AD and its software, a thorough treatment of methods for sparse problems, and final chapters on higher derivatives, nonsmooth problems, and program reversal schedules. Each of the chapters concludes with examples and exercises suitable for students with a basic understanding of differential calculus, procedural programming, and numerical linear algebra.