دانلود کتاب High Performance Multidimensional Analysis and Data Mining

ترجمه فارسی توضیحات (ترجمه ماشینی)

تجزیه و تحلیل چند بعدی و داده کاوی با کارایی بالا

خلاصه اطلاعات از داده‌ها در پایگاه‌های داده بزرگ برای پاسخ به پرسش‌ها در سیستم‌های پردازش تحلیلی آنلاین (OLAP) و ایجاد سیستم‌های پشتیبانی تصمیم بر روی آنها استفاده می‌شود. مکعب داده برای محاسبه و ذخیره اطلاعات خلاصه در ابعاد مختلف استفاده می شود که در صورت زیاد بودن تعداد ابعاد فقط تا حدی محاسبه می شود. پرس و جوهای مطرح شده در چنین سیستم هایی کاملاً پیچیده هستند و به دیدگاه های متفاوتی از داده ها نیاز دارند. اینها ممکن است از طریق یک مکعب مادی شده در مکعب داده پاسخ داده شوند یا در لحظه محاسبه شوند. علاوه بر این، داده کاوی برای انجمن ها را می توان بر روی مکعب داده انجام داد. مدل‌های تحلیلی باید چند بعدی بودن داده‌های زیربنایی را به تصویر بکشند، وظیفه‌ای که پایگاه‌های داده چند بعدی به خوبی برای آن مناسب هستند. همچنین، آنها متمایل به موازی سازی هستند، که برای مقابله با مجموعه داده های بزرگ (و هنوز در حال رشد) ضروری است. پایگاه های داده چند بعدی داده ها را در ساختار چند بعدی ذخیره می کنند که عملیات تحلیلی بر روی آن انجام می شود. یک چالش برای این سیستم ها این است که چگونه مجموعه داده های بزرگ را در تعداد زیادی از ابعاد مدیریت کنند. این تکنیک‌ها همچنین برای پایگاه‌های اطلاعاتی علمی و آماری (SSDB) که از پایگاه‌های اطلاعاتی چند بعدی بزرگ و عملیات‌های بعدی بر روی آنها استفاده می‌کنند، قابل استفاده هستند. در این مقاله ما (1) یک زیرساخت موازی برای پایگاه‌های اطلاعاتی چند بعدی OLAP یکپارچه‌شده با قانون کاوی را ارائه می‌کنیم. (2) ساختار پراکنده بیت کدگذاری شده (BESS) را برای ذخیره سازی داده های پراکنده در تکه ها معرفی کنید. (3) بهینه سازی زمان بندی برای محاسبه موازی مکعب های داده کامل و جزئی. (4) پیاده سازی یک موتور پایگاه داده چند بعدی در مقیاس بزرگ مناسب برای تجزیه و تحلیل ابعادی مورد استفاده در OLAP و SSDB برای (الف) تعداد زیادی از ابعاد (20-30) (ب) مجموعه داده های بزرگ (10 ثانیه گیگابایت) پیاده سازی ما در IBM SP -2 می تواند مجموعه داده های بزرگ و تعداد زیادی ابعاد را با استفاده از ورودی/خروجی دیسک مدیریت کند. نتایج ارائه شده است که عملکرد و مقیاس پذیری آن را نشان می دهد.

High Performance Multidimensional Analysis and Data Mining

Summary information from data in large databases is used to answer queries in On-Line Analytical Processing (OLAP) systems and to build decision support systems over them. The Data Cube is used to calculate and store summary information on a variety of dimensions, which is computed only partially if the number of dimensions is large. Queries posed on such systems are quite complex and require different views of data. These may either be answered from a materialized cube in the data cube or calculated on the fly. Further, data mining for associations can be performed on the data cube. Analytical models need to capture the multidimensionality of the underlying data, a task for which multidimensional databases are well suited. Also, they are amenable to parallelism, which is necessary to deal with large (and still growing) data sets. Multidimensional databases store data in multidimensional structure on which analytical operations are performed. A challenge for these systems is how to handle large data sets in a large number of dimensions. These techniques are also applicable to scientific and statistical databases (SSDB) which employ large multidimensional databases and dimensional operations over them.In this paper we present (1) A parallel infrastructure for OLAP multidimensional databases integrated with association rule mining. (2) Introduce Bit-Encoded Sparse Structure (BESS) for sparse data storage in chunks. (3) Scheduling optimizations for parallel computation of complete and partial data cubes. (4) Implementation of a large scale multidimensional database engine suitable for dimensional analysis used in OLAP and SSDB for (a) large number of dimensions (20-30) (b) large data sets (10s of Gigabyte)Our implementation on the IBM SP-2 can handle large data sets and a large number of dimensions by using disk I/O. Results are presented showing its performance and scalability.