در سال 2012 در Gartner hype cycle تکنولوژی جدیدی در بین تکنولوژی های نوظهور مشاهده شد که در سالهای قبل دیده نمی شد. نام این فناوری Big Data یا کلان داده بود. Gartner hype cycle نموداری است که هر ساله توسط موسسه گارتنر به عنوان معتبرترین شرکت مشاوره مدیریت تکنولوژی های عمده آینده را شناسایی می کند و روند رشد و بلوغ آنها را در طول زمان رصد می کند.
طبق تئوری گارتنر تکنولوژی های نوین مسیری را طی می کنند که می توان آن را در یک نمودار به نام hype cycle نمایش داد. محور افقی این نمودار گذشت زمان را نمایش می دهد و محور عمودی میزان دیده شدن یا انتظارات جامعه از تکنولوژی را به نمایش می گذارد.
این چرخه در محور افقی به پنج فاز تقسیم شده است. فاز اول که به صورت صعودی در حال افزایش انتظارات و شناخته شدن است، فاز شناسایی و ظهور تکنولوژی است. بر اساس این نظریه تکنولوژی های چشمگیری که وارد این فاز میشوند تکنولوژی هایی هستند که هر ساله به عنوان روند یا Trend شناخته می شوند و توجه همگان را جلب می کنند.
پس از طی این فاز تکنولوژی ها به قله انتظارات می رسند که معمولاً انتظارات غیرواقعی و اغراق شده هستند. داستانهای موفقیت آنها همه جا شنیده می شود اما داستانهای شکست مسکوت می مانند. بعضی شرکتها شروع به استفاده از آنها می کنند. در فاز سوم انتظارات بی مورد و توجهات به تکنولوژی شروع به سقوط می کند زیرا نمی تواند انتظارات را برآورده کند. تکنولوژی هایی که بتوانند از این فاز عبور کنند و با انجام بهبودهایی رضایت سرمایه گذاران اولیه را جلب کنند وارد فاز چهارم می شوند.
در فاز چهارم تکنولوژی به صورت گسترده تری درک می شود و موارد تجاری استفاده آن تبلور می یابد. بهبودهایی روی آن انجام می گیرد و استفاده آزمایشی از آن صورت می گیرد اما همچنان شرکتهای محافظه کار در مقابل آن گارد می گیرند. در فاز پنجم، معیارهای ارزیابی به صورت شفاف مشخص می شوند، تکنولوژی کاربرد گسترده پیدا می کند و از بازار حاشیه ای وارد بازار عمده می شود و به اصطلاح جا می افتد.
در سال 2013، Big Data نشان داد که با سرعت زیادی به سمت قله انتظارات در حال حرکت است. اما چگونه این مفهوم به وجود آمد و چرا با این سرعت جای خود را در بین تکنولوژی ها پیدا کرد؟ جلوتر در مورد این موضوع صحبت خواهیم کرد.
در سال 2014 نام Big Data در فاز سوم دیده شد و انتظار می رفت که وارد فاز چهارم شود، اما چیزی که باعث تعجب بود این بود که در نمودار سال بعد نامی از آن دیده نمی شد.
این تصور به وجود آمد که Big Data در فاز سوم شکست خورده و محو شده است، اما این با پیش بینی ها و انتظارات متخصصان در تضاد بود. در مصاحبه ای که با خانم بتسی برتون، تحلیلگر گارتنر در این مورد انجام شد او گفت “Big Data در زندگی ما جریان پیدا کرده است”. به این معنی که سرعت رشد آن آنقدر سریع بوده که فازهای 4 و 5 را در کمتر از یکسال طی کرده و از انتهای نمودار خارج شده است. در حقیقت تبدیل به یک تکنولوژی رایج شده و دیگر در زمره تکنولوژی های نوظهور محسوب نمی شود.
در سال 2018 مجدداً Big Data در Gartner hype cycle دیده شد، اما نه خود Big Data بلکه تکنولوژی های زیرمجموعه آن مانند Hadoop و Spark. این نشان دهنده این است که به بلوغ کامل رسیده و اکنون اجزا و نسخه های جدید آن به عنوان تکنولوژی های جدید شناخته می شوند.
اما چرا Big Data به این سرعت ظاهر شد و رشد پیدا کرد و ضروری شد؟ در سال 2012، Oracle نموداری از حجم کل داده ها در جهان ارائه کرد که نشان می داد حجم داده به صورت نمایی در حال افزایش است. این نمودارپیش بینی می کرد در سال 2020 به 44 زتابایت برسد. نکته جالب اینکه پیش بینی این نمودار با خطای قابل قبولی درست بود، چرا که بر اساس برآوردها حجم داده ها در سال 2020 به حدود 40 زتابایت رسیده است.
با توجه به رشد نمایی حجم داده ها و توانایی محدود سیستم های نرم افزاری سنتی مدیریت داده، نیاز به ابداع تکنولوژی ای که بتواند ذخیره سازی داده ها و پردازش آنها را به صورت توزیع شده انجام دهد بیش از پیش حس می شد. دلیل سرعت گسترش تکنولوژی های Big Data تابع همین سرعت افزایش حجم داده ها بوده است.
اولین استفاده از تکنولوژی های مشابه با توجه به حجم دیتاها و توانایی سیستم ها به سال ها پیش برمی گردد، اما با تعریف فعلی و مرزها و محدوده ها و باید و نبایدهای استاندارد فعلی Big Data اولین پروژه در سال 2005 در شرکت گوگل و سپس در همان سال در یاهو انجام شد.
در مقالات بعدی در مورد تاریخچه Big Data و دیتابیس های NoSQL و سرویس ها و تکنولوژی های زیرمجموعه آنها صحبت خواهیم کرد.
