بڑے ڈیٹا میں ترقی کی لامتناہی صلاحیت ہے۔ آئیے جانتے ہیں کہ بڑا ڈیٹا کیا ہے اور وہ تین وجوہات کیوں کہ یہ صرف 2010 میں مقبول ہوا۔


کسی وقت، ہمیں مختلف ذرائع ابلاغ کے ذریعے نامانوس لفظ بگ ڈیٹا کا سامنا کرنا شروع ہوا۔ ان الفاظ کو عام استعمال میں آئے چند سال ہی ہوئے ہیں۔ تاہم، حال ہی میں میڈیا کے ذریعہ اس کا اتنا زیادہ استعمال کیا گیا ہے کہ "بڑے ڈیٹا کا استعمال کرتے ہوئے مارکیٹنگ" جیسے تاثرات اب ہمارے لیے بورنگ محسوس کرتے ہیں۔ تو بڑے ڈیٹا اور ڈیٹا مائننگ کے بارے میں کیا ہے جو انہیں اتنا مقبول بناتا ہے؟

بڑے ڈیٹا کا لفظی مطلب ہے ایک بہت بڑا ڈیٹا سیٹ۔ کوئی بھی ڈیٹا جسے سٹوریج میڈیم میں اسٹور کیا جا سکتا ہے، سادہ نمبروں سے لے کر پیچیدہ CCTV امیجز تک، فارمیٹ سے قطع نظر، ایک سیٹ بنانے کے لیے انہیں اکٹھا کرکے بڑا ڈیٹا بن سکتا ہے۔ دوسرے الفاظ میں، ڈیٹا کے رسمی پہلو سے، پچھلے ڈیٹا اور بڑے ڈیٹا میں کوئی فرق نہیں ہے۔ تاہم، اگر بڑا ڈیٹا محض بڑے سائز کا ڈیٹا ہے، تو اسے اتنا ہی مقبول ہونا چاہیے تھا جتنا کہ 1990 کی دہائی کے آخر اور 2000 کی دہائی کے اوائل میں، جب کمپیوٹر ٹیکنالوجی نے تیزی سے ترقی کی۔ تاہم، تین وجوہات ہیں جن کی وجہ سے بڑا ڈیٹا صرف 2010 کی دہائی میں مقبول ہوا:

سب سے پہلے، سب سے بڑی وجہ سی پی یو کی ترقی میں پیراڈیم شفٹ ہے۔ CPU (سنٹرل پروسیسنگ یونٹ) کمپیوٹر کا دماغ ہے جو کمپیوٹیشنل کام انجام دیتا ہے۔ ماضی میں، ترقی کی رفتار اتنی تیز تھی کہ مور کا قانون، جو کہتا ہے کہ سی پی یو کی کارکردگی ہر 18 ماہ بعد دوگنی ہو جاتی ہے، کو بڑے پیمانے پر قبول کیا گیا۔ تاہم، 2004 میں، CPUs کی ترقی ایک حد تک پہنچ گئی جسے '4GHz وال' کہا جاتا ہے۔ پہلے، سی پی یو کی ترقی کی سمت ایک کور (کمپیوٹنگ یونٹ) میں داخل ہونے والے ٹرانجسٹروں (کمپیوٹنگ عناصر) کی تعداد میں اضافہ کرکے ایک پروسیسنگ یونٹ کی رفتار کو بڑھانا تھا۔ تاہم، اس طریقہ کار میں گرمی کا ایک سنگین مسئلہ تھا کیونکہ جیسے جیسے ٹرانجسٹروں کا انضمام بڑھتا گیا، ہر ٹرانزسٹر کے لیے گرمی کی کھپت کا علاقہ کم ہوتا گیا۔ CPU مینوفیکچررز بالآخر اس حرارتی مسئلے کو حل کرنے میں ناکام رہے۔ نتیجے کے طور پر، ٹرانزسٹر کا انضمام ایک خاص سطح سے زیادہ نہیں ہوا، اور ایک کور کی آپریٹنگ اسپیڈ 4GHz کے لگ بھگ رہی۔ تاہم، کور میں ٹرانزسٹروں کی تعداد بڑھانے کے بجائے، سی پی یو مینوفیکچررز نے گرمی کے مسئلے سے نمٹنے کے لیے دوسرے طریقے تلاش کیے ہیں۔ ملٹی کور سی پی یو تیار کرکے ایک نئی پیش رفت پائی گئی جس میں سی پی یو کے اندر متعدد کور شامل تھے۔ جبکہ موجودہ سنگل کور CPUs ایک کور کے حساب سے متعدد کاموں کو پروسیس کرتے ہیں، ملٹی کور CPUs متعدد کاموں کو ایک سے زیادہ کور میں تقسیم اور متوازی کرکے اور بیک وقت ان پر کارروائی کرکے پروسیسنگ کی رفتار میں اضافہ کرتے ہیں۔ یہ ملٹی کور CPUs تیزی سے مقبول ہو چکے ہیں، اور متوازی کمپیوٹنگ ٹیکنالوجی جو بیک وقت ڈیٹا پر کارروائی کرتی ہے، تیار ہو چکی ہے۔ نتیجے کے طور پر، اب زیادہ تیزی اور آسانی سے ڈیٹا کی وسیع مقدار کو ہینڈل کرنا ممکن ہو گیا ہے جو پہلے کمپیوٹنگ کی رفتار میں محدود ہونے کی وجہ سے سنبھالا نہیں جا سکتا تھا۔

نہ صرف ملٹی کور CPUs کی مقبولیت بلکہ اسٹوریج میڈیا کی ترقی نے بھی بڑے ڈیٹا کے دور کو کھولنے میں بڑا کردار ادا کیا۔ ہارڈ ڈسک کے معاملے میں، ایک نمائندہ اسٹوریج میڈیم، ڈیٹا کو دھاتی پلیٹوں پر ذخیرہ کیا جاتا ہے جسے پلیٹرز کہتے ہیں۔ ایک ہارڈ ڈسک میں متعدد پلیٹرز داخل کرنے کے لیے بہتر مقناطیسی ریکارڈ انضمام اور ملٹی کور CPUs جیسی ٹیکنالوجیز تیار کی گئی ہیں۔ اس کی بدولت، سٹوریج کی گنجائش میں دھماکہ خیز اضافہ ہوا ہے، اس حد تک کہ 8TB کی سٹوریج کی جگہ والی مصنوعات 2023 کی دہائی میں مقبول ہوئیں، جو کہ 1990 کی دہائی میں صرف 1GB تھی۔ اس کے علاوہ، نسبتاً سست ہارڈ ڈسک کے برعکس، ایس ایس ڈی (سالڈ اسٹیٹ ڈرائیو) جیسی تیز رفتاری کے ساتھ نیا اسٹوریج میڈیا سامنے آیا ہے۔ بڑی مقدار میں ڈیٹا کا استعمال کرنا آسان ہو گیا ہے جو پہلے ذخیرہ کرنے کی ناکافی جگہ کی وجہ سے محفوظ نہیں کیا جا سکتا تھا یا ذخیرہ کرنے کے باوجود پڑھنے اور لکھنے کی رفتار سست ہونے کی وجہ سے اس پر کارروائی کرنا مشکل تھا۔

CPU اور سٹوریج میڈیا میں پیشرفت نے بڑی مقدار میں ڈیٹا کا استعمال ممکن بنا دیا ہے جو پہلے شمار یا ذخیرہ نہیں کیا جا سکتا تھا۔ تاہم، آج کے بڑے ڈیٹا اور ماضی کے بڑے ڈیٹا کے درمیان بنیادی فرق ڈیٹا کو جمع کرنے کے طریقے میں ہے۔ سمارٹ ڈیوائسز اور ایس این ایس، جو 2010 کی دہائی میں تیزی سے مقبول ہوئے، نے ڈیٹا اکٹھا کرنے کا نمونہ بدل دیا۔ نیٹ ورک سے بالواسطہ یا بلاواسطہ جڑے سمارٹ ڈیوائسز مختلف سینسرز جیسے کیمرے، GPS (گلوبل پوزیشننگ سسٹم) اور NFC (نیئر فیلڈ کمیونیکیشن) کے ذریعے صارف کا ڈیٹا اکٹھا کرتے ہیں۔ اور یہ ڈیٹا مسلسل نیٹ ورک پر اپ لوڈ کیا جا رہا ہے۔ اس کے علاوہ ایس این ایس جیسے فیس بک اور ٹویٹر کے صارفین مسلسل اپنی مختلف ذاتی معلومات نیٹ ورک پر اپ لوڈ کر رہے ہیں۔ ماضی میں، ڈیٹا اکٹھا کرنا صرف مخصوص ٹارگٹ ڈیٹا حاصل کرنے کے لیے کیا جاتا تھا جسے ڈیٹا اکٹھا کرنے کا موضوع اہم سمجھا جاتا تھا۔ تاہم، موجودہ ڈیٹا اکٹھا کرنا اندھا دھند ڈیٹا کی بڑی مقدار کو سمارٹ ڈیوائسز اور SNS کے ذریعے نیٹ ورک کے ذریعے جمع کرتا ہے۔ مزید برآں، جیسے جیسے نیٹ ورک ٹیکنالوجی بتدریج ترقی کرتی ہے، نیٹ ورک سے منسلک اشیاء کی اقسام میں اضافہ ہوتا جا رہا ہے۔ دوسرے لفظوں میں انٹرنیٹ آف تھنگز (IOT) کی آمد سے ڈیٹا اکٹھا کرنے کا دائرہ مزید پھیلتا جا رہا ہے۔

اس طرح، بڑے ڈیٹا کا تصور ملٹی کور CPUs کی ترقی، سٹوریج میڈیا کی ترقی، اور ڈیٹا اکٹھا کرنے کے دائرہ کار میں توسیع کے ہم آہنگ امتزاج سے ابھرا۔ فی الحال، متعدد کمپنیاں، حکومتیں، اور دوسرے گروپ خزانہ تلاش کرنے کے لیے جمع کیے گئے بڑے ڈیٹا کو کھود رہے ہیں، اور مختلف میڈیا بڑے ڈیٹا کی اہمیت پر زور دے رہے ہیں۔ لیکن کسی بھی چیز سے بڑھ کر، ہمیں بڑے ڈیٹا کے بارے میں غور کرنے کی ضرورت یہ ہے کہ موجودہ بڑا ڈیٹا صرف آغاز ہے۔ مستقبل میں، ملٹی کور سی پی یوز ایک ساتھ تیز تر حساب کتاب کرنے کے قابل ہو جائیں گے، اور اسٹوریج میڈیا زیادہ تیزی سے زیادہ ڈیٹا ذخیرہ کرنے کے قابل ہو جائے گا۔ اور زیادہ سے زیادہ چیزیں نیٹ ورک سے منسلک ہوں گی اور جو ڈیٹا انہوں نے جمع کیا ہے اسے نیٹ ورک پر بھیجیں گے۔ موجودہ بگ ڈیٹا جسے ہم فی الحال بڑا سمجھتے ہیں، ہو سکتا ہے کہ آنے والے بڑے ڈیٹا کے دور میں بالکل بھی بڑا نہ ہو۔