Big data என்றால் என்ன?

உங்களுடைய சந்தேகங்கள் கேள்விகளை எங்களுடன் பகிர்ந்து கொள்ளுங்கள்

பதிவுசெய்க
Big data என்றால் என்ன?
kavitha pathmanathan | Developer & Writter

தற்போது எல்லா தொழில்நுட்பங்களும் machine learning-ஐ சார்ந்து இயங்க ஆரம்பித்துவிட்டது. Big data என்பது machine learning துறைக்கு உதவி செய்வது. Big Data என்பது நிறைய டேட்டாக்களை கலெக்ட் செய்து சேமித்து வைப்பது.Big Data  என்பதனை தமிழில் சரியாக சொல்லவேண்டும் எனில் “அதிகப்படியான தகவல்கள்” எனலாம். அதிகப்படியான தகவல்களை சேகரித்து பின்னர் அதிலிருந்து தகவல்களை பிரித்தெடுத்து பின்னர் அவற்றை ஒருங்கிணைத்து அதிலிருந்து தேவையான புள்ளிவிவரத்தை பெறுவது தான் Big Data தொழில்நுட்பம்.  Big Data வில் அதிகப்படியான விவரங்களை சேகரிப்பது , அதனை பாதுகாப்பாக சேமித்து வைப்பது , அதிலிருந்து தகவல்களை பிரித்தெடுப்பது , மற்றும் இறுதி முடிவுகளை குறைந்த பிழையில் எடுப்பது சவாலான விசயமாக பார்க்கப்படுகிறது.


Types of Big Data

structured : எந்த தகவல்களை சேகரிக்கப்போகிறோம் என தெரிந்து அதற்கேற்றவாறு முறைப்படி தகவல்களை சேகரிப்பது தான் Structured. உதாரணத்திற்கு ஒரு அலுவலகத்தில் வேலை செய்கின்ற நபரின் பெயர், வயது, பணி, சம்பளம் என்ற தகவலை சேமிப்பதனை Structured முறையில் மேற்கொள்ளப்படும் தகவல் சேமிப்பு முறை என வைத்துக்கொள்ளலாம். ஆதார் தகவல்களும் கூட இம்முறையிலேயே சேகரிக்கப்படுகின்றன.

Unstructured :எந்தவித முறையும் இன்றி கிடைக்கின்ற தகவல்களை சேமிக்கும் முறைக்கு Unstructured என பெயர். இம்முறையில் அதிகப்படியான தகவல்கள் இருக்கும் ஆனால் அவை அனைத்தும் ஒரே முறையில் சேமிக்கப்பட்டு இருக்காது. உதாரணத்திற்கு, ஒரு தகவலில் பெயர், வயது இருக்கும் இன்னொரு தகவலில் பெயர், பணி விவரம் இருக்கும். இதுபோன்று வெவ்வேறு விதத்திலான தகவல்கள் சேமிக்கப்பட்டு இருக்கும் இம்முறையில் தகவல்களை ஒருங்கிணைப்பது, அதிலிருந்து ஒரு தகவலை பெறுவது என்பது மிகவும் சவாலானது. 

Semi-structured : Structured  மற்றும் Unstructured முறையிலான இரண்டு டேட்டாக்களுமே இதில் அடங்கி இருக்கும். 


BIG DATA அதிக அளவில் பயன்படுத்தப்படும் அமைப்புகள் 

வங்கி 

மருத்துவம் 

தொழிற்சாலைகள் 

அரசு 

விற்பனை நிறுவனங்கள்

கல்வித்துறை

அதிகப்படியான தகவல்களை ஒருங்கிணைத்து எதிர்காலத்திற்கு தேவைப்படுகிற அல்லது நாம் தெரிந்துகொள்ள விழைகிற முடிவுகளை அறிந்துகொள்வதற்கான தொழில்நுட்பமே big data analysis.

Characteristics of Big Data

Variety – Structured, Unstructured, Semi-structured என மூன்று விதமான முறையிலேயும் சேகரிக்கப்பட்ட தகவல்களை கொண்டிருப்பது. முன்பெல்லாம் தகவல்கள் spreadsheets அல்லது databases மூலமாக பெறப்பட்டது. தற்போது பல்வேறு விதமான முறைகளில் (emails, PDFs, photos, videos, audios, SM posts) தகவல்கள் திரட்டப்படுகின்றன.

Velocity – தகவல்கள் அப்டேட் செய்யப்படும் வேகத்தினை குறிப்பது தான் Velocity. தொடர்ச்சியாக தகவல்கள் அப்டேட் செய்யப்படுமாயின் துல்லியமான தகவல்களை பெற இயலும்.

Volume – நாம் ஏற்கனவே அறிந்தது போலவே Big Data என்பது மிகப்பெரிய அளவிலான தகவலை குறிக்கிறது. சமூக வலைத்தளங்கள், நிறுவனங்கள், நேரடியாக பெறப்படும் தகவல்கள் என பல வழிகளில் தற்போது தகவல்கள் சேகரிக்கப்படுகின்றன


முறையாக சேகரிக்கப்பட்ட தகவல்களை உள்ளடக்கிய தரவுத்தளத்தை கையாளுவதற்க்கு  உதவுகின்ற தொழில்நுட்பத்திற்கு database management system என்று பெயர்.அதற்க்கு பயன்படும் software- database management system software எனப்படும்.dBASE , Foxbase ,FoxPro ,Clipper என அடிப்படை software இல் தொடங்கி MSACCESS ,ORACLE ,SQL ,MYSQL ,DB2 என பல்வேறு காலகட்ட்ங்களில் பல database management system software பயன்படுத்தப்பட்டு  வந்தன.இவை தகவல்களை குறிப்பிட்ட பயன்பாட்டுக்கு மட்டுமே பயன்படுத்த உதவி செய்கின்றன.தற்சமயம் Hadoop,NoSQL ,MongoDB போன்றவை பரவலாக பயன்பாட்டில் உள்ளன.

  

Big dataவின் சில பயன்பாடுகள் கீழே:

பெரிய தரவு பகுப்பாய்வு புதிய குணங்களைக் கண்டறியவும், நோய்களின் பரவலை நன்கு புரிந்துகொள்ளவும் கணிக்கவும் உதவுகிறது.
குற்றவாளிகளைப் பிடிக்கவும், குற்றச் செயல்களைக் கணிக்கவும் கூட போலீசார் பெரிய தரவு கருவிகளைப் பயன்படுத்துகின்றனர்.
மோசடி பரிவர்த்தனைகளைக் கண்டறிய கிரெடிட் கார்டு நிறுவனங்கள் பெரிய தரவு பகுப்பாய்வுகளைப் பயன்படுத்துகின்றன.
பல நகரங்கள் தங்களை ஸ்மார்ட் சிட்டிகளாக மாற்றும் நோக்கத்துடன் பெரிய தரவு பகுப்பாய்வுகளைப் பயன்படுத்துகின்றன, அங்கு ஒரு பஸ் தாமதமான ரயிலுக்காக காத்திருக்கத் தெரியும், போக்குவரத்து சிக்னல்கள் போக்குவரத்து அளவைக் கணித்து நெரிசல்களைக் குறைக்க செயல்படுகின்றன.
 

There are no comments yet.
Authentication required

You must log in to post a comment.

Log in