डेटा एन्ट्रापी। सूचना एन्ट्रापी। शैनन सूत्र। प्राकृतिक भाषा संदेश

संकल्पना एन्ट्रापी अपरिवर्तनीय ऊर्जा अपव्यय के माप को निर्धारित करने के लिए पहली बार 1865 में आर क्लॉसियस द्वारा थर्मोडायनामिक्स में पेश किया गया था। एन्ट्रापी का उपयोग विज्ञान की विभिन्न शाखाओं में किया जाता है, जिसमें सूचना सिद्धांत भी शामिल है, किसी भी अनुभव, परीक्षण की अनिश्चितता के उपाय के रूप में, जिसके अलग-अलग परिणाम हो सकते हैं। एन्ट्रापी की इन परिभाषाओं का गहरा आंतरिक संबंध है। तो, सूचना के बारे में विचारों के आधार पर, सांख्यिकीय भौतिकी के सभी सबसे महत्वपूर्ण प्रावधान निकाले जा सकते हैं। [बीईएस. भौतिक विज्ञान। एम: ग्रेट रशियन इनसाइक्लोपीडिया, 1998]।

स्वतंत्र (गैर-समतुल्य) यादृच्छिक घटनाओं के लिए सूचना बाइनरी एन्ट्रापी एक्ससाथ एनसंभावित राज्य (1 से . तक) एन, पी- प्रायिकता फलन) की गणना से की जाती है शैनन का सूत्र:

यह मान भी कहा जाता है औसत एन्ट्रापीसंदेश। शैनन के सूत्र में एन्ट्रापी एक औसत विशेषता है - एक यादृच्छिक चर के वितरण की गणितीय अपेक्षा।
उदाहरण के लिए, रूसी में किसी भी वाक्य को बनाने वाले अक्षरों के क्रम में, अलग-अलग अक्षर अलग-अलग आवृत्तियों पर दिखाई देते हैं, इसलिए कुछ अक्षरों के लिए घटना अनिश्चितता दूसरों की तुलना में कम है।
1948 में, शोर संचार चैनल के माध्यम से सूचना के तर्कसंगत संचरण की समस्या की जांच करते हुए, क्लाउड शैनन ने संचार को समझने के लिए एक क्रांतिकारी संभाव्य दृष्टिकोण का प्रस्ताव रखा और एन्ट्रापी का पहला सही मायने में गणितीय सिद्धांत बनाया। उनके सनसनीखेज विचारों ने सूचना सिद्धांत के विकास के लिए आधार के रूप में कार्य किया, जो संभाव्यता की अवधारणा का उपयोग करता है। एंट्रोपी की अवधारणा, यादृच्छिकता के एक उपाय के रूप में, शैनन द्वारा 1948 में बेल सिस्टम टेक्निकल जर्नल में दो भागों में प्रकाशित अपने लेख "ए मैथमैटिकल थ्योरी ऑफ कम्युनिकेशन" में पेश की गई थी।

समान रूप से संभावित घटनाओं (एक विशेष मामला) के मामले में, जब सभी विकल्प समान रूप से संभावित होते हैं, निर्भरता केवल विचार किए गए विकल्पों की संख्या पर बनी रहती है, और शैनन फॉर्मूला बहुत सरल होता है और हार्टले फॉर्मूला के साथ मेल खाता है, जिसे पहले प्रस्तावित किया गया था एक अमेरिकी इंजीनियर राल्फ हार्टले 1928 में, संदेशों के मूल्यांकन के लिए वैज्ञानिक दृष्टिकोणों में से एक के रूप में:

, जहां मैं प्रेषित जानकारी की मात्रा है, पी एक घटना की संभावना है, एन विभिन्न (समान) संदेशों की संभावित संख्या है।

कार्य 1. समान रूप से संभावित घटनाएँ।
एक डेक में 36 पत्ते होते हैं। संदेश में कितनी जानकारी निहित है कि "इक्का" के चित्र वाला एक कार्ड डेक से लिया गया था; "हुकुम का इक्का"?

प्रायिकता p1 = 4/36 = 1/9 और p2 = 1/36। हार्टले सूत्र का उपयोग करते हुए हमारे पास है:

उत्तर: 3.17; 5.17 बिट
ध्यान दें (दूसरे परिणाम से) कि सभी मानचित्रों को एन्कोड करने के लिए 6 बिट्स की आवश्यकता होती है।
परिणामों से यह भी स्पष्ट है कि किसी घटना की संभावना जितनी कम होगी, उसमें उतनी ही अधिक जानकारी होगी। (इस संपत्ति को कहा जाता है एकरसता)

कार्य 2. असमान घटनाओं पर
एक डेक में 36 पत्ते होते हैं। इनमें से 12 कार्ड "पोर्ट्रेट" के साथ हैं। बदले में, कार्डों में से एक को डेक से लिया जाता है और यह निर्धारित करने के लिए दिखाया जाता है कि उस पर एक चित्र चित्रित किया गया है या नहीं। कार्ड डेक पर लौटा दिया जाता है। हर बार एक कार्ड दिखाए जाने पर प्रेषित जानकारी की मात्रा निर्धारित करें।

एन्ट्रापी (सूचना सिद्धांत)

एंट्रोपी (सूचनात्मक)- सूचना की यादृच्छिकता का एक उपाय, प्राथमिक वर्णमाला के किसी भी वर्ण की उपस्थिति की अनिश्चितता। सूचना हानि के अभाव में, यह संख्यात्मक रूप से संचरित संदेश के प्रति प्रतीक सूचना की मात्रा के बराबर है।

उदाहरण के लिए, रूसी में किसी भी वाक्य को बनाने वाले अक्षरों के क्रम में, अलग-अलग अक्षर अलग-अलग आवृत्तियों पर दिखाई देते हैं, इसलिए कुछ अक्षरों के लिए घटना अनिश्चितता दूसरों की तुलना में कम है। यदि हम ध्यान दें कि अक्षरों के कुछ संयोजन (इस मामले में हम एन्ट्रापी की बात करते हैं एनवें क्रम, देखें) बहुत दुर्लभ हैं, तो अनिश्चितता और कम हो जाती है।

सूचनात्मक एन्ट्रापी की अवधारणा को स्पष्ट करने के लिए, कोई भी थर्मोडायनामिक एन्ट्रॉपी के क्षेत्र से एक उदाहरण का सहारा ले सकता है, जिसे मैक्सवेल का दानव कहा जाता है। सूचना और एन्ट्रापी की अवधारणाओं का एक दूसरे के साथ गहरा संबंध है, लेकिन इसके बावजूद, सांख्यिकीय यांत्रिकी और सूचना सिद्धांत में सिद्धांतों के विकास में उन्हें एक-दूसरे के अनुरूप बनाने में कई साल लग गए।

औपचारिक परिभाषाएं

स्वयं की जानकारी का उपयोग कर परिभाषा

यादृच्छिक चर के वितरण की अवधारणाओं को पहले पेश करके एक यादृच्छिक चर के एन्ट्रॉपी को निर्धारित करना भी संभव है एक्स, जिसमें मूल्यों की एक सीमित संख्या है: मैं(एक्स) = -लॉग पी एक्स (एक्स). फिर एन्ट्रापी को इस प्रकार परिभाषित किया जाएगा: सूचना और एन्ट्रापी के मापन की इकाई लघुगणक के आधार पर निर्भर करती है: बिट, नेट या हार्टले।

सूचना एन्ट्रापीस्वतंत्र यादृच्छिक घटनाओं के लिए एक्ससाथ एनसंभावित राज्य (1 से . तक) एन) सूत्र द्वारा गणना की जाती है:

यह मान भी कहा जाता है औसत संदेश एन्ट्रापी. मान कहा जाता है निजी एन्ट्रापीकेवल विशेषता मैं-जागीर।

इस प्रकार, घटना की एन्ट्रापी एक्सघटना की घटना की सापेक्ष आवृत्तियों के सभी उत्पादों के विपरीत चिह्न के साथ योग है मैंअपने स्वयं के बाइनरी लॉगरिदम द्वारा गुणा किया जाता है (आधार 2 को केवल बाइनरी रूप में प्रस्तुत जानकारी के साथ काम करने की सुविधा के लिए चुना जाता है)। असतत यादृच्छिक घटनाओं के लिए यह परिभाषा एक संभाव्यता वितरण समारोह में विस्तारित की जा सकती है।

सामान्य रूप में बी-आरी एन्ट्रापी(कहाँ पे बी 2, 3, ... के बराबर) प्रारंभिक वर्णमाला और असतत संभाव्यता वितरण वाले स्रोत जहां पी मैंसंभावना है एक मैं (पी मैं = पी(एक मैं) ) सूत्र द्वारा निर्धारित किया जाता है:

शैनन की एन्ट्रापी की परिभाषा थर्मोडायनामिक एन्ट्रापी की अवधारणा से संबंधित है। बोल्ट्जमैन और गिब्स ने किया था अच्छा कामसांख्यिकीय ऊष्मप्रवैगिकी में, जिसने सूचना सिद्धांत में "एन्ट्रॉपी" शब्द को अपनाने में योगदान दिया। थर्मोडायनामिक और सूचनात्मक एन्ट्रापी के बीच एक संबंध है। उदाहरण के लिए, मैक्सवेल का दानव सूचना के थर्मोडायनामिक एन्ट्रापी के विपरीत भी है, और किसी भी मात्रा में जानकारी प्राप्त करना खोई हुई एन्ट्रापी के बराबर है।

वैकल्पिक परिभाषा

एन्ट्रापी फ़ंक्शन को परिभाषित करने का दूसरा तरीका एचसबूत है कि एचविशिष्ट रूप से निर्धारित किया जाता है (जैसा कि पहले कहा गया है) यदि और केवल यदि एचशर्तों को पूरा करता है:

गुण

यह याद रखना महत्वपूर्ण है कि एन्ट्रापी एक डेटा स्रोत के लिए एक संभाव्य मॉडल के संदर्भ में परिभाषित मात्रा है। उदाहरण के लिए, एक सिक्का टॉस में -2 (0.5log 2 0.5) = 1 बिट प्रति टॉस की एन्ट्रापी होती है (यह मानते हुए कि यह स्वतंत्र है)। एक स्रोत जो केवल "ए" अक्षरों से युक्त स्ट्रिंग उत्पन्न करता है, शून्य एन्ट्रॉपी है: . इसलिए, उदाहरण के लिए, यह अनुभवजन्य रूप से स्थापित किया जा सकता है कि एक अंग्रेजी पाठ की एन्ट्रापी प्रति वर्ण 1.5 बिट है, जो निश्चित रूप से विभिन्न ग्रंथों के लिए अलग-अलग होगी। किसी डेटा स्रोत की एन्ट्रॉपी की डिग्री का अर्थ है प्रति डेटा तत्व में बिट्स की औसत संख्या, जो बिना जानकारी खोए, इष्टतम एन्कोडिंग के साथ इसे एन्क्रिप्ट करने के लिए आवश्यक है।

1. कुछ डेटा बिट्स में जानकारी नहीं हो सकती है। उदाहरण के लिए, डेटा संरचना अक्सर अनावश्यक जानकारी संग्रहीत करती है, या डेटा संरचना में जानकारी की परवाह किए बिना समान अनुभाग होते हैं।
2. एन्ट्रापी की मात्रा हमेशा बिट्स की पूर्णांक संख्या के रूप में व्यक्त नहीं की जाती है।

गणितीय गुण

क्षमता

व्यवहार में आने वाली प्रारंभिक वर्णमाला में एक संभाव्यता वितरण है जो इष्टतम से बहुत दूर है। यदि मूल वर्णमाला में होता एनवर्ण, तो इसकी तुलना "अनुकूलित वर्णमाला" से की जा सकती है, जिसका संभाव्यता वितरण एक समान है। मूल और अनुकूलित वर्णमाला की एन्ट्रापी का अनुपात मूल वर्णमाला की दक्षता है, जिसे प्रतिशत के रूप में व्यक्त किया जा सकता है।

इससे यह पता चलता है कि मूल वर्णमाला की दक्षता एनप्रतीकों को इसके बराबर के रूप में परिभाषित किया जा सकता है एन-आरी एन्ट्रापी।

एन्ट्रॉपी अधिकतम संभव दोषरहित (या लगभग दोषरहित) संपीड़न को सीमित करता है जिसे सैद्धांतिक रूप से विशिष्ट सेट या व्यवहार में, हफ़मैन कोडिंग, लेम्पेल-ज़िव-वेल्च कोडिंग, या अंकगणितीय कोडिंग का उपयोग करके महसूस किया जा सकता है।

विविधताएं और सामान्यीकरण

सशर्त एन्ट्रापी

यदि वर्णानुक्रमिक वर्णों का क्रम स्वतंत्र नहीं है (उदाहरण के लिए, in .) फ्रेंचअक्षर "क्यू" लगभग हमेशा "यू" के बाद होता है, और सोवियत समाचार पत्रों में "अग्रणी कार्यकर्ता" शब्द के बाद, "उत्पादन" या "श्रम" शब्द आमतौर पर पीछा किया जाता है), ऐसे पात्रों के अनुक्रम द्वारा की गई जानकारी की मात्रा (और इसलिए एन्ट्रापी) स्पष्ट रूप से कम है। ऐसे तथ्यों के लिए सशर्त एन्ट्रापी का उपयोग किया जाता है।

पहले क्रम की सशर्त एन्ट्रापी (पहले क्रम के मार्कोव मॉडल के समान) वर्णमाला के लिए एन्ट्रापी है, जहां एक के बाद एक अक्षर के प्रकट होने की संभावनाएं ज्ञात हैं (अर्थात, दो-अक्षर संयोजनों की संभावनाएं) :

कहाँ पे मैंराज्य पूर्ववर्ती चरित्र पर निर्भर है, और पी मैं (जे) संभावना है जे, उसे उपलब्ध कराया मैंपिछला चरित्र था।

तो, रूसी भाषा के लिए "" अक्षर के बिना।

निजी और सामान्य सशर्त एन्ट्रॉपी के संदर्भ में, शोर चैनल में डेटा ट्रांसमिशन के दौरान सूचना हानि पूरी तरह से वर्णित है। इसके लिए तथाकथित चैनल मैट्रिसेस. तो, स्रोत से नुकसान का वर्णन करने के लिए (अर्थात, भेजा गया संकेत ज्ञात है), रिसीवर द्वारा एक प्रतीक प्राप्त करने की सशर्त संभावना पर विचार करें बी जेएक चरित्र मानकर भेजा गया था एक मैं. इस मामले में, चैनल मैट्रिक्स का निम्न रूप है:

	बी 1	बी 2	…	बी जे	…	बी एम
एक 1			…		…
एक 2			…		…
…	…	…	…	…	…	…
एक मैं			…		…
…	…	…	…	…	…	…
एक एम			…		…

जाहिर है, विकर्ण के साथ स्थित संभावनाएं सही रिसेप्शन की संभावना का वर्णन करती हैं, और कॉलम के सभी तत्वों का योग रिसीवर के पक्ष में संबंधित वर्ण की उपस्थिति की संभावना देगा - पी(बी जे) . प्रति प्रेषित संकेत हानि एक मैं, आंशिक सशर्त एन्ट्रापी के संदर्भ में वर्णित हैं:

सभी संकेतों के संचरण हानि की गणना करने के लिए, कुल सशर्त एन्ट्रापी का उपयोग किया जाता है:

इसका अर्थ है स्रोत की ओर से एन्ट्रापी, इसे इसी तरह माना जाता है - रिसीवर की ओर से एन्ट्रापी: इसके बजाय हर जगह इंगित किया जाता है (स्ट्रिंग के तत्वों को संक्षेप में, आप प्राप्त कर सकते हैं) पी(एक मैं) , और विकर्ण के तत्वों का अर्थ इस संभावना से है कि वास्तव में प्राप्त किया गया वर्ण भेजा गया था, यानी सही संचरण की संभावना)।

पारस्परिक एन्ट्रापी

पारस्परिक एन्ट्रापी, या संघ एन्ट्रापी, इंटरकनेक्टेड सिस्टम (सांख्यिकीय रूप से निर्भर संदेशों की संयुक्त उपस्थिति की एन्ट्रॉपी) की एंट्रॉपी की गणना करने के लिए डिज़ाइन किया गया है और इसे दर्शाया गया है एच(एबी) , कहाँ पे ए, हमेशा की तरह, ट्रांसमीटर की विशेषता है, और बी- रिसीवर।

संचरित और प्राप्त संकेतों के बीच संबंध संयुक्त घटनाओं की संभावनाओं द्वारा वर्णित है पी(एक मैं बी जे) , और के लिए पूरा विवरणचैनल विशेषताओं के लिए केवल एक मैट्रिक्स की आवश्यकता होती है:

पी(एक 1 बी 1)	पी(एक 1 बी 2)	…	पी(एक 1 बी जे)	…	पी(एक 1 बी एम)
पी(एक 2 बी 1)	पी(एक 2 बी 2)	…	पी(एक 2 बी जे)	…	पी(एक 2 बी एम)
…	…	…	…	…	…
पी(एक मैं बी 1)	पी(एक मैं बी 2)	…	पी(एक मैं बी जे)	…	पी(एक मैं बी एम)
…	…	…	…	…	…
पी(एक एम बी 1)	पी(एक एम बी 2)	…	पी(एक एम बी जे)	…	पी(एक एम बी एम)

अधिक सामान्य मामले के लिए, जब किसी चैनल का वर्णन नहीं किया जाता है, लेकिन केवल इंटरैक्टिंग सिस्टम, मैट्रिक्स को वर्गाकार नहीं होना चाहिए। जाहिर है, संख्या के साथ कॉलम के सभी तत्वों का योग जेदे देंगे पी(बी जे) , संख्या के साथ रेखा का योग मैंवहाँ है पी(एक मैं) , और मैट्रिक्स के सभी तत्वों का योग 1 है। संयुक्त संभावना पी(एक मैं बी जे) आयोजन एक मैंतथा बी जेमूल और सशर्त संभाव्यता के उत्पाद के रूप में गणना की जाती है,

सशर्त संभावनाएं बेयस सूत्र द्वारा निर्मित होती हैं। इस प्रकार, स्रोत और रिसीवर एन्ट्रॉपी की गणना के लिए सभी डेटा उपलब्ध हैं:

पारस्परिक एन्ट्रापी की गणना सभी मैट्रिक्स संभावनाओं के क्रमिक पंक्ति (या स्तंभ) के योग द्वारा उनके लघुगणक से गुणा करके की जाती है:

एच(एबी) = −	∑	∑	पी(एक मैं बी जे)लकड़ी का लट्ठा पी(एक मैं बी जे).
	मैं	जे

माप की इकाई बिट्स/दो वर्ण हैं, यह इस तथ्य से समझाया गया है कि पारस्परिक एन्ट्रॉपी वर्णों की एक जोड़ी के लिए अनिश्चितता का वर्णन करता है - भेजा और प्राप्त किया जाता है। सरल परिवर्तनों से, हम यह भी प्राप्त करते हैं

म्युचुअल एन्ट्रापी में संपत्ति होती है सूचना पूर्णता- इससे आप सभी मात्राएँ विचाराधीन प्राप्त कर सकते हैं।

कहानी

टिप्पणियाँ

यह सभी देखें

लिंक

• क्लाउड ई शैनन संचार का एक गणितीय सिद्धांत
• एस एम कोरोटेव।

सूचना और एन्ट्रापी

सूचना की अवधारणा पर चर्चा करते हुए, एक अन्य संबंधित अवधारणा - एन्ट्रापी को छूना असंभव है। पहली बार एन्ट्रापी और सूचना की अवधारणाओं को के. शैनन द्वारा जोड़ा गया था।

क्लाउड एलवुड शैनन ( क्लाउड एलवुड शैनन), 1916-2001 - थॉमस एडिसन के दूर के रिश्तेदार, एक अमेरिकी इंजीनियर और गणितज्ञ, 1941 से 1972 तक बेल लेबोरेटरीज के कर्मचारी थे। अपने काम में "संचार का गणितीय सिद्धांत" (http://cm.bell-labs. com/cm/ms /what/shannonday/), 1948 में प्रकाशित, किसी भी संदेश की सूचना सामग्री के माप और सूचना क्वांटम की अवधारणा को निर्धारित करने वाला पहला व्यक्ति था - थोड़ा। इन विचारों ने आधुनिक डिजिटल संचार के सिद्धांत का आधार बनाया। 1949 में प्रकाशित शैनन की अन्य कृति "कम्युनिकेशन थ्योरी ऑफ़ सेक्रेसी सिस्टम्स" ने क्रिप्टोग्राफी के रूपांतरण में योगदान दिया। वैज्ञानिक अनुशासन. वह संस्थापक है सूचना सिद्धांत, जिसने आधुनिक उच्च तकनीक संचार प्रणालियों में आवेदन पाया है। शैनन ने संभाव्य योजनाओं के सिद्धांत, ऑटोमेटा के सिद्धांत और नियंत्रण प्रणाली के सिद्धांत - विज्ञान जो "साइबरनेटिक्स" की अवधारणा से एकजुट हैं, में बहुत बड़ा योगदान दिया।

एन्ट्रापी की भौतिक परिभाषा

पहली बार एन्ट्रापी की अवधारणा को क्लॉसियस द्वारा 1865 में सिस्टम के थर्मोडायनामिक अवस्था के एक कार्य के रूप में पेश किया गया था।

जहां क्यू गर्मी है, टी तापमान है।

एन्ट्रापी का भौतिक अर्थ प्रणाली की आंतरिक ऊर्जा के हिस्से के रूप में प्रकट होता है, जिसे कार्य में परिवर्तित नहीं किया जा सकता है। क्लॉसियस ने गैसों के साथ प्रयोग करके इस कार्य को अनुभवजन्य रूप से प्राप्त किया।

एल. बोल्ट्जमैन (1872) ने सांख्यिकीय भौतिकी के तरीकों का उपयोग करते हुए एन्ट्रापी की सैद्धांतिक अभिव्यक्ति प्राप्त की

जहां K एक स्थिरांक है; डब्ल्यू थर्मोडायनामिक संभावना है (आदर्श गैस अणुओं के क्रमपरिवर्तन की संख्या जो सिस्टम के मैक्रोस्टेट को प्रभावित नहीं करती है)।

बोल्ट्जमैन एन्ट्रापी एक आदर्श गैस के लिए प्राप्त की गई थी और इसे अव्यवस्था के एक उपाय के रूप में माना जाता है, एक प्रणाली की अराजकता का एक उपाय। एक आदर्श गैस के लिए बोल्ट्जमान और क्लॉसियस की एन्ट्रॉपी समान होती हैं। बोल्ट्जमैन का सूत्र इतना प्रसिद्ध हुआ कि यह उनकी कब्र पर एक उपमा के रूप में अंकित है। एक राय है कि एन्ट्रापी और अराजकता एक ही हैं। इस तथ्य के बावजूद कि एन्ट्रापी केवल आदर्श गैसों का वर्णन करता है, इसका उपयोग अधिक जटिल वस्तुओं का वर्णन करने के लिए अनजाने में किया गया है।

1886 में बोल्ट्जमैन ने स्व. जीवन क्या है, यह समझाने के लिए एन्ट्रापी का उपयोग करने का प्रयास किया। बोल्ट्जमैन के अनुसार, जीवन एक ऐसी घटना है जो अपनी एन्ट्रापी को कम करने में सक्षम है। बोल्ट्जमैन और उनके अनुयायियों के अनुसार, ब्रह्मांड में सभी प्रक्रियाएं अराजकता की दिशा में बदल रही हैं। ब्रह्मांड गर्मी से मौत की ओर बढ़ रहा है। यह निराशाजनक पूर्वानुमान लंबे समय तक विज्ञान पर हावी रहा। हालांकि, आसपास की दुनिया के बारे में ज्ञान की गहराई ने धीरे-धीरे इस हठधर्मिता को हिला दिया।

क्लासिक्स ने एन्ट्रापी को सूचना के साथ नहीं जोड़ा.

सूचना के एक उपाय के रूप में एन्ट्रापी

ध्यान दें कि "सूचना" की अवधारणा को अक्सर "सूचना" के रूप में व्याख्या किया जाता है, और सूचना का हस्तांतरण संचार की सहायता से किया जाता है। के. शैनन ने एन्ट्रापी को एक उपाय माना उपयोगी जानकारीतारों पर सिग्नल ट्रांसमिशन की प्रक्रियाओं में।

एन्ट्रापी की गणना करने के लिए, शैनन ने एक समीकरण प्रस्तावित किया जो बोल्ट्जमैन द्वारा पाई गई एन्ट्रापी के लिए शास्त्रीय अभिव्यक्ति जैसा दिखता है। हम एक स्वतंत्र यादृच्छिक घटना पर विचार करते हैं एक्स N संभावित अवस्थाओं और i-वें राज्य की p i -प्रायिकता के साथ। फिर घटना की एन्ट्रापी एक्स

इस मात्रा को औसत एन्ट्रापी भी कहा जाता है। उदाहरण के लिए, हम प्राकृतिक भाषा में संदेश के प्रसारण के बारे में बात कर सकते हैं। विभिन्न पत्रों को प्रेषित करते समय, हम अलग-अलग मात्रा में जानकारी देते हैं। प्रति पत्र सूचना की मात्रा भाषा में बने सभी संदेशों में इस पत्र के उपयोग की आवृत्ति से संबंधित है। हम जितना दुर्लभ पत्र प्रेषित करते हैं, उसमें उतनी ही अधिक जानकारी होती है।

मूल्य

एच मैं = पी मैं लॉग 2 1/पी मैं = -पी मैं लॉग 2 पी मैं,

केवल ith राज्य की विशेषता वाली निजी एन्ट्रापी कहलाती है।

आइए उदाहरणों के साथ समझाते हैं. जब एक सिक्का उछाला जाता है, चित या पट बाहर गिरते हैं, तो यह टॉस के परिणामों के बारे में निश्चित जानकारी है।

एक सिक्के के लिए, समसंभाव्य संभावनाओं की संख्या N = 2 है। चित (पट) आने की प्रायिकता 1/2 है।

एक पासे को फेंकते समय, हमें एक निश्चित संख्या के अंक (उदाहरण के लिए, तीन) के नुकसान के बारे में जानकारी मिलती है। हमें और जानकारी कब मिलती है?

पासे के लिए, समसंभाव्य संभावनाओं की संख्या N = 6 है। पासे के तीन अंक प्राप्त करने की प्रायिकता 1/6 है। एन्ट्रापी 2.58 है। कम संभावना वाली घटना का कार्यान्वयन अधिक जानकारी प्रदान करता है। किसी घटना के बारे में संदेश प्राप्त करने से पहले जितनी अधिक अनिश्चितता होती है (एक सिक्का, पासा उछालना), उतनी ही अधिक जानकारी संदेश प्राप्त होने पर आती है।

सूचना की मात्रात्मक अभिव्यक्ति के लिए यह दृष्टिकोण सार्वभौमिक से बहुत दूर है, क्योंकि स्वीकृत इकाइयांजानकारी के ऐसे महत्वपूर्ण गुणों को इसके मूल्य और अर्थ के रूप में ध्यान में न रखें। वास्तविक वस्तुओं के बारे में सूचना के विशिष्ट गुणों (इसका अर्थ, मूल्य) से सार, जैसा कि बाद में निकला, ने सूचना के सामान्य पैटर्न की पहचान करना संभव बना दिया। जानकारी की मात्रा को मापने के लिए शैनन द्वारा प्रस्तावित इकाइयाँ (बिट्स) किसी भी संदेश (एक बेटे का जन्म, एक खेल मैच के परिणाम, आदि) के मूल्यांकन के लिए उपयुक्त हैं। इसके बाद, सूचना की मात्रा के ऐसे उपाय खोजने का प्रयास किया गया जो इसके मूल्य और अर्थ को ध्यान में रखेगा। हालांकि, सार्वभौमिकता तुरंत खो गई: विभिन्न प्रक्रियाओं के लिए, मूल्य और अर्थ के मानदंड अलग-अलग हैं। इसके अलावा, सूचना के अर्थ और मूल्य की परिभाषा व्यक्तिपरक है, जबकि शैनन द्वारा प्रस्तावित सूचना का माप वस्तुनिष्ठ है। उदाहरण के लिए, गंध जानवर के लिए बड़ी मात्रा में जानकारी रखती है, लेकिन मनुष्यों के लिए मायावी है। मानव कान अल्ट्रासोनिक संकेतों का अनुभव नहीं करता है, लेकिन वे डॉल्फ़िन आदि के लिए बहुत सारी जानकारी ले जाते हैं। इसलिए, शैनन द्वारा प्रस्तावित सूचना का माप सूचना के "स्वाद" की परवाह किए बिना सभी प्रकार की सूचना प्रक्रियाओं का अध्ययन करने के लिए उपयुक्त है। उपभोक्ता।

मापने की जानकारी

भौतिकी के पाठ्यक्रम से आप जानते हैं कि किसी का मान मापने से पहले भौतिक मात्रा, माप की इकाई दर्ज करें। सूचना की भी एक ऐसी इकाई होती है - थोड़ा, लेकिन "सूचना" की अवधारणा की परिभाषा के विभिन्न दृष्टिकोणों के लिए इसका अर्थ अलग है।

जानकारी को मापने की समस्या के लिए कई अलग-अलग दृष्टिकोण हैं।

क्लाउड एलवुड शैनन (1916-2001) -
अमेरिकी इंजीनियर और गणितज्ञ
सूचना सिद्धांत के संस्थापक,
वे। प्रसंस्करण, संचरण के सिद्धांत
और सूचना भंडारण

क्लाउड शैननसंदेशों के परिमित और निरंतर सेट दोनों पर विचार करते हुए, आंकड़ों के संदर्भ में संचार चैनलों में प्रसारित संदेशों और शोर की व्याख्या करने वाले पहले व्यक्ति थे। क्लाउड शैनन कहा जाता है "सूचना सिद्धांत के जनक".

सबसे प्रसिद्ध वैज्ञानिक कार्यक्लाउड शैनन उनका लेख है "संचार का गणितीय सिद्धांत" 1948 में प्रकाशित हुआ।

इस काम में, शैनन, एक शोर संचार चैनल के माध्यम से सूचना के तर्कसंगत संचरण की समस्या की खोज करते हुए, संचार को समझने के लिए एक संभाव्य दृष्टिकोण का प्रस्ताव रखा, पहला, सही मायने में गणितीय, यादृच्छिकता के एक उपाय के रूप में एन्ट्रापी का सिद्धांत बनाया, और असतत का एक उपाय पेश किया। वितरण पीट्रांसमीटर और संदेशों के रिसीवर के वैकल्पिक राज्यों के सेट पर संभावनाएं।

शैनन ने एन्ट्रापी की माप के लिए आवश्यकताओं को निर्धारित किया और एक सूत्र प्राप्त किया जो मात्रात्मक सूचना सिद्धांत का आधार बन गया:

एच (पी).

यहां एन- वर्णों की संख्या जिससे संदेश बनाया जा सकता है (वर्णमाला), एच - सूचना बाइनरी एन्ट्रापी .

व्यवहार में, संभावनाएं अनुकरणीयउपरोक्त सूत्र में, उन्हें सांख्यिकीय अनुमानों द्वारा प्रतिस्थापित किया जाता है: अनुकरणीय - सापेक्ष आवृत्ति मैं- संदेश में वर्ण, जहां एन- संदेश में सभी वर्णों की संख्या, एन आई- पूर्ण आवृत्ति मैंसंदेश में वां वर्ण, अर्थात्। घटना संख्या मैंसंदेश में वें चरित्र।

अपने लेख "द मैथमैटिकल थ्योरी ऑफ़ कम्युनिकेशन" के परिचय में, शैनन ने नोट किया कि इस लेख में उन्होंने संचार के सिद्धांत पर विस्तार किया है, जिसके मुख्य प्रावधान महत्वपूर्ण कार्यों में निहित हैं। निक्विस्टतथा हार्टले.

हैरी न्यक्विस्ट (1889-1976) -
स्वीडिश अमेरिकी इंजीनियर
मूल, अग्रदूतों में से एक
सूचना सिद्धांत

सूचना प्रसारित करने के लिए आवश्यक बैंडविड्थ का निर्धारण करने में Nyquist के पहले परिणामों ने सूचना सिद्धांत के विकास में क्लाउड शैनन की बाद की सफलता की नींव रखी।

हार्टले ने 1928 में सूचना के लघुगणकीय माप की शुरुआत की। एच = कलॉग 2 एन, जिसे अक्सर सूचना की हार्टले राशि कहा जाता है।

आवश्यक मात्रा में जानकारी पर हार्टले निम्नलिखित महत्वपूर्ण प्रमेय का मालिक है: यदि किसी दिए गए सेट में एम, को मिलाकर एनतत्व, तत्व निहित है एक्स, जिसके बारे में केवल यह ज्ञात होता है कि वह इसी समुच्चय का है एम, फिर खोजने के लिए एक्स, लॉग 2 . के बराबर इस सेट के बारे में जानकारी प्राप्त करना आवश्यक है एनकाटा।

वैसे, हम ध्यान दें कि नाम काटाअंग्रेजी संक्षिप्त नाम बीआईटी से आया है - बाइनरी डिजिटल. यह शब्द सबसे पहले अमेरिकी गणितज्ञ द्वारा प्रस्तावित किया गया था जॉन तुकी 1946 में। हार्टले और शैनन ने सूचना के लिए माप की एक इकाई के रूप में बिट का उपयोग किया।

सामान्य तौर पर, शैनन एन्ट्रापी संभावनाओं के सेट की एन्ट्रापी है पी 1 , पी 2 ,…, पी नहीं.

राल्फ विंटन लियोन हार्टले (1888-1970)
- अमेरिकी इलेक्ट्रॉनिक्स वैज्ञानिक

कड़ाई से बोलते हुए, अगर एक्स पी 1 , पी 2 ,…, पी नहींइसके सभी संभावित मानों की प्रायिकताएँ हैं, तो फलन एच (एक्स)इस यादृच्छिक चर की एन्ट्रापी सेट करता है, जबकि, यद्यपि एक्सऔर एक एन्ट्रापी तर्क नहीं है, हम लिख सकते हैं एच (एक्स).

इसी प्रकार, यदि यूएक परिमित असतत यादृच्छिक चर है, और क्यू 1 , क्यू 2 ,…, क्यू m इसके सभी संभावित मानों की प्रायिकताएँ हैं, तो इस यादृच्छिक चर के लिए हम लिख सकते हैं एच (यू).

जॉन वाइल्डर तुकी (1915-2000) -
अमेरिकी गणितज्ञ। तुकी निर्वाचित
एक अंक को दर्शाने के लिए बिट
बाइनरी सिस्टम में

शैनन ने समारोह का नाम दिया एच(एक्स)सलाह पर एन्ट्रापी जॉन वॉन न्यूमैन.

न्यूमैन ने तर्क दिया: इस फ़ंक्शन को एन्ट्रॉपी कहा जाना चाहिए "दो कारणों से। सबसे पहले, इस नाम के तहत सांख्यिकीय यांत्रिकी में आपके अनिश्चितता फ़ंक्शन का उपयोग किया गया था, इसलिए इसका पहले से ही एक नाम है। दूसरे स्थान पर, और इससे भी महत्वपूर्ण बात यह है कि कोई नहीं जानता कि वास्तव में एन्ट्रापी क्या है, इसलिए चर्चा में आपका हमेशा ऊपरी हाथ रहेगा। ”.

यह माना जाना चाहिए कि न्यूमैन की सलाह केवल मजाक नहीं थी। सबसे अधिक संभावना है, जॉन वॉन न्यूमैन और क्लाउड शैनन दोनों बोल्ट्जमैन एन्ट्रापी की सूचनात्मक व्याख्या के बारे में जानते थे, जो कि सिस्टम के बारे में जानकारी की अपूर्णता की विशेषता वाली मात्रा है।

शैनन की परिभाषा में एन्ट्रापीसांख्यिकीय रूप से स्वतंत्र संदेश उत्पन्न करने वाले स्रोत के प्रति प्राथमिक संदेश की जानकारी की मात्रा है.

7. कोलमोगोरोव एन्ट्रापी

एंड्री निकोलाइविच
कोलमोगोरोव (1903-1987) -
सोवियत वैज्ञानिक, सबसे बड़े . में से एक
20वीं सदी के गणितज्ञ

एक। Kolmogorovएल्गोरिदम के जटिलता सिद्धांत और सूचना सिद्धांत सहित गणित के कई क्षेत्रों में मौलिक परिणाम प्राप्त हुए।

विशेष रूप से, वह क्लाउड शैनन द्वारा एक तकनीकी अनुशासन के रूप में तैयार किए गए सूचना सिद्धांत को एक कठोर गणितीय विज्ञान में बदलने और शैनन से मौलिक रूप से अलग आधार पर सूचना सिद्धांत के निर्माण में महत्वपूर्ण भूमिका निभाता है।

सूचना सिद्धांत पर और गतिशील प्रणालियों के सिद्धांत के क्षेत्र में अपने कार्यों में, ए.एन. कोलमोगोरोव ने सीमित संभाव्यता वितरण के माध्यम से एर्गोडिक यादृच्छिक प्रक्रियाओं के लिए एन्ट्रापी की अवधारणा को सामान्यीकृत किया। इस सामान्यीकरण के अर्थ को समझने के लिए, यादृच्छिक प्रक्रियाओं के सिद्धांत की मूल परिभाषाओं और अवधारणाओं को जानना आवश्यक है।

कोलमोगोरोव एन्ट्रापी का मान (जिसे भी कहा जाता है) के-एन्ट्रॉपी) सूचना हानि की दर का अनुमान निर्दिष्ट करता है और सिस्टम की "स्मृति" के माप के रूप में व्याख्या की जा सकती है, या प्रारंभिक स्थितियों को "भूलने" की दर के माप के रूप में व्याख्या की जा सकती है। इसे एक प्रणाली की यादृच्छिकता के माप के रूप में भी देखा जा सकता है।

8. रेनी एन्ट्रॉपी

अल्फ्रेड रेनी (1921-1970) -
हंगेरियन गणितज्ञ, निर्माता
बुडापेस्ट में गणितीय संस्थान,
अब उसका नाम

रेनी एन्ट्रॉपीज़ का एक-पैरामीटर स्पेक्ट्रम पेश किया।

एक ओर, रेनी एन्ट्रापी शैनन एन्ट्रापी का सामान्यीकरण है। दूसरी ओर, साथ ही यह दूरी (अंतर) का सामान्यीकरण है कुलबैक-लीब्लर. हम यह भी नोट करते हैं कि यह रेनी ही है जिसके पास आवश्यक मात्रा में जानकारी पर हार्टले के प्रमेय का पूरा प्रमाण है।

कुलबैक-लीब्लर दूरी(सूचना विचलन, सापेक्ष एन्ट्रापी) दो संभाव्यता वितरणों के एक दूसरे से दूरी का एक असममित माप है.

आम तौर पर तुलना किए गए वितरणों में से एक "सत्य" वितरण होता है, और दूसरा वितरण अनुमानित (सत्यापन योग्य) वितरण होता है, जो पहले वाले का अनुमान है।

होने देना एक्स, यूपरिमित असतत यादृच्छिक चर हैं जिसके लिए संभावित मानों की श्रेणियां किसी दिए गए सेट से संबंधित हैं और संभाव्यता कार्य ज्ञात हैं: पी (एक्स = एक मैं) = अनुकरणीयतथा पी (यू = एक मैं) = क्यू मैं.

फिर कुलबैक-लीब्लर दूरी के डीकेएल मान की गणना सूत्रों द्वारा की जाती है

डी केएल (एक्स, यू) =, डी केएल (यू, एक्स) = .

बिल्कुल निरंतर यादृच्छिक चर के मामले में एक्स, यू, उनके वितरण घनत्वों द्वारा दिए गए, कुलबैक-लीब्लर दूरी के मूल्य की गणना के लिए सूत्रों में, योगों को संबंधित इंटीग्रल द्वारा प्रतिस्थापित किया जाता है।

कुलबैक-लीब्लर दूरी हमेशा एक गैर-ऋणात्मक संख्या होती है, और यह शून्य होती है डी केएल(एक्स, यू) = 0 अगर और केवल अगर समानता एक्स = यू.

1960 में, अल्फ्रेड रेनी ने एन्ट्रापी के अपने सामान्यीकरण की पेशकश की।

रेनी एन्ट्रॉपी प्रणाली की यादृच्छिकता की मात्रात्मक विविधता के लिए कार्यात्मकताओं का एक परिवार है। रेनी ने अपनी एन्ट्रापी को -अपघटन (आवरण) के माप के क्रम α के क्षण के रूप में परिभाषित किया।

मान लीजिए α एक वास्तविक संख्या है जो आवश्यकताओं α ≥ 0, α ≠ 1 को संतुष्ट करती है। फिर ऑर्डर α की रेनी एंट्रॉपी द्वारा दिया जाता है एच α = एच α ( एक्स), कहाँ पे अनुकरणीय = पी (एक्स = एक्स मैं) - एक घटना की संभावना जिसमें एक असतत यादृच्छिक चर शामिल है एक्सइसके संगत संभावित मूल्य के बराबर होगा, एन- यादृच्छिक चर के विभिन्न संभावित मूल्यों की कुल संख्या एक्स.

सम वितरण के लिए, जब पी 1 = पी 2 =…= पी नहीं =1/एन, सभी रेनी एन्ट्रॉपी बराबर हैं एच α ( एक्स) = लॉग एन.

अन्यथा, रेनी एंट्रोपी पैरामीटर α वृद्धि के मूल्यों के रूप में थोड़ा कम हो जाती है। रेनी एन्ट्रॉपी पारिस्थितिकी और सांख्यिकी में विविधता के संकेतक के रूप में एक महत्वपूर्ण भूमिका निभाते हैं।

रेनी एन्ट्रापी क्वांटम जानकारी में भी महत्वपूर्ण है और इसे जटिलता के माप के रूप में इस्तेमाल किया जा सकता है।

आइए हम क्रम α के विशिष्ट मूल्यों के लिए रेनी एन्ट्रापी के कुछ विशेष मामलों पर विचार करें:

1. एंट्रॉपी हार्टले : एच 0 = एच 0 (एक्स) = लॉग एन, कहाँ पे एन- अंतिम यादृच्छिक चर के संभावित मूल्यों की सीमा की शक्ति एक्स, अर्थात। संभावित मूल्यों के सेट से संबंधित विभिन्न तत्वों की संख्या;

2. शैनन सूचना एन्ट्रापी : एच 1 = एच 1 (एक्स) = एच 1 (पी) (α → 1 की सीमा के रूप में परिभाषित किया गया है, जिसे खोजना आसान है, उदाहरण के लिए, L'Hopital के नियम का उपयोग करके);

3. सहसंबंधी एन्ट्रापी या एन्ट्रापी टक्कर: एच 2 = एच 2 (एक्स)= - एलएन ( एक्स = यू);

4. न्यूनतम एन्ट्रॉपी : एच ∞ = एच ∞ (एक्स).

ध्यान दें कि आदेश के किसी भी गैर-ऋणात्मक मान (α 0) के लिए, असमानताएं हमेशा पकड़ती हैं एच ∞ (एक्स) ≤ एच α ( एक्स) अलावा, एच 2 (एक्स) ≤ एच 1 (एक्स) तथा एच ∞ (एक्स) ≤ एच 2 (एक्स) 2 एच ∞ (एक्स).

अल्फ्रेड रेनी ने न केवल अपनी पूर्ण एन्ट्रॉपी (1.15) पेश की, उन्होंने कुलबैक-लीबनेर विचलन को सामान्य बनाने वाले विचलन उपायों की एक श्रृंखला को भी परिभाषित किया।

मान लीजिए α एक वास्तविक संख्या है जो α > 0, α ≠ 1 की आवश्यकताओं को पूरा करती है। फिर, मूल्य निर्धारित करने में प्रयुक्त अंकन में डी केएलकुल्बैक-लीब्लर दूरी, क्रम α के रेनी विचलन का मूल्य सूत्रों द्वारा निर्धारित किया जाता है

डी α ( एक्स, यू), डी α ( एक्स, यू).

रेनी विचलन को भी कहा जाता है अल्फा-विचलन या α-विचलन। रेनी ने स्वयं लघुगणक का उपयोग आधार 2 के लिए किया था, लेकिन, हमेशा की तरह, लघुगणक के आधार का मान बिल्कुल महत्वहीन है।

9. सैलिस एन्ट्रापी

कॉन्स्टेंटिनो त्सालिस (जन्म 1943) -
ब्राजील के भौतिक विज्ञानी
ग्रीक मूल

1988 में, उन्होंने एन्ट्रापी के एक नए सामान्यीकरण का प्रस्ताव रखा, जो गैर-रेखीय थर्मोडायनामिक्स के सिद्धांत को विकसित करने में उपयोग के लिए सुविधाजनक है।

उनके द्वारा प्रस्तावित एन्ट्रापी का सामान्यीकरण निकट भविष्य में सैद्धांतिक भौतिकी और खगोल भौतिकी में महत्वपूर्ण भूमिका निभाने में सक्षम हो सकता है।

सैलिस एन्ट्रापीवर्ग, जिसे अक्सर गैर-व्यापक (गैर-योज्य) एन्ट्रॉपी कहा जाता है, को परिभाषित किया जाता है एननिम्न सूत्र के अनुसार माइक्रोस्टेट्स:

एस क्यू = एस क्यू (एक्स) = एस क्यू (पी) = क· , .

यहां क- आयामी स्थिरांक, यदि आयाम समस्या को समझने में महत्वपूर्ण भूमिका निभाता है।

Tsallis और उनके समर्थकों ने "गैर-व्यापक सांख्यिकीय यांत्रिकी और ऊष्मप्रवैगिकी" को इन शास्त्रीय विषयों के सामान्यीकरण के रूप में विकसित करने का प्रस्ताव दिया है, जो कि लंबी स्मृति और / या लंबी दूरी की ताकत वाले सिस्टम के मामले में है।

एन्ट्रापी की अन्य सभी किस्मों से, सहित। और रेनी एन्ट्रॉपी से, सैलिस एन्ट्रॉपी इस मायने में भिन्न है कि यह योगात्मक नहीं है। यह एक मौलिक और महत्वपूर्ण अंतर है.

सैलिस और उनके समर्थकों का मानना ​​​​है कि यह विशेषता एक नए थर्मोडायनामिक्स और एक नए सांख्यिकीय सिद्धांत का निर्माण करना संभव बनाती है, जो कि लंबी मेमोरी और सिस्टम के साथ सिस्टम का सरल और सही ढंग से वर्णन करने के तरीके हैं जिसमें प्रत्येक तत्व न केवल अपने निकटतम पड़ोसियों के साथ बातचीत करता है, बल्कि पूरे सिस्टम के साथ भी या बड़े हिस्से के रूप में।

ऐसी प्रणालियों का एक उदाहरण, और इसलिए नए सिद्धांत का उपयोग करते हुए अनुसंधान की एक संभावित वस्तु, अंतरिक्ष गुरुत्वाकर्षण प्रणाली हैं: स्टार क्लस्टर, नेबुला, आकाशगंगा, आकाशगंगाओं के समूह आदि।

1988 के बाद से, जब कॉन्स्टेंटिनो त्सालिस ने अपनी एन्ट्रापी का प्रस्ताव रखा, गुरुत्वाकर्षण प्रणालियों के थर्मोडायनामिक्स के क्षेत्र सहित, विषम प्रणालियों (लंबाई स्मृति और / या लंबी दूरी की ताकतों के साथ) के थर्मोडायनामिक्स के अनुप्रयोगों की एक महत्वपूर्ण संख्या दिखाई दी।

10. क्वांटम वॉन न्यूमैन एन्ट्रॉपी

जॉन (जानोस) वॉन न्यूमैन (1903-1957) -
अमेरिकी गणितज्ञ और भौतिक विज्ञानी
हंगेरियन मूल के

वॉन न्यूमैन एन्ट्रापी क्वांटम भौतिकी और खगोल भौतिकी अनुसंधान में एक महत्वपूर्ण भूमिका निभाता है।

जॉन वॉन न्यूमैनक्वांटम भौतिकी, क्वांटम तर्क, कार्यात्मक विश्लेषण, सेट सिद्धांत, कंप्यूटर विज्ञान और अर्थशास्त्र जैसी विज्ञान की ऐसी शाखाओं के विकास में महत्वपूर्ण योगदान दिया।

वह परमाणु हथियारों के विकास के लिए मैनहट्टन परियोजना के सदस्य थे, गणितीय गेम थ्योरी के रचनाकारों में से एक और सेलुलर ऑटोमेटा की अवधारणा, और आधुनिक कंप्यूटर वास्तुकला के संस्थापक भी थे।

वॉन न्यूमैन एन्ट्रापी, किसी भी एन्ट्रापी की तरह, सूचना के साथ जुड़ा हुआ है: in ये मामला- क्वांटम प्रणाली के बारे में जानकारी के साथ। और इस संबंध में, यह एक मौलिक पैरामीटर की भूमिका निभाता है जो मात्रात्मक रूप से एक क्वांटम प्रणाली के विकास की स्थिति और दिशा की विशेषता है।

वर्तमान में, क्वांटम सूचना सिद्धांत के ढांचे के भीतर वॉन न्यूमैन एन्ट्रापी का व्यापक रूप से विभिन्न रूपों (सशर्त एन्ट्रापी, सापेक्ष एन्ट्रापी, आदि) में उपयोग किया जाता है।

उलझाव के विभिन्न उपाय सीधे वॉन न्यूमैन एन्ट्रापी से संबंधित हैं। फिर भी, हाल ही में कई काम सामने आए हैं जो शैनन एन्ट्रापी की आलोचना के लिए सूचना के एक उपाय और इसकी संभावित अपर्याप्तता के रूप में समर्पित हैं, और इसके परिणामस्वरूप, शैनन एन्ट्रापी के सामान्यीकरण के रूप में वॉन न्यूमैन एन्ट्रापी की अपर्याप्तता।

एंट्रोपी की अवधारणा पर वैज्ञानिक विचारों के विकास की समीक्षा (दुर्भाग्य से, सरसरी और कभी-कभी अपर्याप्त गणितीय रूप से कठोर) हमें एन्ट्रापी के वास्तविक सार और वैज्ञानिक और व्यावहारिक अनुसंधान में एन्ट्रापी दृष्टिकोण का उपयोग करने की संभावनाओं से संबंधित महत्वपूर्ण सवालों के जवाब देने की अनुमति देती है। . हम ऐसे दो सवालों के जवाबों पर विचार करने तक ही सीमित हैं।

पहला सवाल: क्या एंट्रोपी की कई किस्में, दोनों पर विचार किया गया और ऊपर नहीं माना गया, एक ही नाम के अलावा कुछ भी समान है?

यह सवाल स्वाभाविक रूप से उठता है, अगर हम उस विविधता को ध्यान में रखते हैं जो एन्ट्रापी के बारे में मौजूदा विभिन्न विचारों की विशेषता है।

आज तक, वैज्ञानिक समुदाय ने इस प्रश्न का एक एकल, सार्वभौमिक रूप से मान्यता प्राप्त उत्तर विकसित नहीं किया है: कुछ वैज्ञानिक इस प्रश्न का उत्तर सकारात्मक में देते हैं, अन्य नकारात्मक में, और फिर भी अन्य विभिन्न प्रकार के एन्ट्रॉपी की समानता को संदेह की एक उल्लेखनीय डिग्री के साथ मानते हैं। ...

क्लॉसियस, जाहिरा तौर पर, पहले वैज्ञानिक थे जो एन्ट्रापी की सार्वभौमिक प्रकृति के बारे में आश्वस्त थे और उनका मानना ​​​​था कि यह ब्रह्मांड में होने वाली सभी प्रक्रियाओं में एक महत्वपूर्ण भूमिका निभाता है, विशेष रूप से, समय में उनके विकास की दिशा निर्धारित करता है।

वैसे, यह रुडोल्फ क्लॉसियस है जो थर्मोडायनामिक्स के दूसरे नियम के सूत्रों में से एक का मालिक है: "ऐसी कोई प्रक्रिया नहीं है जिसका एकमात्र परिणाम एक ठंडे शरीर से एक गर्म शरीर में गर्मी का स्थानांतरण होगा".

ऊष्मप्रवैगिकी के दूसरे नियम के इस सूत्रीकरण को कहा जाता है क्लॉसियस का अभिधारणा , और इस अभिधारणा में उल्लिखित अपरिवर्तनीय प्रक्रिया है क्लॉसियस प्रक्रिया .

ऊष्मप्रवैगिकी के दूसरे नियम की खोज के बाद से, अपरिवर्तनीय प्रक्रियाओं ने दुनिया की भौतिक तस्वीर में एक अनूठी भूमिका निभाई है। इस प्रकार, 1849 का प्रसिद्ध लेख विलियम थॉम्पसन, जिसमें ऊष्मप्रवैगिकी के दूसरे नियम के पहले सूत्रों में से एक को "यांत्रिक ऊर्जा को नष्ट करने के लिए प्रकृति में सार्वभौमिक प्रवृत्ति पर" कहा जाता था।

यह भी ध्यान दें कि क्लॉसियस को भी ब्रह्माण्ड संबंधी भाषा का उपयोग करने के लिए मजबूर किया गया था: "ब्रह्मांड की एन्ट्रापी अधिकतम होती है".

इल्या रोमानोविच प्रिगोझिन (1917-2003) -
बेल्जियम-अमेरिकी भौतिक विज्ञानी और
रसायनज्ञ रूसी मूल,
नोबेल पुरस्कार विजेता
रसायन विज्ञान में 1977

इसी तरह के निष्कर्ष पर पहुंचे इल्या प्रिगोगिन. प्रिगोगिन का मानना ​​​​है कि एन्ट्रापी का सिद्धांत ब्रह्मांड में समय की अपरिवर्तनीयता के लिए जिम्मेदार है और शायद, भौतिक घटना के रूप में समय के अर्थ को समझने में महत्वपूर्ण भूमिका निभाता है।

आज तक, एंट्रोपी के कई अध्ययन और सामान्यीकरण किए गए हैं, जिसमें एक कठोर गणितीय सिद्धांत के दृष्टिकोण से भी शामिल है। हालांकि, इस क्षेत्र में गणितज्ञों की ध्यान देने योग्य गतिविधि अभी तक अनुप्रयोगों में मांग में नहीं है, कार्यों के संभावित अपवाद के साथ Kolmogorov, रेनीतथा त्सालिस.

निस्संदेह, एन्ट्रापी हमेशा अराजकता, अव्यवस्था का एक उपाय (डिग्री) है। यह अराजकता और अव्यवस्था की घटना की अभिव्यक्ति की विविधता है जो एन्ट्रापी संशोधनों की विविधता की अनिवार्यता को निर्धारित करती है।

दूसरा सवाल: क्या एन्ट्रापी दृष्टिकोण के दायरे को व्यापक के रूप में पहचानना संभव है, या एंट्रोपी के सभी अनुप्रयोग और थर्मोडायनामिक्स के दूसरे नियम थर्मोडायनामिक्स और भौतिक विज्ञान के संबंधित क्षेत्रों तक ही सीमित हैं?

कहानी वैज्ञानिक अध्ययनएन्ट्रॉपी इस बात की गवाही देता है कि एंट्रोपी एक वैज्ञानिक घटना है जिसे थर्मोडायनामिक्स में खोजा गया है, और फिर सफलतापूर्वक अन्य विज्ञानों में और सबसे ऊपर, सूचना सिद्धांत में स्थानांतरित हो गया।

निस्संदेह, एन्ट्रापी आधुनिक प्राकृतिक विज्ञान के लगभग सभी क्षेत्रों में एक महत्वपूर्ण भूमिका निभाती है: थर्मल भौतिकी में, सांख्यिकीय भौतिकी में, भौतिक और रासायनिक कैनेटीक्स में, बायोफिज़िक्स, खगोल भौतिकी, ब्रह्मांड विज्ञान और सूचना सिद्धांत में।

अनुप्रयुक्त गणित की बात करें तो, एन्ट्रापी अधिकतम सिद्धांत के अनुप्रयोगों का उल्लेख करने में कोई भी विफल नहीं हो सकता है।

जैसा कि पहले ही उल्लेख किया गया है, एन्ट्रापी के महत्वपूर्ण अनुप्रयोग क्वांटम यांत्रिक और सापेक्षवादी वस्तुएं हैं। क्वांटम भौतिकी और खगोल भौतिकी में, एन्ट्रापी के ऐसे अनुप्रयोग बहुत रुचि रखते हैं।

आइए हम ब्लैक होल थर्मोडायनामिक्स के केवल एक मूल परिणाम का उल्लेख करें: एक ब्लैक होल की एन्ट्रापी उसके सतह क्षेत्र के एक चौथाई के बराबर होती है (घटना क्षितिज का क्षेत्रफल).

ब्रह्मांड विज्ञान में, यह माना जाता है कि ब्रह्मांड की एन्ट्रापी कॉस्मिक माइक्रोवेव बैकग्राउंड रेडिएशन क्वांटा प्रति न्यूक्लियॉन की संख्या के बराबर है।

इस प्रकार, एन्ट्रापी दृष्टिकोण का दायरा बहुत व्यापक है और इसमें ज्ञान की एक विस्तृत विविधता शामिल है, जो थर्मोडायनामिक्स से शुरू होती है, भौतिक विज्ञान के अन्य क्षेत्रों, कंप्यूटर विज्ञान और उदाहरण के लिए, इतिहास और अर्थशास्त्र के साथ समाप्त होती है।

ए.वी. सीगल, आर्थिक विज्ञान के डॉक्टर, क्रीमियन विश्वविद्यालय का नाम वी.आई. वर्नाडस्की

1. परिचय।

2. क्लाउड शैनन ने क्या मापा?

3. सूचना प्रणाली की विकासवादी परिवर्तनशीलता की सीमाएं।

4. जैविक प्रजातियों का सीमित अनुकूलन।

5. एन्ट्रापी के सिद्धांत के विकास के चरण।

6. पाठ की संरचनात्मक जानकारी और सूचनात्मक एन्ट्रापी की मात्रा की गणना करने के तरीके।

7. अनुकूलन और विकास प्रक्रियाओं के सूचना-एन्ट्रॉपी अनुपात।

8. सूचना और ऊर्जा।

9. निष्कर्ष।

10. ग्रंथ सूची।

परिचय

20वीं शताब्दी के उत्तरार्ध में, दो घटनाएं हुईं, जो हमारी राय में, बड़े पैमाने पर दुनिया की वैज्ञानिक समझ के आगे के मार्ग निर्धारित करती हैं। हम सूचना सिद्धांत के निर्माण और एंटीएंट्रोपिक प्रक्रियाओं के तंत्र में अनुसंधान की शुरुआत के बारे में बात कर रहे हैं, जिसके अध्ययन के लिए तालमेल थर्मोडायनामिक्स, सूचना सिद्धांत और की सभी नवीनतम उपलब्धियों का उपयोग करता है। सामान्य सिद्धांतसिस्टम

विज्ञान के विकास के इस चरण और पिछले चरणों के बीच मूलभूत अंतर यह है कि अनुसंधान के सूचीबद्ध क्षेत्रों के निर्माण से पहले, विज्ञान केवल प्रक्रियाओं के तंत्र की व्याख्या करने में सक्षम था जिससे अराजकता में वृद्धि और एन्ट्रापी में वृद्धि हुई। लैमार्क और डार्विन के समय से विकसित जैविक और विकासवादी अवधारणाओं के लिए, उनके पास अभी भी सख्त वैज्ञानिक औचित्य नहीं है और ऊष्मप्रवैगिकी के दूसरे नियम का खंडन करते हैं, जिसके अनुसार दुनिया में होने वाली सभी प्रक्रियाओं के साथ एन्ट्रापी में वृद्धि एक अनिवार्य है। शारीरिक कानून।

गैर-संतुलन ऊष्मप्रवैगिकी की योग्यता इस तथ्य में निहित है कि यह एंटी-एन्ट्रॉपी प्रक्रियाओं के तंत्र को प्रकट करने में सक्षम था जो थर्मोडायनामिक्स के दूसरे कानून का खंडन नहीं करता है, क्योंकि एक स्व-आयोजन प्रणाली के अंदर एन्ट्रापी में स्थानीय कमी हमेशा के लिए भुगतान की जाती है बाहरी वातावरण की एन्ट्रापी के निरपेक्ष मूल्य में बड़ी वृद्धि से।

एंटीएंट्रोपिक प्रक्रियाओं की प्रकृति और तंत्र को समझने की दिशा में सबसे महत्वपूर्ण कदम सूचना के मात्रात्मक माप की शुरूआत है। प्रारंभ में, यह उपाय केवल संचार प्रौद्योगिकी की विशुद्ध रूप से लागू समस्याओं को हल करने के लिए था। हालांकि, भौतिकी और जीव विज्ञान के क्षेत्र में बाद के शोध ने के। शैनन द्वारा प्रस्तावित सार्वभौमिक उपायों की पहचान करना संभव बना दिया, जो सूचना की मात्रा और भौतिक एन्ट्रापी के बीच संबंध स्थापित करने की अनुमति देते हैं और अंततः, एक नई वैज्ञानिक व्याख्या का सार निर्धारित करते हैं। "सूचना" की अवधारणा के रूप में उन प्रणालियों के संरचनात्मक क्रम के एक उपाय के रूप में जो प्रकृति में सबसे विविध हैं।

एक रूपक का उपयोग करते हुए, हम कह सकते हैं कि विज्ञान में एक सूचनात्मक मात्रात्मक माप की शुरूआत से पहले, दुनिया ने प्राकृतिक वैज्ञानिक अवधारणाओं में प्रस्तुत किया, जैसे कि "दो व्हेल पर निर्भर": ऊर्जा और पदार्थ। "थर्ड व्हेल" अब सूचना है, जो माइक्रोपार्टिकल्स, परमाणुओं और अणुओं से लेकर सबसे जटिल जैविक और के कामकाज तक दुनिया में होने वाली सभी प्रक्रियाओं में शामिल है। सामाजिक व्यवस्था.

स्वाभाविक रूप से, सवाल उठता है: क्या आधुनिक विज्ञान के नवीनतम आंकड़े जीवन और जैविक प्रजातियों की उत्पत्ति के विकासवादी प्रतिमान की पुष्टि या खंडन करते हैं?

इस प्रश्न का उत्तर देने के लिए, सबसे पहले यह समझना आवश्यक है कि "सूचना" की बहुआयामी अवधारणा के कौन से गुण और पहलू उस मात्रात्मक माप को दर्शाते हैं जिसे के। शैनन ने विज्ञान में पेश किया था।

सूचना की मात्रा के माप का उपयोग करना सूचना-एन्ट्रापी इंटरैक्शन के सामान्य तंत्र का विश्लेषण करना संभव बनाता है जो आसपास की दुनिया में सूचना संचय की सभी सहज प्रक्रियाओं को रेखांकित करता है, जो सिस्टम संरचना के स्व-संगठन की ओर ले जाता है।

साथ ही, सूचना-एन्ट्रॉपी विश्लेषण भी विकासवादी अवधारणाओं में अंतराल की पहचान करना संभव बनाता है, जो जीवन और जैविक प्रजातियों की उत्पत्ति की समस्या को कम करने के लिए स्वयं-संगठन के सरल तंत्र को ध्यान में रखे बिना अस्थिर प्रयासों से ज्यादा कुछ नहीं है। तथ्य यह है कि इस तरह की जटिलता के सिस्टम केवल उस जानकारी के आधार पर बनाए जा सकते हैं, जो मूल रूप से उनके निर्माण से पहले की योजना में निर्धारित की गई थी।

आयोजित आधुनिक विज्ञानसूचना प्रणालियों के गुणों के अध्ययन से यह दावा करने का हर कारण मिलता है कि सभी प्रणालियों का गठन केवल ऊपरी पदानुक्रमित स्तरों से उतरने वाले नियमों के अनुसार ही किया जा सकता है, और ये नियम स्वयं सिस्टम से पहले मूल योजना के रूप में मौजूद थे (विचार का विचार) सृजन)।

क्लाउड शैनन ने क्या किया?

सूचना का सिद्धांत तकनीकी संचार चैनलों के माध्यम से प्रेषित संदेशों में निहित नई (अप्रत्याशित) और अनावश्यक (पूर्वानुमानित) जानकारी की मात्रा की गणना के लिए के। शैनन द्वारा प्रस्तावित विधि पर आधारित है।

सूचना की मात्रा को मापने के लिए शैनन द्वारा प्रस्तावित विधि इतनी सार्वभौमिक निकली कि इसका अनुप्रयोग अब विशुद्ध रूप से संकीर्ण ढांचे तक सीमित नहीं है। तकनीकी अनुप्रयोग.

के. शैनन की राय के विपरीत, जिन्होंने वैज्ञानिकों को संचार प्रौद्योगिकी की लागू समस्याओं की सीमाओं से परे प्रस्तावित विधि के जल्दबाजी में प्रसार के खिलाफ चेतावनी दी थी, इस पद्धति ने भौतिक, जैविक, और सामाजिक व्यवस्था।

सूचना की घटना के सार और सूचना प्रक्रियाओं के तंत्र की एक नई समझ की कुंजी एल ब्रिलॉइन द्वारा स्थापित सूचना और भौतिक एन्ट्रापी के बीच संबंध था। यह संबंध मूल रूप से सूचना सिद्धांत की नींव में रखा गया था, क्योंकि शैनन ने सूचना की मात्रा की गणना करने के लिए सांख्यिकीय थर्मोडायनामिक्स से उधार ली गई एक संभावित एन्ट्रॉपी फ़ंक्शन का उपयोग करने का प्रस्ताव रखा था।

कई वैज्ञानिक (स्वयं के। शैनन से शुरुआत करते हुए) इस तरह के उधार को विशुद्ध रूप से औपचारिक उपकरण मानने के इच्छुक थे। एल ब्रिलौइन ने दिखाया कि शैनन और भौतिक एन्ट्रॉपी के अनुसार गणना की गई जानकारी की मात्रा के बीच, औपचारिक नहीं, बल्कि एक सार्थक संबंध है।

सांख्यिकीय भौतिकी में, एन्ट्रापी के संभाव्य कार्य का उपयोग करते हुए, प्रक्रियाओं का अध्ययन किया जाता है जो थर्मोडायनामिक संतुलन की ओर ले जाते हैं, जिसमें अणुओं की सभी अवस्थाएँ (उनकी ऊर्जा, गति) समसंभाव्य होती हैं, और एन्ट्रापी अधिकतम मूल्य तक जाती है।

सूचना के सिद्धांत के लिए धन्यवाद, यह स्पष्ट हो गया कि उसी फ़ंक्शन की मदद से उन प्रणालियों की जांच करना संभव है जो अधिकतम एन्ट्रापी की स्थिति से दूर हैं, जैसे कि, उदाहरण के लिए, एक लिखित पाठ।

एक और महत्वपूर्ण निष्कर्ष यह है कि

एन्ट्रापी के संभाव्य कार्य का उपयोग करके, पूर्ण अराजकता की स्थिति से सिस्टम के संक्रमण के सभी चरणों का विश्लेषण करना संभव है, जो समान संभावनाओं और एंट्रोपी के अधिकतम मूल्य से मेल खाती है, अंतिम क्रम की स्थिति (कठोर निर्धारण) के लिए, जो इसके तत्वों की एकमात्र संभावित स्थिति से मेल खाती है।

यह निष्कर्ष प्रकृति में ऐसी असमान प्रणालियों जैसे गैसों, क्रिस्टल, लिखित ग्रंथों, जैविक जीवों या समुदायों आदि के लिए समान रूप से सही साबित होता है।

उसी समय, यदि गैस या क्रिस्टल के लिए, एन्ट्रापी की गणना करते समय, केवल माइक्रोस्टेट (अर्थात, परमाणुओं और अणुओं की स्थिति) और इन प्रणालियों के मैक्रोस्टेट (यानी, एक पूरे के रूप में गैस या क्रिस्टल) की तुलना की जाती है, तो एक अलग प्रकृति (जैविक, बौद्धिक, सामाजिक) की प्रणालियों के लिए एन्ट्रापी की गणना एक या दूसरे मनमाने ढंग से चुने गए स्तर पर की जा सकती है। इस मामले में, विचाराधीन प्रणाली की एन्ट्रापी का परिकलित मूल्य और इस प्रणाली के क्रम की डिग्री की विशेषता वाली जानकारी की मात्रा और एन्ट्रापी के अधिकतम और वास्तविक मूल्य के बीच अंतर के बराबर राज्यों के संभाव्यता वितरण पर निर्भर करेगा। अंतर्निहित स्तर के तत्वों की, अर्थात्। वे तत्व जो एक साथ मिलकर इन प्रणालियों का निर्माण करते हैं।

दूसरे शब्दों में,

सिस्टम की संरचना में संग्रहीत जानकारी की मात्रा सिस्टम की संरचना में संरक्षित क्रम के कारण, संतुलन की स्थिति से सिस्टम के विचलन की डिग्री के समानुपाती होती है।

इस पर संदेह किए बिना, शैनन ने दुनिया में मौजूद सभी प्रणालियों की क्रमबद्धता की डिग्री का आकलन करने के लिए सिद्धांत रूप में उपयुक्त (बशर्ते कि सभी संभावनाओं के मूल्यों का पता चला हो) एक सार्वभौमिक उपाय के साथ सशस्त्र विज्ञान।

शैनन द्वारा शुरू किए गए सूचना माप को परिभाषित करने के बाद आंदोलन के क्रम का एक उपाय, सूचना और ऊर्जा के बीच संबंध स्थापित करना संभव है, इस पर विचार करते हुए ऊर्जा यातायात की तीव्रता का एक उपाय है. इसी समय, सिस्टम की संरचना में संग्रहीत जानकारी की मात्रा इन प्रणालियों के आंतरिक कनेक्शन की कुल ऊर्जा के समानुपाती होती है।

एक घटना के रूप में सूचना के सामान्य गुणों की पहचान के साथ-साथ जटिलता के विभिन्न स्तरों से संबंधित सूचना प्रणालियों के मूलभूत अंतर भी प्रकट होते हैं।

इसलिए, उदाहरण के लिए, जैविक वस्तुओं के विपरीत, सभी भौतिक वस्तुओं में नहीं है विशेष निकायमेमोरी, बाहरी दुनिया से आने वाले संकेतों को रिकोडिंग, सूचना संचार चैनल। उनमें संग्रहीत जानकारी, जैसा कि यह थी, उनकी पूरी संरचना में "स्मीयर" है। उसी समय, यदि क्रिस्टल अपने क्रम को निर्धारित करने वाले आंतरिक कनेक्शन में जानकारी संग्रहीत करने में सक्षम नहीं थे, तो कृत्रिम मेमोरी और सूचना प्रसंस्करण प्रणाली बनाना संभव नहीं होगा। तकनीकी उपकरणक्रिस्टलीय संरचनाओं के आधार पर।

उसी समय, यह ध्यान में रखा जाना चाहिए कि ऐसे उपकरणों का निर्माण केवल उस व्यक्ति के दिमाग के लिए संभव हो गया जो जटिल सूचना प्रणाली बनाने के लिए क्रिस्टल के प्राथमिक सूचना गुणों का उपयोग करने में सक्षम था।

सबसे सरल जैविक प्रणाली अपनी जटिलता में मनुष्य द्वारा बनाई गई सबसे उत्तम सूचना प्रणाली से आगे निकल जाती है। पहले से ही सबसे सरल एककोशिकीय जीवों के स्तर पर, उनके प्रजनन के लिए आवश्यक सबसे जटिल सूचनात्मक आनुवंशिक तंत्र सक्रिय है। बहुकोशिकीय जीवों में, के अतिरिक्त सूचना प्रणालीआनुवंशिकता, सूचनाओं को संग्रहीत करने और इसे संसाधित करने के लिए विशेष अंग हैं (उदाहरण के लिए, सिस्टम जो मस्तिष्क में भेजने से पहले बाहरी दुनिया से आने वाले दृश्य और श्रवण संकेतों को फिर से लिखते हैं, मस्तिष्क में इन संकेतों को संसाधित करने के लिए सिस्टम)। सूचना संचार का सबसे जटिल नेटवर्क (तंत्रिका तंत्र) पूरे बहुकोशिकीय जीव को एक पूरे में बदल देता है।