Théorie relativiste de l’information III. Sur la signification et l’utilisation effective de l’entropie de Renyi dans les problèmes de codage

Analyse

L’entropie dite de Renyia été obtenue formellement, à partir d’une suite de propriétés mathématiques a prioriqu’il semble souhaitable que toute mesure d’information possède, mais il ne semble pas pour autant que le problème de sa signification physique concrète soit complètement élucidée.

La théorie relativiste de l’informationpar l’auteur permet d’obtenir cette entropie par des arguments physiques simples, et de l’interpréter comme une entropie observée, c’estàdire comme le résultat de la mesure d’une entropie de Shannon par un observateur imparfait muni d’un coefficient de perception ou d’atténuation différent de l’unité.

Dans ce nouveau contexte, différentes méthodes sont proposées pour l’estimation du paramètre de définition de l’entropie de Renyi, et ses perspectives d’utilisation dans les problèmes de codage sont examinées. Il apparaît, en particulier, une forte relation avec la question des codes redondants, ce qui ne met nullement en évidence les résultats de Campbell. Par contre, l’absence d’une définition pour l’entropie de Renyi conditionnelle restreint considérablement la portée de ce concept.

Abstract

The socalled Renyi entropyhas been derived formally by using a set of mathematical properties that seem suitable for an information measure concept, and there remains to recognize its physical meaning from a practical viewpoint.

The author’s recent relativistic information theoryallows us to derive this entropy by using simple physical arguments only and to consider it as an observed entropy, that is the result of measuring a Shannon entropy by an imperfect observer which has an observation coefficient different from the unity.

In this new framework, various methods are proposed to estimate the parameter which appears in the expression of the Renyi entropy and its application in coding problems are examined. It appears that this use is strongly related to the question of redundant codes, what is not emphasized by the results of Campbell. By contrast, the absence of a practical definition for conditional Renyi entropy is a basic failure for applications.