信息论基础...二元信源 信息熵 计算公式.
来源:学生作业帮 编辑:大师作文网作业帮 分类:综合作业 时间:2024/11/19 03:01:30
信息论基础...二元信源 信息熵 计算公式.
不是联合熵。最好有图片形式的公式。写log时不必写底。
不是联合熵。最好有图片形式的公式。写log时不必写底。
已经调试过了
信息熵计算源代码
函数源程序 CalEntropy.m
Information Shannon Entropy calculation
jma@hebut.edu.cn, 22/08/2007
array : Discrete Probabilities Set
H : Output Shannon Entropy
function H = CalEntropy(array)
Vector number
num = length(array);
Check probabilities sum to 1:
if abs(sum(array) - 1) > .00001,
error('Probablities don''t sum to 1.')
end
Remove any zero probabilities %%
zeroProbs = find(array < eps);
if ~isempty(zeroProbs),
array(zeroProbs) = [];
disp('Removed zero or negative probabilities.')
End
Compute the entropy
H = -sum(array .* log2(array)); % 单位 bit/symbol
信息熵计算源代码
函数源程序 CalEntropy.m
Information Shannon Entropy calculation
jma@hebut.edu.cn, 22/08/2007
array : Discrete Probabilities Set
H : Output Shannon Entropy
function H = CalEntropy(array)
Vector number
num = length(array);
Check probabilities sum to 1:
if abs(sum(array) - 1) > .00001,
error('Probablities don''t sum to 1.')
end
Remove any zero probabilities %%
zeroProbs = find(array < eps);
if ~isempty(zeroProbs),
array(zeroProbs) = [];
disp('Removed zero or negative probabilities.')
End
Compute the entropy
H = -sum(array .* log2(array)); % 单位 bit/symbol