matlab练习程序（神经网络识别mnist手写数据集）

想成功必须强大

mnist数据集训练数据一共有28*28*60000个像素，标签有60000个。
测试数据一共有28*28*10000个，标签10000个。
这里神经网络输入层是784个像素，用了100个隐含层，最终10个输出结果。
arc代表的是神经网络结构，可以增加隐含层，不过我试了没太大效果，毕竟梯度消失。
因为是最普通的神经网络，最终识别错误率大概在5%左右。

迭代曲线：


代码如下：

1. clear all;
   
2. 
   
3. close all;
   
4. clc;load mnist_uint8;
   
5. 
   
6. train_x = double(train_x) / 255;
   
7. test_x  = double(test_x)  / 255;
   
8. train_y = double(train_y);
   
9. test_y  = double(test_y);
   
10. 
    
11. mu=mean(train_x);   
    
12. sigma=max(std(train_x),eps);
    
13. train_x=bsxfun(@minus,train_x,mu);          %每个样本分别减去平均值
    
14. train_x=bsxfun(@rdivide,train_x,sigma);     %分别除以标准差
    
15. 
    
16. test_x=bsxfun(@minus,test_x,mu);
    
17. test_x=bsxfun(@rdivide,test_x,sigma);
    
18. 
    
19. arc = [784 100 10]; %输入784，隐含层100,输出10
    
20. n=numel(arc);
    
21. 
    
22. W = cell(1,n-1);    %权重矩阵
    
23. 
    
24. for i=2:n
    
25.     W{i-1} = (rand(arc(i),arc(i-1)+1)-0.5) * 8 *sqrt(6 / (arc(i)+arc(i-1)));
    
26. 
    
27. end
    
28. 
    
29. learningRate = 2;   %训练速度
    
30. numepochs = 5;      %训练5遍
    
31. batchsize = 100;    %一次训练100个数据
    
32. 
    
33. m = size(train_x, 1);       %数据总量
    
34. numbatches = m / batchsize;    %一共有numbatches这么多组
    
35. 
    
36. %% 训练
    
37. L = zeros(numepochs*numbatches,1);
    
38. ll=1;
    
39. 
    
40. for i = 1 :
    
41. numepochs
    
42.     kk = randperm(m);   
    
43. 
    
44. for l = 1 :
    
45. numbatches
    
46.         batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);
    
47.         batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);      
    
48. 
    
49. %% 正向传播
    
50.         mm = size(batch_x,1);
    
51.         x = [ones(mm,1) batch_x];
    
52.         a{1} = x;        
    
53. 
    
54. for ii = 2 : n-1
    
55.             a{ii} = 1.7159*tanh(2/3.*(a{ii - 1} * W{ii - 1}'));   
    
56.             a{ii} = [ones(mm,1) a{ii}];        
    
57. 
    
58. end
    
59.         
    
60.         a{n} = 1./(1+exp(-(a{n - 1} * W{n - 1}')));
    
61.         e = batch_y - a{n};
    
62.         L(ll) = 1/2 * sum(sum(e.^2)) / mm;
    
63.         ll=ll+1;      
    
64. 
    
65. %% 反向传播
    
66.         d{n} = -e.*(a{n}.*(1 - a{n}));        
    
67. 
    
68. for ii = (n - 1) : -1 : 2
    
69.             d_act = 1.7159 * 2/3 * (1 - 1/(1.7159)^2 * a{ii}.^2);            
    
70.             if ii+1==n   
    
71.                 d{ii} = (d{ii + 1} * W{ii}) .* d_act;
    
72.             else
    
73.                 d{ii} = (d{ii + 1}(:,2:end) * W{ii}).* d_act;            end         
    
74.         end
    
75.          
    
76.         for ii = 1 : n-1
    
77.             if ii + 1 == n
    
78.                 dW{ii} = (d{ii + 1}' * a{ii}) / size(d{ii + 1}, 1);
    
79.             else
    
80.                 dW{ii} = (d{ii + 1}(:,2:end)' * a{ii}) / size(d{ii + 1}, 1);      
    
81.             end
    
82.         end
    
83.          
    
84.        %% 更新参数        
    
85. 
    
86. for ii = 1 : n - 1      
    
87.             W{ii} = W{ii} - learningRate*dW{ii};        
    
88. 
    
89. end
    
90.               
    
91.     end
    
92. 
    
93. end
    
94. 
    
95. %% 测试，相当于把正向传播再走一遍
    
96. mm = size(test_x,1);
    
97. x = [ones(mm,1) test_x];
    
98. a{1} = x;
    
99. 
    
100. for ii = 2 : n-1   
     
101.     a{ii} = 1.7159 * tanh( 2/3 .* (a{ii - 1} * W{ii - 1}'));  
     
102.     a{ii} = [ones(mm,1) a{ii}];
     
103. 
     
104. end
     
105. 
     
106. a{n} = 1./(1+exp(-(a{n - 1} * W{n - 1}')));
     
107. 
     
108. [~, i] = max(a{end},[],2);
     
109. labels = i;                         %识别后打的标签
     
110. [~, expected] = max(test_y,[],2);
     
111. bad = find(labels ~= expected);     %有哪些识别错了
     
112. er = numel(bad) / size(x, 1)；       %错误率
     
113. 
     
114. plot(L);

复制代码

测试数据：
测试数据.rar (14.02 MB, 下载次数: 0, 售价: 1 金钱)

2019-7-12 16:38 上传

点击文件名下载附件