SAS批量清洗所有data所有字符变量

追逐夢想的孩子

当一些data中数据出现录入不规范的问题，我们需要对每个数据集每个字符型变量进行数据处理清洗。如果是excel大家或许会想直接用替换工具，但是如果是sas数据集，我们可以写个宏循环相关程序来自动清洗数据。
首先我们需要得到某逻辑库下所有数据集列表：


这样我们就可以得到文件下所有数据集的名字。
然后我们需要写一个宏循环遍历数据集名字的列表，宏循环内部还得有个遍历变量列表的循环，这样我们就可以遍历每个数据集每个变量。具体程序如下：


源代码：

1. %let path = D:\data\;
   
2. libname raw "&path";
   
3. 
   
4. filename folder pipe "dir &rootpath. /b";
   
5. data file_list;
   
6. length filename $200;
   
7. infile folder truncover;
   
8. input filename;
   
9. run;
   
10. 
    
11. data file_list;
    
12. set file_list;
    
13. if find(filename, '.sas7bdat');
    
14. run;
    
15. 
    
16. proc sql noprint;
    
17. select count(distinct filename)
    
18. into :n
    
19. from file_list;
    
20. select filename into :filelist separated by ' '
    
21. from file_list;
    
22. quit;
    
23. %put &filelist;
    
24. %put &n;
    
25. 
    
26. %macro clean;
    
27. %do i = 1 %to &n;
    
28. /* get the data list*/
    
29. %let file&i = %scan(&filelist, &i, %str( ) );
    
30. %let len=%length(&&file&i);
    
31. %let ext=%sysfunc(length(.sas7bdat));
    
32. %let ds&i = %substr(%scan(&filelist, &i, %str( )),1, %eval(&len - &ext));
    
33. /* get the varlist per &&ds&i */
    
34. proc contents data=raw.&&ds&i out=varlist varnum noprint;
    
35. run;
    
36. proc sql noprint;
    
37. select name into :varlist separated by ' '
    
38. from varlist
    
39. where type=2;
    
40. select count(name) into :m
    
41. from varlist
    
42. where type=2;
    
43. quit;
    
44. 
    
45. /* Clean the data using regular expression */
    
46. data &&ds&i;
    
47. set raw.&&ds&i;
    
48. %do j = 1 %to &m;
    
49. %let var&j = %scan(&varlist, &j, %str( ) );
    
50. &&var&j=prxchange("s/’/'/", -1, &&var&j);
    
51. %end; /*正则表达式：字符替换中文逗号替换为英文逗号*/
    
52. run;
    
53. 
    
54. %end;
    
55. 
    
56. %mend;
    
57. %clean;

复制代码

整个程序只需要传一个参数，即是所有sas数据集所在的目录，虽然这段程序只是做了一个简单的事情，即是批量字符替换，但是这种同时遍历数据集列表和变量列表的方法是值得学习的，这样的传参较少的循环算法能够提高工作效率，我们可以用这种思维便捷地去做更多复杂的事情。