This is an HTML version of an attachment to the Freedom of Information request 'Changes to calculating critical error rates'.

ESORT Meeting – 12/11/2015 
Changes to DVA’s Programme Performance Indicators (PPIs) for Outcome 1 
 
Background 
1.  Implementation of the Public Governance, Performance and Accountability Act 2013 
(PGPA), requires DVA to review its performance indicators, and this commenced late 
in 2014.  
 
2.  In September 2015, DVA’s Executive Management Board (EMB) endorsed new 
indicators for Outcome 1, which is described as  ‘Maintain and enhance the financial 
wellbeing and self-sufficiency of eligible persons and their dependants through access 
to income support, compensation, and other support services, including advice and 
information about entitlements’

 
3.  DVA is seeking to inform stakeholders about the forthcoming changes. 
 
Rationale for changes 
4.  Client service: 
a.  DVA continues to strive to improve its service standards and outcomes for 
clients; and 
b.  The assessment of quality was considered to be too negative and not fully 
focussed on outcomes for the client. 
 
5.  Legislative: 
a.  Sections 38 and 39 of the PGPA require an accountable authority (Secretary 
or CEO), to measure and assess the performance of the entity in achieving its 
purpose, and prepare an Annual Performance Statement for inclusion in the 
entity’s annual report;   
b.  The Act’s subordinate legislation, the Rule 2014 requires the Annual 
Performance Statement to set out the results and analysis of the entity’s 
performance for the year; and 
c.  The PGPA and the Rule are supported by directions and guidance material. 
 
6.  Best practice: 
a.  Department of Finance guidance has adopted the Australian National Audit 
Office’s (ANAO’s) better practice criteria for the development of performance 
measures – Relevant (focussed and understandable), Reliable (measureable 
and free from bias), and Complete (balanced and collective). 
 

 

7.  Shortcomings of current performance measures: 
a.  An assessment of Outcome 1’s performance indicators showed that they 
were inconsistent, irrelevant in some cases, inaccurate or incomplete.  
b.  Measurement of performance based on the mean number of days to process 
a claim is easily misunderstood, unduly influenced by very new or very old 
cases, and by a mix of cases of uneven weight.   
c.  Analysis of contemporary measurements being adopted by similar entities, 
including the Department of Human Services (DHS), suggested that a move to 
percentile bands over time would address these shortcomings.   
d.  A review of actual results indicated that the existing indicators were out of 
date and did not accurately reflect actual outcomes. 
 
Forthcoming changes 
8.  DVA is moving from the current timeliness description of “mean number of days” to 
the new percentile band approach. 
   
9.  Table 1 at Attachment A shows the results for various sub-programmes in  
Outcome 1 over the last three financial years, in terms of 50th percentiles  
(i.e. 50 per cent). 
 
10. It is recommended the “median” (or 50th percentile) is introduced as the initial 
target.   
 
11. The median is the 50th percentile, however, it is best described as ‘50 per cent of 
cases can be expected to be processed in X days or less’
 
12. The inaccuracy of Outcome 1.2 is being addressed by: 
a.  removing war widow/ers data as it is covered separately under Outcome 1.3; 
and 
b.  not counting merged Application for Increase (AFIs) in time taken to process 
(TTTP) results.  
 
13. A single and consistent timeliness target needs to be established for all liability 
claims, not different targets for VEA, MRCA, and SRCA.  It will be far easier to 
remember, and promotes fairness and consistent expectations for delegates, 
management, and clients, regardless of the Act the claim is lodged under. 
 
14. In particular, we will be attempting to describe (and promote understanding of) the 
“median”, as this will be the starting point for DVA in moving to a percentile band 
approach. 
 
15. Table 2 at Attachment B shows the current and new median (50th percentile) 
timeliness performance targets for sub-programmes 1.1, 1.2, 1.3, 1.6 in Outcome 1. 
 

 

16. DVA is planning to report against both the current and new indicators in the DVA 
Corporate Plan 2016-17 and the Annual Report 2016-17. 
 
Key messages 
17. DVA continues to strive to improve its service standards and outcomes for clients. 
 
18. A whole of Government approach to public governance, performance, and 
accountability requires DVA to review its Programme Performance Indicators (PPIs) 
to ensure they are relevant, reliable, and complete. 
 
19. Current performance measures for timeliness in Outcome 1 (relevant for Income 
Support and Rehabilitation and Compensation) are considered inconsistent, 
irrelevant, or incomplete, and do not accurately reflect outcomes for clients. 
 
20. The adoption of contemporary measurements by other similar agencies (e.g. DHS) 
suggests a move from the current ‘mean’ or average time taken to process to 
percentile bands would address these shortcomings. 
 
21. A single and consistent timeliness target will be established for all liability claims, 
regardless of the Act it is lodged under. 
 
22. Quality assurance targets will be set at a ‘correctness rate’ rather than an error rate 
and will be more focused on outcomes for the client.  
 
23. These forthcoming changes will result in: 
a.  more realistic targets being set for delegates; 
b.  clients and representatives having clearer expectations of the claims process; 
c.  DVA’s performance being measured more accurately; and 
d.  stakeholders being able to understand DVA performance reporting more 
easily. 
 
Recommendations 
1.  It is recommended that ESORT Members: 
a.  Note the forthcoming changes to DVA’s timeliness measures in respect to 
Programmes 1.1, 1.2, 1.3 and 1.6; 
b.  Agree to inform the ESO community about the forthcoming changes; and 
c.  Note that both the current and new indicators will be reported against in the 
DVA Corporate Plan 2016-17 and the Annual Report 2016-17.