This is an HTML version of an attachment to the Freedom of Information request 'Client Satisfaction Survey Sampling Methodology'.


FOI 
 
 
Revised decision made under section 55G of the Freedom of Information 
Act 1982 

Revised decision and reasons for decision of Molly (Position Number 62213164), Legal 
Officer, Information Law Section, Legal Services & Audit Branch, Department of 
Veterans’ Affairs 

 
Applicant: 

 
 
 
Verity Pane 
 
Date of primary decision: 

 
13 September 2018   
 
Date of internal review decision:  

15 October 2018 
 
Date of first revised decision: 

9 September 2019 
 
FOI reference number: 

 
FOI 23543; IR 24470; IC review 26189 
 
Revised decision date: 

 
19 February 2020 
 
Revised decision reference number: 
ICR 26189 (MR18/00789) 
 
Sent by email: 
 
 
xxxxxxxxxxxxxxxxxxxxxxxxx@xxxxxxxxxxx.xxx.xx 
 
 
 
Dear Verity Pane,  
Freedom of Information Request: FOI 26189 
1. 
The purpose of this correspondence is to advise you of a revised decision the Department of 
Veterans’ Affairs (Department) has made under section 55G of the Freedom of Information 
Act 1982 (FOI Act) in relation to FOI 24470. 
 
2. 
I have decided to:  
 
  release one (1) additional document identified as falling within the scope of your 
request;  
 
  release additional material in documents 2 and 3 that was previously considered 
irrelevant to the scope of your request; and 


 
  delete material which is ‘outside of the scope of your request’ under section 
22(1)(a)(ii). 
 
Revised Decision 
 

3. 
I have made a decision to vary the original decision made by Jo, Position Number 62213164
Legal Services and Assurance Branch, on 9 September 2019. 
 
4. 
This revised decision dated 9 September 2019 decided to: 
 
  release in part of one (1) additional document identified as falling within the scope of 
your request; and  
 
  release additional material in Document 2 that was previously considered irrelevant to 
the scope of your request.  
 
5. 
The  Department  has  undertaken  a  reasonable  search  of  its  records  and  has  identified  one 
additional document relevant to your request (Document 4). I have made a decision to release 
this document to you in full, with irrelevant material deleted under section 22(1)(a)(ii).  
 
6. 
The  Department has  also  reconsidered  material  in  documents  2  and  3 that  was  previously 
withheld on the basis that it was irrelevant to the scope of your request. The Department has 
decided that some additional material in documents 2 and 3 does fall within scope of your 
request  and  I  have  decided  to  release  this  additional  material  to  you.  The  Department’s 
decision regarding irrelevant material in the remainder of the document remains unchanged. 
 
7. 
A description of documents released to you is provided at Schedule 1. Pursuant to section 
22(2) of the FOI Act, I have provided access to an edited copy of the documents. 
 
Authority to make decision
 
 
8. 
I, Molly (Position Number 62213164), Legal Officer, Information Law Section, am authorised 
by the Secretary of the Department to make decisions about access to documents in the 
possession of the Department, in accordance with section 23(1) of the FOI Act. 
 
Summary 
 
9. 
On 16 July 2018, you made a request for access to document in the possession of the 
Department. Your request sought access to: 
 


…I seek under FOI copy of the client satisfaction survey 
(https://www.dva.gov.au/consultation-and-grants/client-satisfaction-survey ) 
sample selection methodology (a survey it is claimed is carried out biannually).  
 
According to DVA’s website the sample is allegedly chosen ‘randomly’, but previous 
media reporting (https://www.news.com.au/national/calls-for-royal-commission-
into-department-of-veterans-affairs-after-client-survey-overlooks-the-young/news-
story/aea46ea1cdfabad6c437899a4c3e001d ) and previous ANAO commentary 
affirms is overly weighed towards veterans over 85 years old and war widows, who 
will have little or no contact with DVA’s liability and compensation areas, and will 
generally have little regular contact with the Department (their exposure mostly 
through using their DVA Gold Cards at external medical services).  
 
As the survey, as a human research activity, would have had to have been properly 
formulated and cleared for use, a formal sample selection methodology as to how 
selection for the survey is determined must exist.  
 
Also, I would seek any documentation recording or explaining as to why the survey 
is only carried out via the telephone via CATI (Computer-Assisted Telephone 
Interviewing) compared to online collection, using Survey Monkey or the other like 
platform (especially given the cost benefits). 
 
As only a very small number of documents could possibly fall within this specific 
scope, assessment time would be minimal. The names of private individuals (which 
is not public servants performing their duties) and external commercial 
organisations may be redacted from the copy to be provided, should you wish to 
voluntarily devote time to that.  
 
I seek this information to engage, with the necessary background information, in 
the public debate as to the reliability and suitability of the sample selection 
methodology DVA uses, given how it purports what those statistics represent 
(sample frame error seems to be significant problem based on current data, given 
sample is overly weighted to those with only peripheral engagement with DVA, and 
no engagement with DVA’s liability and compensation functions for many years)… 
 
10.  On 13 September 2018, you were provided with a decision relating to your request which 
granted access to two (2) documents in part, with irrelevant matter deleted under section 22 
of the FOI Act. 
 
11.  On 13 September 2018, you requested an internal review of the above decision.  


 
12.  On 15 October 2018, the Department affirmed the original decision. 
 
13.  On 20 December 2018, the Office of the Australian Information Commissioner (OAIC) sent 
the Department a notice under section 54Z of the FOI Act advising that the OAIC had 
commenced a review of the Department’s decision. It is understood that in seeking the 
review you requested the OAIC investigate the searches undertaken by the Department. You 
also stated: 
 
…The statement of reasons, in setting out the Internal Reviewer’s reasons is 
perfunctory and opaque. Statements such as ‘I am satisfied the Department has 
undertaken additional searches and have been unable to identify any further 
documents’ but does not state what additional searches have been carried out in 
any way, nor provides any detail to support this claim in any way (the lack of any 
reasoning and detail, when required, infers inadequete or no search took place). The 
cut and paste from considerations listed in the Guidelines is not evidence that 
additional searches were conducted and or that all relevant documents were 
captured. 
 
 
Similarly, the internal reviewer uses the same self referential perfunctory and 
opaque conclusion as to the appropriateness of the redactions made by the original 
decision maker, simply cite the decision of the original reviewer, without any actual 
evidence of consideration. Simply pointing to the evaluation made by the original 
decision maker and saying I agree is not the role of an Internal Reviewer, who must 
consider the decision de novo. The role of the internal review officer is to bring a 
fresh, independent and impartial mind to the review, not to simply repeat the 
original decision… 
 
14.  On 6 August 2019, the OAIC issued the Department with a preliminary view on this matter. 
 
15.  On 9 September 2019, the Department issued a revised decision releasing additional 
material in document 2 and document 3 in part. 
 
16.  On 14 November 2019, the OAIC issued the Department with a further preliminary view on 
this matter.  
 
17.  Following further consideration, the Department has decided to release additional material 
in response to this request. For this reason, the Department has prepared this revised 
decision under section 55G of the FOI Act. 
 


18.  The Department will provide the OAIC with a copy of this revised decision.  
 
Material taken into account 
 
19.  In accordance with section 26(1)(a) of the FOI Act, my findings on any material question of 
fact, the material on which those findings were based and the reasons for my decision to 
grant partial access to the documents follows.   
 
20.  I have taken the following material into account in making my decision: 
 
  the terms of your request; 
 
  the terms of your request for an internal review; 
 
  the terms of your request for external review through the OAIC; 
 
  the types of documents that are in the possession of the Department; 
 
  the content of the documents that fall within the scope of your request; 
 
  Sections 3, 11 and 11A of the FOI Act which give the Australian community a legally 
enforceable right to obtain access to information held by the Government of the 
Commonwealth. I also considered the following provisions of the FOI Act relevant to 
my decision:  
 
-  Section 15  Request for Access 
-  Section 22   Access to edited copies with exempt or irrelevant material deleted; 
and 
 
  the Guidelines issued by the Australian Information Commissioner under section 93A 
of the FOI Act (FOI Guidelines). 
 
21.  A full extract of all FOI Act provisions used to make my decision are provided in Schedule 1.  
 
Reasons for decision  
 
22.  I have decided to grant access to four (4) documents within the scope of your request, with 
irrelevant matter deleted. 
 
 
 


23.  I have decided to:  
 
  release one (1) additional document identified as falling within the scope of your 
request;  
 
  release additional material in documents 2 and 3 that was previously considered 
irrelevant to the scope of your request; and 
 
  delete material which is ‘outside of the scope of your request’ under section 
22(1)(a)(ii). 
 
Searches 
24.  I consulted with the Veterans’ Services Design Division (Division) in relation to this request.  
 
25.  Paragraph 3.85 of the FOI Guidelines, provides that agencies must take ‘all reasonable steps’ 
to find the requested documents.  
 
26.  Further, paragraph 3.88 of the FOI Guidelines provides:  
 
The Act is silent on what constitutes ‘all reasonable steps’. The meaning of ‘reasonable’ 
in the context of s 24A(1)(a) has been construed as not going beyond the limit assigned 
by reason, not extravagant or excessive, moderate and of such an amount, size or 
number as is judged to be appropriate or suitable to the circumstances or purpose. 
 
27.  I am satisfied that the Division has undertaken comprehensive search and retrieval for 
documents falling within scope of your request.  
 
28.  The Client Satisfaction Survey (the Survey) is a project run by a small team within the 
Strategic Policy Directorate. Accordingly, I consider the Division to be the appropriate 
business area to undertake searches for this request. Further, I have no reason to believe 
that documents falling within the scope of the request would be stored in any other 
location. 
 
29.  The Division searched through documents relating to 2018 Client Satisfaction Survey project 
to identify any documents containing information on the sample methodology used in the 
2018 Client Satisfaction Survey (2018 Survey). 
 
30.  The Department has engaged Orima Research Pty Ltd (ORIMA) to undertake the Survey 
since its commencement in 2014. With minor exceptions, the Survey’s sampling 
methodology has remained unchanged. This has occurred so that the Department can 


maintain the ongoing validity of results. For this reason, there are a very limited number of 
documents that relate to the sample methodology for the 2018 Survey.  
 
31.  The Division confirmed that all documents relating to the 2018 Survey are stored in 
identifiable folder locations in the Department’s electronic file management system HPE 
Content Manager and on the shared business drive. Both of these locations were searched in 
identifying documents falling within the scope of this request. The Division undertook 
searches of these electronic locations for the requested documents.  
 
32.  Having reviewed the searches undertaken by the Division and the documents retrieved as a 
result of these searches, I am satisfied that the Department has taken ‘all reasonable steps’ 
to locate and retrieve documents falling within the scope of your request.  
 
Publically Available Material  
 
33.  Documents that match the description of your request may be publically available.  
 
34.  The Department publishes a range of resources relating to the Survey, including previous 
survey results, at the following web address: www.dva.gov.au/survey.  
 
Delete irrelevant material from documents and provide access to edited copies 
(section 22) 
 
35.  As explained above, some of the material contained in Documents 1 to 4 falls outside of the 
scope of your request. I consider this material, specifically information that does not relate 
to the sample selection methodology to be irrelevant to your request.   
 
36.  On this basis, I have prepared the documents for release by removing that irrelevant 
material in accordance with section 22 of the FOI Act. The material that has been edited for 
release is marked within the documents as well as at Schedule 1
 
Access to documents 
 
37.  The documents released to you in accordance with the FOI Act are enclosed. 
 
Information Publication Scheme 
 
38.  The Information Publication Scheme requires the Department to publish information 
released in response to individual requests made under the FOI Act, except in specified 
circumstances. I am of the view that details of your request should be made available on the 
Department’s disclosure log.  


 
39.  As such details of your request will be published by the Department on its disclosure log, 
which can be accessed at http://www.dva.gov.au/about-dva/freedom-information/foi-
disclosure-log . Please note that the Department does not publish details of FOI applicants, it 
is only details of the FOI request and the documents released in response to the request. 
 
Application for Information Commissioner Review – request to withdraw application 
 
40.  I consider the Department to have satisfactory resolved the issues you have identified and all 
information in relation to the Survey methodology has now been released to you. As such, I 
kindly ask you to consider withdrawing your application for review with the OAIC. 
 
Your rights of review 
 
41.  If you are dissatisfied with my decision, you may advise the OAIC that you do not wish to 
withdraw your application for IC Review. You can contact the OAIC in one of the following 
ways: 
 
Online: 
www.oaic.gov.au   
Post:    
Office of the Australian Information Commissioner 
GPO Box 5218, Sydney NSW 2001 
Facsimile:  
(02) 9284 9666 
Email:   
xxxxxxxxx@xxxx.xxx.xx  
In person:   
Level 3, 175 Pitt Street, Sydney NSW 2000 
 
42.  More information about your review rights under the FOI Act is available in Fact Sheet 12 
published by the Office of the Australian Information Commissioner: 
http://oaic.gov.au/freedom-of-information/foi-resources/freedom-of-information-fact-
sheets/foi-factsheet-12-your-review-rights 
 
Contact us 
 
43.  If you wish to discuss this decision, please do not hesitate to contact the Information Law 
Section using the following details: 
 
Post:    
Legal Services and Audit Branch, Department of Veterans’ Affairs 
GPO Box 9998, Canberra ACT 2601 
Facsimile:  
(02) 6289 6337 
Email:   
xxxxxxxxxxx.xxx@xxx.xxx.xx  
 
 
 


Yours sincerely, 
 
 
Molly (Position Number 62213164) 
Legal Officer 
Information Law Section | Legal Services and Audit Branch 
19 February 2020



 
 
 
FOI Schedule 1 
 
 
 
 
Schedule of documents  
 
Applicant: 
 
 
Ms Verity Pane 
 
Decision date: 

 
19 February 2020 
 
FOI reference number: 
FOI 26189 
 
Doc  Date of 
Document description 
Pages 
Decision 
Exemption  
Provision 
No. 
document 

13.06.2018  Third Party Document – Word Order – 
1-11 
Released in full (out of scope material  N/A 
ss 22(1)(b)(ii) 
ORIMA Research Pty Ltd 
deleted under section 22) 

03.05.2018  ORIMA Research Ltd Proposal 
12-53 
Released in full (out of scope material  N/A 
ss 22(1)(b)(ii) 
deleted under section 22) 

12.07.2018  Secretary Brief 
54-63 
Released in full (out of scope material  N/A 
ss 22(1)(b)(ii) 
deleted under section 22) 

N/A 
Indicative Sample Design 
64 
Released in full (out of scope material  N/A 
ss 22(1)(b)(ii) 
deleted under section 22) 
 
 
 
10 


 
FOI 
Schedule 2 
 
 
Schedule of relevant provisions in the FOI Act  
 
3   
Objects—general 
(1) 
The objects of this Act are to give the Australian community access to information held by 
the Government of the Commonwealth or the Government of Norfolk Island, by: 
 
 
(a) 
requiring agencies to publish the information; and 
 
 
(b) 
providing for a right of access to documents. 
(2) 
The Parliament intends, by these objects, to promote Australia’s representative democracy 
by contributing towards the following: 
(a) 
increasing public participation in Government processes, with a view to promoting 
better informed decision-making; 
(b) 
increasing scrutiny, discussion, comment and review of the Government’s 
activities. 
(3) 
The Parliament also intends, by these objects, to increase recognition that information held 
by the Government is to be managed for public purposes, and is a national resource. 
(4) 
The Parliament also intends that functions and powers given by this Act are to be 
performed and exercised, as far as possible, to facilitate and promote public access to 
information, promptly and at the lowest reasonable cost. 
  
11   
Right of access 
(1) 
Subject to this Act, every person has a legally enforceable right to obtain access in 
accordance with this Act to: 
 
 
(a) 
a document of an agency, other than an exempt document; or 
 
 
(b) 
an official document of a Minister, other than an exempt document. 
 
(2) 
Subject to this Act, a person’s right of access is not affected by: 
 
 
(a) 
any reasons the person gives for seeking access; or 
(b) 
the agency’s or Minister’s belief as to what are his or her reasons for seeking 
access. 
  
11A    Access to documents on request 
Scope 
 
(1) 
This section applies if: 
(a) 
a request is made by a person, in accordance with subsection 15(2), to an agency or 
Minister for access to: 
 
 
 
(i) 
a document of the agency; or 
 
 
 
(ii) 
an official document of the Minister; and 
(b) 
any charge that, under the regulations, is required to be paid before access is given 
has been paid. 
 
(2) 
This section applies subject to this Act. 
Note:  Other provisions of this Act are relevant to decisions about access to documents, for 
example the following: 
(a) 
section 12 (documents otherwise available); 
(b) 
section 13 (documents in national institutions); 
(c) 
section 15A (personnel records); 
11 

(d)  
section 22 (access to edited copies with exempt or irrelevant matter deleted). 
  
Mandatory access—general rule 
(3) 
The agency or Minister must give the person access to the document in accordance with 
this Act, subject to this section. 
Exemptions and conditional exemptions 
(4) 
The agency or Minister is not required by this Act to give the person access to the 
document at a particular time if, at that time, the document is an exempt document. 
Note:  Access may be given to an exempt document apart from under this Act, whether or not in 
response to a request (see section 3A (objects—information or documents otherwise 
accessible)). 
 (5) 
The agency or Minister must give the person access to the document if it is conditionally 
exempt at a particular time unless (in the circumstances) access to the document at that 
time would, on balance, be contrary to the public interest. 
Note 1: Division 3 of Part IV provides for when a document is conditionally exempt. 
Note 2: A conditionally exempt document is an exempt document if access to the document would, 
on balance, be contrary to the public interest (see section 31B (exempt documents for the 
purposes of Part IV)). 
Note 3: Section 11B deals with when it is contrary to the public interest to give a person access to 
the document. 
 (6) 
Despite subsection (5), the agency or Minister is not required to give access to the 
document at a particular time if, at that time, the document is both: 
 
 
(a) 
a conditionally exempt document; and 
 
 
(b) 
an exempt document: 
 
 
 
(i) 
under Division 2 of Part IV (exemptions); or 
(ii) 
within the meaning of paragraph (b) or (c) of the definition of exempt 
document in subsection 4(1). 
  
15  
Requests for access (as related to the requirements for requests) 
Persons may request access  
 (1)   
Subject to section 15A, a person who wishes to obtain access to a document of an agency 
or an official document of a Minister may request access to the document.  
Requirements for request  
(2)   
The request must:  
(a)   
be in writing; and  
(aa)   
state that the request is an application for the purposes of this Act; and  
(b)   
provide such information concerning the document as is reasonably necessary to 
enable a responsible officer of the agency, or the Minister, to identify it; and  
(c)   
give details of how notices under this Act may be sent to the applicant (for 
example, by providing an electronic address to which notices may be sent by 
electronic communication).  
(2A)    The request must be sent to the agency or Minister. The request may be sent in any of the 
following ways:  
(a)   
delivery to an officer of the agency, or a member of the staff of the Minister, at the 
address of any central or regional office of the agency or Minister specified in a 
current telephone directory;  
(b)   
postage by pre-paid post to an address mentioned in paragraph (a);  
(c)   
sending by electronic communication to an electronic address specified by the 
agency or Minister. 
 
22   
Access to edited copies with exempt or irrelevant matter deleted 
12 

Scope 
 
(1) 
This section applies if: 
 
 
(a) 
an agency or Minister decides: 
 
 
 
(i) 
to refuse to give access to an exempt document; or 
(ii) 
that to give access to a document would disclose information that would 
reasonably be regarded as irrelevant to the request for access; and 
(b) 
it is possible for the agency or Minister to prepare a copy (an edited copy) of the 
document, modified by deletions, ensuring that: 
(i) 
access to the edited copy would be required to be given under section 11A 
(access to documents on request); and 
(ii) 
the edited copy would not disclose any information that would reasonably 
be regarded as irrelevant to the request; and 
(c) 
it is reasonably practicable for the agency or Minister to prepare the edited copy, 
having regard to: 
 
 
 
(i) 
the nature and extent of the modification; and 
 
 
 
(ii) 
the resources available to modify the document; and 
(d) 
it is not apparent (from the request or from consultation with the applicant) that 
the applicant would decline access to the edited copy. 
Access to edited copy 
 
(2) 
The agency or Minister must: 
 
 
(a) 
prepare the edited copy as mentioned in paragraph (1)(b); and 
 
 
(b) 
give the applicant access to the edited copy. 
Notice to applicant 
 
(3) 
The agency or Minister must give the applicant notice in writing: 
 
 
(a) 
that the edited copy has been prepared; and 
 
 
(b) 
of the grounds for the deletions; and 
(c) 
if any matter deleted is exempt matter—that the matter deleted is exempt matter 
because of a specified provision of this Act. 
(4) 
Section 26 (reasons for decision) does not apply to the decision to refuse access to the 
whole document unless the applicant requests the agency or Minister to give the applicant 
a notice in writing in accordance with that section. 
  
23   
Decisions to be made by authorised persons 
(1) 
Subject to subsection (2), a decision in respect of a request made to an agency may be 
made, on behalf of the agency, by the responsible Minister or the principal officer of the 
agency or, subject to the regulations, by an officer of the agency acting within the scope of 
authority exercisable by him or her in accordance with arrangements approved by the 
responsible Minister or the principal officer of the agency. 
(2) 
A decision in respect of a request made to a court, or made to a tribunal, authority or body 
that is specified in Schedule 1, may be made on behalf of that court, tribunal, authority or 
body by the principal officer of that court, tribunal, authority or body or, subject to the 
regulations, by an officer of that court, tribunal, authority or body acting within the scope 
of authority exercisable by him or her in accordance with arrangements approved by the 
principal officer of that court, tribunal, authority or body. 
 
26   
Reasons and other particulars of decisions to be given 
(1) 
Where, in relation to a request, a decision is made relating to a refusal to grant access to a 
document in accordance with the request or deferring provision of access to a document, 
the decision-maker shall cause the applicant to be given notice in writing of the decision, 
and the notice shall: 
(a) 
state the findings on any material questions of fact, referring to the material on 
which those findings were based, and state the reasons for the decision; and 
13 

(aa) 
in the case of a decision to refuse to give access to a conditionally exempt 
document—include in those reasons the public interest factors taken into account 
in making the decision; and 
Note:  Access must generally be given to a conditionally exempt document unless it would be 
contrary to the public interest (see section 11A). 
(b) 
where the decision relates to a document of an agency, state the name and 
designation of the person giving the decision; and 
 
 
(c) 
give to the applicant appropriate information concerning: 
 
 
 
(i) 
his or her rights with respect to review of the decision; 
(ii) 
his or her rights to make a complaint to the Information Commissioner in 
relation to the decision; and 
(iii) 
the procedure for the exercise of the rights referred to in subparagraphs (i) 
and (ii); including (where applicable) particulars of the manner in which an 
application for internal review (Part VI) and IC review (Part VII) may be 
made. 
(1A) 
Section 13 of the Administrative Decisions (Judicial Review) Act 1977 does not apply to a 
decision referred to in subsection (1). 
(2) 
A notice under this section is not required to contain any matter that is of such a nature 
that its inclusion in a document of an agency would cause that document to be an exempt 
document. 
(see section 11A). 
 55G 
Procedure in IC review--revocation or variation of access refusal decision  
   (1)    An agency or Minister may vary (or set aside and substitute) an access refusal decision (the 
original decision ) in relation to a request or an application under section 48 at any time 
during an IC review of the access refusal decision if the variation or substitution (the 
revised decision ) would have an effect of:  
(a) 
giving access to a document in accordance with the request; or  
(b) 
relieving the IC review applicant from liability to pay a charge; or  
(c) 
requiring a record of personal information to be amended or  annotated in 
accordance with the application.  
Note:   When making the revised decision, a consultation requirement under section 26A 
(documents affecting Commonwealth-State relations etc.), 27 (business documents) or 27A 
(documents affecting personal privacy) may apply.  
   (2)    If an agency or Minister varies (or sets aside and substitutes) an access refusal decision 
under subsection (1):  
(a)  the agency or Minister must, in writing, notify the Information Commissioner as 
soon as practicable after the agency or Minister makes the variation or 
substitution; and  
(b)  the Information Commissioner must deal with the IC review application for 
review of the original decision as if it were an IC review application for the review 
of the varied or substituted decision, subject otherwise to this Part.  
 
14