Tóm tắt một số nội dung bồi dưỡng về biên soạn đề kiểm tra, xây dựng thư viện câu hỏi và bài tập

 vấn đề, khái niệm. 
Bước 5. Xây dựng hướng dẫn chấm (đáp án) và thang điểm
	Nội dung: khoa học và chính xác. Cách trình bày: cụ thể, chi tiết nhưng ngắn gọn và dễ hiểu, phù hợp với ma trận đề kiểm tra.
Xây dựng bản mô tả các mức độ đạt được và điểm bình tương ứng để học sinh có thể tự đánh giá được bài làm của mình và tự học.
Bước 6. Xem xét lại việc biên soạn đề kiểm tra
	Xem xét lại từng câu hỏi, bài tập:
	- Có phù hợp, có đủ các mục tiêu kiến thức, kĩ năng cốt lõi (cơ bản, trọng tâm) đại diện cho từng chủ đề hay mạch kiến thức kĩ năng trong khối chọn không?
 	- Có phù hợp với mức độ nhận thức cần đánh giá không?
	- Có số điểm thích hợp không? 
	- Thời gian dự kiến có phù hợp không? 
	Hoàn thiện đề, hướng dẫn chấm và thang điểm:
	- Đối chiếu 1-1 giữa câu hỏi, bài tập với đáp án và thang điểm, phát hiện những sai sót hoặc thiếu chính xác của đề và đáp án.
	- Xét nội dung: sửa các từ ngữ, nội dung nếu thấy cần thiết để đảm bảo tính khoa học và chính xác của hướng dẫn chấm.
	- Xét trình bày: cụ thể, chi tiết, ngắn gọn và dễ hiểu, tương ứng bước giải đúng có lí.
IV. PHÂN LOẠI CÁC MỤC TIÊU GIÁO DỤC TOÁN THEO CÁC MỨC ĐỘ NHẬN THỨC
Tại Hội nghị của Hội Tâm lý học Mỹ năm 1948, B.S. Bloom đã chủ trì xây dựng một hệ thống phân loại các mục tiêu của quá trình giáo dục và xác định ba lĩnh vực của các hoạt động giáo dục, đó là lĩnh vực về nhận thức (cognitive dommain), lĩnh vực về hoạt động (psychomator domain) và lĩnh vực về cảm xúc, thái độ (affectivedomain).
Lĩnh vực nhận thức thể hiện ở khả năng suy nghĩ, lập luận, bao gồm việc thu thập các sự kiện, giải thích, lập luận theo kiểu diễn dịch và quy nạp và sự đánh giá có phê phán.
Lĩnh vực hành động liên quan đến những kỹ năng đòi hỏi sự khéo léo về chân tay, sự phối hợp các cơ bắp từ đơn giản đến phức tạp.
Lĩnh vực cảm xúc liên quan đến những đáp ứng về mặt tình cảm, bao hàm cả những mối quan hệ như yêu ghét, thái độ nhiệt tình, thờ ơ, cũng như sự cam kết với một nguyên tắc và sự tiếp thu các lý tưởng.
Các lĩnh vực nêu trên không hoàn toàn tách biệt hoặc loại trừ lẫn nhau. Phần lớn việc phát triển tâm linh và tâm lý đều bao hàm cả 3 lĩnh vực nói trên.
Bloom và những người cộng tác với ông ta cũng xây dựng nên các cấp độ của các mục tiêu giáo dục, thường được gọi là cách phân loại Bloom (Bloom), trong đó lĩnh vực nhận thức được chia thành các mức độ hành vi từ đơn giản nhất đến phức tạp nhất.
Trong giáo dục môn Toán, ta có thể phân loại các mục tiêu giáo dục toán theo 4 mức độ của nhận thức dựa theo Bloom như sau:
A. Nhận biết
A. (i)	Kiến thức và thông tin
A (ii)	Kỹ thuật và kỹ năng
B. Thông hiểu 
C. Vận dụng 
D. Những khả năng cao hơn
A. Nhận biết
A. (i) Kiến thức và thông tin: 
Khả năng nhớ được những định nghĩa, ký hiệu, khái niệm và lý thuyết.
Trong mức độ nhận thức này học sinh được yêu cầu chỉ nhớ được định nghĩa của một sự kiện và không cần phải hiểu. Một chú ý quan trọng là kiến thức chỉ khả năng lặp lại chứ không phải để sử dụng. Những câu hỏi kiểm tra các mục tiêu ở phần này sẽ được đặt ra theo đúng với cách mà các kiến thức được học. 
Những dạng nhận thức chính của kiến thức gồm:
Kiến thức về thuật ngữ: Học sinh được yêu cầu phải nhận diện và làm quen với ngôn ngữ toán học, tức là phần lớn các thuật ngữ và ký hiệu tắt được sử dụng bởi các nhà toán học với mục đích giao tiếp thông tin. Ví dụ, định nghĩa các thuật ngữ có tính kỹ thuật như phần tử của một tập hợp, biến số, quan hệ, hàm số
Kiến thức về những sự kiện cụ thể: Mục tiêu này đòi hỏi học sinh nhớ được công thức và những quan hệ. Ví dụ, khả năng trích dẫn lại được phương trình chính tắc của ellip, công thức tính thể tích của hình cầu,
Kiến thức về cách thức và phương tiện sử dụng trong những trường hợp cụ thể: Dạng nhận thức này bao gồm kiến thức về những quy ước, ví dụ như các chữ cái in hoa được dùng để chỉ các hình hình học, và kiến thức về những sự phân loại và phạm trù, ví dụ như một số nào đó phải là hay không phải là phần tử của một hệ thống số đặc biệt nào đó.
Kiến thức về các quy tắc và các tổng quát hoá: Dạng nhận thức này yêu cầu học sinh trước hết phải nhớ được các ý niệm trừu tượng của toán học để giúp mô tả, giải thích và dự đoán các hiện tượng, thứ hai là để nhận ra hay nhớ lại những quy tắc và các tổng quát hoá, hay những minh hoạ cụ thể của chúng trong một bài toán. Kiến thức về những định lý toán học và những quy tắc logic cơ bản rơi vào trong dạng nhận thức này.
Sau đây là những ví dụ mà mục tiêu là kiến thức. Cuối giai đoạn học này, học sinh phải đạt được
phát biểu định nghĩa của góc nhọn;
phát biểu định lý Pitago cho tam giác vuông;
nhận ra được phép đối xứng, phép quay và phép tịnh tiến của những hình trong không gian;
nhớ lại thể tích của một hình lăng trụ bằng tích của diện tích đáy và chiều cao;
định nghĩa được các thuật ngữ số trung bình, trung vị.
nhớ lại thứ tự của các phép toán để rút gọn một biểu thức đại số hay số học;
phát biểu mọi tam giác đều là đồng dạng;
nhận ra khi nào thì sự chính xác về đo lường thoả mãn câu hỏi, ví dụ như quy tắc làm tròn số;
nhớ lại những điều kiện cơ bản để hai tam giác bằng nhau;
nhận ra được các hạn chế của những tổng quát hoá có tính quy nạp trong chứng minh.
Ví dụ:
Những câu hỏi kiểm tra kiến thức:
Một centimét khối là đơn vị của
Độ dài
Diện tích
Thể tích
Trọng lượng
Số hạng thứ năm của một cấp số cộng có số hạng đầu là a và công bội d là:
a.d5
a + 5d
a + 4d
a.d4
a + 6d
Trong hệ thống số thực, phần tử đơn vị của phép nhân là . . . 
Chúng ta thấy rằng việc có những thông tin về những gì học sinh được dạy, và các em được dạy như thế nào là rất quan trọng, trước khi một câu hỏi được đặt vào trong một mức độ nhận thức này hay mức độ nhận thức khác. Ví dụ, ở câu hỏi 1 người ta cho rằng các học sinh đã học tất cả các kiến thức liên quan trong câu hỏi, nếu không thì câu hỏi đó sẽ không thuộc vào dạng nhận thức kiến thức.
Mức nhận thức kiến thức là không thể bỏ qua được ở những mức độ nhận thức cao hơn, bởi vì học sinh càng có nhiều kiến thức thì càng có cơ hội thành công ở các mức độ cao hơn. Tuy nhiên, mức độ nhận thức này không nên quá vượt trội trong bất kỳ một bài kiểm tra nào do việc làm mất các khả năng tư duy bậc cao quan trọng và chính xác hơn. Có nhiều lý do để giải thích điều này, chẳng hạn
việc tập trung vào kiến thức sẽ bỏ quên các quá trình mà học sinh không bao giờ đạt được bằng việc nhớ các sự kiện,
kiến thức biểu hiện một mức độ thấp của sự thể hiện toán học. 
Tuy vậy việc phát triển kiến thức toán là một mục đích quan trọng của việc học, và tất cả các mức độ nhận thức khác đều xem nó như là một yêu cầu tối thiểu. Hơn nữa nó được đánh giá một cách dễ dàng bằng các câu hỏi trắc nghiệm khách quan.
A (ii)	Những kỹ thuật và kỹ năng: sử dụng trực tiếp việc tính toán và khả năng thao tác trên các ký hiệu; các lời giải.
Mục tiêu này bao gồm việc sử dụng các thuật toán như các kỹ năng thao tác và khả năng thực hiện trực tiếp những phép tính, những quá trình đơn giản hoá và hoàn thành các lời giải tương tự với các ví dụ học sinh đã gặp trong lớp, mặc dù có khác nhau về chi tiết. Câu hỏi có thể không đòi hỏi phải đưa ra quyết định là làm thế nào để tiếp cận lời giải, chỉ cần dùng kỹ thuật đã được học, hoặc có thể là một quy tắc phải được nhớ lại và áp dụng ngay một kỹ thuật đã được dạy.
Sau đây là một vài ví dụ trong đó mục tiêu là kỹ thuật. Cuối giai đoạn học này, học sinh phải có thể
Tìm tập nghiệm của những phương trình và bất phương trình tuyến tính một ẩn;
Phân tích thành nhân tử các biểu thức có dạng: ab + ac, a2 - b2, ax2 + bx + c.
Lấy đạo hàm của những hàm số hợp, ví dụ được xác định bởi 
Dựng hình bằng thước kẻ và compa, ví dụ các tam giác, tứ giác
Thay những giá trị số vào một công thức và đánh giá các biểu thức đại số;
Ví dụ:
Các câu hỏi về kỹ thuật
Khi giải hệ phương trình:
giá trị của y trong cặp nghiệm (x; y) bằng
A. - 9
B. 
C. 
D. 
E. 
Tìm tất cả giá trị của x để bất phương trình là đúng: 
A. 
B. 
C. 
D. 
E. 
Giải phương trình 
Tích phân là bằng:
A. 
B. 
C. 
D. 
E. 
Chúng ta nên để ý rằng các mức độ nhận thức thì độc lập với mức độ khó của các câu hỏi. Không phải ở phạm trù càng cao thì câu hỏi càng khó hơn. 
B. Thông hiểu 
Đây là khả năng chuyển đổi dữ liệu từ một dạng này sang một dạng khác, ví dụ từ lời sang hình vẽ và ngược lại; khả năng giải thích hay suy ra ý nghĩa các dữ liệu; theo đuổi và mở rộng một lập luận và giải các bài toán mà ở đó sự chọn lựa các phép toán là cần thiết.
Mức độ nhận thức này gồm các câu hỏi để học sinh có thể sử dụng các kiến thức học được mà không cần liên hệ với kiến thức khác, hay nhận ra các kiến thức đó qua những áp dụng của nó. Những câu hỏi này nhằm xác định xem học sinh có nắm được ý nghĩa của kiến thức mà không đòi hỏi học sinh phải áp dụng hay phân tích nó.
Các hành vi thể hiện việc hiểu có thể chia thành ba loại theo thứ tự sau đây:
(a) chuyển đổi (b) giải thích (c) ngoại suy
Giải thích thì bao gồm chuyển đổi, còn ngoại suy thì bao gồm cả chuyển đổi và giải thích.
(a) Chuyển đổi
Đây quá trình trí tuệ về sự chuyển đổi ý tưởng trong sự giao tiếp thành các dạng tương ứng khác. Học sinh được yêu cầu thay đổi từ một dạng ngôn ngữ này sang dạng khác, hay từ một dạng ký hiệu này sang dạng khác. Ví dụ như khi một phát biểu bằng lời về một quan hệ được chuyển đổi thành một công thức, hay khi một công thức đại số được chuyển đổi thành một phát biểu có tính đồ thị về mối quan hệ đó. Một trường hợp khác của chuyển đổi là nhận ra hay đưa ra những ví dụ minh hoạ cho các định nghĩa, mệnh đề hay nguyên tắc đã cho. Với những dữ liệu đã thu được, khả năng chuẩn bị những biểu diễn bằng các sơ đồ cũng ở trong mức độ nhận thức này. 
Sau đây là các ví dụ có mục tiêu thuộc dạng chuyển đổi. Cuối kỳ học này học sinh có thể
viết phương trình để biểu thị một đồ thị đã cho;
chuyển đổi các khái niệm hình học cho dưới dạng lời sang dạng hình ảnh phẳng và dạng không gian;
viết dưới dạng ký hiệu một mệnh đề cho bằng lời của một đẳng thức và ngược lại.
Ví dụ: 
Những câu hỏi kiểm tra sự chuyển đổi là:
Viết một phương trình ứng với đường thẳng được cho ở hình bên.
Mệnh đề “Với bốn số nguyên dương liên tiếp tuỳ ý, thì tổng bình phương của các số hạng thứ nhất và cuối cùng sẽ lớn hơn tổng bình phương của hai số ở giữa là bốn” có thể diễn tả như sau:
Biểu thức nào dưới đây chỉ miền tô đậm trên sơ đồ đã cho?
(b) Giải thích
Hành động chính trong giải thích là việc nhận dạng và hiểu các ý tưởng chính trong một giao tiếp cũng như hiểu các mối quan hệ của chúng. Nó gắn liền với việc giải thích hay tóm tắt một giao tiếp, ví dụ từ một đồ thị hay bảng các dữ liệu người ta yêu cầu rút ra được những yếu tố hay nhận xét. Học sinh được yêu cầu đưa ra sự phán xét bằng cách tách ra những sự kiện quan trọng từ nhiều sự kiện và rổi tổ chức lại dữ liệu để thấy được toàn bộ nội dung.
Những bài toán trong dạng này sẽ quen thuộc với các bài toán mà học sinh đã gặp những dạng tương tự trước đây, nhưng các em cần hiểu các khái niệm chính yếu để giải bài toán. Một quyết định sẽ được đưa ra không chỉ là để làm cái gì mà còn bằng cách nào để làm được điều đó.
Sau đây là một vài ví dụ về các mục tiêu ở đó dạng nhận thức là giải thích. Cuối phần học này, học sinh có thể
quyết định được sự đúng đắn của một chuỗi những lập luận;
tiến hành suy diễn từ những điều kiện ràng buộc;
phân biệt giữa các khái niệm và quá trình liên quan mật thiết với nhau, ví dụ có khả năng phân biệt các loại biến thiên khác nhau;
xác định được các phép toán hợp và giao của các tập đã cho;
giải thích các sơ đồ, hình vẽ và các bảng, chỉ ra được những điểm chính được minh hoạ trong các sơ đồ;
so sánh các khái niệm toán học, quá trình, hình vẽ có liên quan;
thấy được tính đối xứng của các hình hình học quen thuộc, ví dụ tam giác cân, tam giác đều, hình chữ nhật,
Ví dụ: 
Những câu hỏi kiểm tra khả năng giải thích.
1. Diện tích của một hình vuông đã cho được biểu diễn bởi biểu thức . Tìm chu 
vi của hình vuông đó theo x, y? (Đây là sự giải thích vì những quan hệ bên trong cũng như các yếu tố cần phải được hiểu.)
13
11
9
5
7
4
6
P
Q
R
2. Trong biểu đồ Ven sau đây, các số biểu thị số phần tử trong từng miền. Tìm số phần tử của ?
16
20
21
44
55
3. Các biến số x và y liên quan với nhau bởi biểu thức , với k là hằng số. Khi x giảm theo tỉ số 2:3 thì y sẽ:
tăng theo tỉ số 9:4 B. giảm theo tỉ số 4:9 C. không thay đổi
D. tăng theo tỉ số 3:2 E. giảm theo tỉ số 2:3
4. Nếu hai đường thẳng và vuông góc với nhau thì p bằng:
A. - 3
B. 
C. 
D. 
E. 3
Ngoại suy
Mục tiêu này gắn liền với khả năng của học sinh nhằm ngoại suy hay mở rộng những
 hướng vượt quá các dữ liệu đã cho. Cần phải có sự nhận thức về các giới hạn của dữ liệu cũng như các giới hạn trong phạm vi mà ta có thể mở rộng chúng. Bất kỳ một kết luận nào được rút ra đều có một mức độ xác suất. Phép ngoại suy là một sự mở rộng của việc giải thích mà theo cách đó mỗi khi học sinh giải thích dữ liệu đó thì học sinh được yêu cầu chỉ ra những ứng dụng cụ thể, hệ quả, hay những tác động của nó.
Sau đây là những ví dụ về mục tiêu mà dạng nhận thức là phép ngoại suy. Cuối phần học này, học sinh có thể
nội suy xem ở đâu có những kẻ hở về dữ liệu, ví dụ trong một đồ thị đã cho;
dự đoán những đặc trưng phổ biến của dữ liệu mẫu, chẳng hạn, cho một biểu đồ chỉ lượng mưa trung bình hằng tuần ở Hà nội năm trước, thì học sinh có khả năng dự đoán ở đâu và khi nào năm sau lượng mưa sẽ lớn nhất. Trong việc nhận ra một quy luật, học sinh đang chuyển đổi và giải thích những dữ liệu và trong dự đoán các em đã đi xa hơn những gì đã cho và đạt đến một mức độ khác của sự hiểu biết;
suy ra bậc của một hàm số với đồ thị đã cho;
hoàn thiện các chỗ hổng và tiếp tục dãy dữ liệu theo những mô hình số đã cho;
mở rộng những ý tưởng từ một tình huống sang một tình huống phù hợp khác.
Ví dụ:
Công thức nào sau đây xác định hàm số có đồ thị cho bởi hình vẽ?
 B. C. 
 D. E. 
Trong mặt phẳng toạ độ Oxy, phương trình nào sau đây không phải là phương trình đường tròn?
C. Vận dụng 
Mức độ nhận thức này chỉ việc sử dụng các ý tưởng, quy tắc hay phương pháp chung vào những tình huống mới. Các câu hỏi yêu cầu học sinh phải vận dụng các khái niệm quen thuộc vào các tình huống không quen thuộc, có nghĩa là phải vận dụng kiến thức và việc hiểu các kỹ năng vào các tình huống mới hoặc những tình huống được trình bày theo một dạng mới. Phương pháp giải thì không được hàm ý trong câu hỏi, và khả năng tìm kiếm lời giải là khả năng phát triển các bước để giải bài toán chứ không phải tái tạo lời giải đã học ở lớp. Do tính không quen thuộc và bản chất có vấn đề của tình huống được đặt ra nên quá trình tư duy liên đới là cao hơn hiểu. Điều quan trọng là những tình huống được trình bày cho học sinh là khác với những tình huống qua đó các em nắm được ý nghĩa của những khái niệm trừu tượng mà các em sẽ được yêu cầu áp dụng, để bảo đảm rằng bài toán không thể giải được nếu chỉ áp dụng các phương pháp thường gặp. Dạng nhận thức này là cần thiết vì việc hiểu một khái niệm trừu tượng không bảo đảm rằng học sinh sẽ có khả năng nhận ra sự phù hợp và vận dụng nó một cách đúng đắn vào những tình huống thực tiễn. Khả năng vận dụng các khái niệm và quy tắc thu được cho một bài toán mới hoặc khả năng chọn lựa một ý niệm trừu tượng chính xác cho một bài toán mà có vẻ không quen thuộc cho đến khi các yếu tố được tái hiện lại theo một ngữ cảnh quen thuộc, là cực kỳ quan trọng trong các khoá học về toán bởi vì phần lớn những gì học sinh được học đều dự định vận dụng vào các tình huống có vấn đề toán hàng ngày.
Sau đây là những ví dụ về mục tiêu học ở đó mức độ nhận thức là vận dụng. Cuối phần này, nói chung học sinh có thể sử dụng các ý tưởng, nguyên tắc và phương pháp để giải các bài toán được mô tả dưới dạng những tình huống trong cuộc sống hàng ngày và những ví dụ từ những ngành khác của toán học.
Ví dụ, học sinh có thể
vận dụng các quy tắc lượng giác cho các tình huống thực hành và các vấn đề khảo sát;
vận dụng kiến thức đã có về công thức nghiệm của phương trình bậc hai, và khả năng học sinh đã có để phát biểu nó lại dưới ngôn ngữ của mình, để giải phương trình bậc hai mà các em chọn để thu được một lời giải cho vấn đề mới;
vận dụng đạo hàm vào các bài toán cực đại và cực tiểu;
vận dụng một mô hình toán học để giải các bài toán thực tế, chẳng hạn các bài toán quy hoạch tuyến tính;
vận dụng công thức, phương pháp hay quá trình thích hợp nhất để giải một bài toán.
Ví dụ:
Các câu hỏi kiểm tra mức độ ứng dụng:
Một đường tròn nội tiếp trong tam giác XYZ, tiếp xúc XY tại P. Nếu XY = 7, YZ = 6 và ZX = 8. Độ dài của XP là bao nhiêu?
 B. 4 C. D. E. 5
Nếu x >1, hàm nào sau đây đồng biến?
I.	II. 	III.	
chỉ I B. chỉ II C. chỉ III D. chỉ I và III E. I, II và III
Với giá trị dương nào của k thì tam giác tạo bởi các trục toạ độ và đường thẳng 2x + ky = 6 có diện tích là k?
Với giá trị nào của x thì là một số nguyên?
tất cả số nguyên ngoại trừ 0	 B. tất cả số nguyên lớn hơn 2
C. mọi số nguyên chẵn ngoại trừ 0 D. tất cả số nguyên lẻ
Trong một hình vuông cạnh x cm, một cạnh tăng lên 6 cm còn cạnh kia giảm đi 3 cm. Nếu diện tích tăng lên 6 cm2, phương trình nào sau đây mô tả tình huống đó?
 B. C. 
D. 
D. Những khả năng cao hơn
Đây là một mức nhận thức rất rộng và bao gồm các mức độ nhận thức phân tích, tổng hợp và đánh giá.
Là một bước khởi đầu của những quy tắc giải quyết vấn đề hay đưa ra những phán xét dựa trên kết quả của lời giải, việc phân tích bài toán thường rất quan trọng. Việc này thường có dạng, chẳng hạn như
chia nhỏ thông tin thành những thành phần phù hợp và tổ chức chúng lại theo các mối quan hệ trong một bài toán;
phân biệt các sự kiện từ giả thiết và khẳng định giả thiết nào có thể phải tạo nên để minh chứng những quy tắc nào đó;
kiểm tra tính nhất quán của các giả thiết đối với những giả định và thông tin đã cho.
Sau khi phân tích cẩn thận một bài toán, một học sinh có thể được yêu cầu sắp xếp các yếu tố hoặc các phần lại với nhau để có một công thức hay quy luật mà trước đó em thấy chưa rõ ràng, ví dụ như thiết kế một quy tắc thực nghiệm để giải một bài toán nào đó hay để trình bày các kết luận với những chứng cứ được tổ chức hợp logic. Khả năng này, nếu nó đưa đến sự sáng tạo và tính độc đáo cho một bộ phận học sinh một cách rõ ràng nhất, được gọi là sự tổng hợp. Sáng tạo toán học đòi hỏi học sinh phải có những khám phá độc đáo đối với bản thân mình. Ví dụ, một học sinh có thể bắt đầu từ một số tính chất cơ bản hay biểu diễn ký hiệu khác và em rút ra được những tính chất hay quan hệ khác, hay là trong khi giải toán em này đã chứng tỏ được sự khôn khéo và thông minh, hay là sáng tạo nên những giả thiết mới, bởi vì các yếu tố trong bài toán không thể cấu trúc lại để có một dạng quen thuộc. Những quy tắc mà học sinh phải có khả năng để nhận ra và áp dụng có thể mới thoạt đầu là không có liên quan và không xuất hiện cho đến khi có một sự phân tích thông tin và những quan hệ nội tại của nó xảy ra.
Sau khi phân tích một vấn đề, học sinh có thể được yêu cầu đưa ra một đánh giá như là kết quả của việc phân tích thông tin. Khả năng xác định những tiêu chuẩn và giá trị cho một ý tưởng hay một sản phẩm và rồi đưa ra một phán xét xác đáng được gọi là đánh giá. 
Một ví dụ về dạng này xuất hiện khi học sinh được giao một phần việc và đề nghị em tìm các sai sót ở trong đó. 
Các câu hỏi thuộc vào ba mức độ nhận thức trên đều thuộc vào mức độ rộng hơn của các khả năng cao hơn. Chúng ta luôn gặp khó khăn trong việc gán cho một câu hỏi là ở mức độ vận dụng hay mức độ các khả năng cao hơn. Sự khác biệt cơ bản chính là sự khác biệt giữa một học sinh có thể tái tạo được những quy tắc đã thông hiểu để giải một bài toán không quen thuộc, và một học sinh có thể làm ra một cái gì đó hoàn toàn mới đối với bản thân mình bằng cách khám phá ra những mối quan hệ giữa các quy tắc và thuật toán không liên quan với nhau trước đây, khi mà không một phương pháp nào có sẵn có thể mang lại toàn bộ lời giải. Một khó khăn khác là ở chỗ lời giải cho một bài toán thường có thể đạt được bởi hai phương pháp khác nhau, một thuộc về mức độ các khả năng cao