]> git.tuebingen.mpg.de Git - aple.git/blob - Gridengine.m4
fs: Improve text on NFS silly renames.
[aple.git] / Gridengine.m4
1 TITLE(«
2
3         The cluster makes it possible to do, in half an hour, tasks
4         which were completely unnecessary to do before. -- Unknown
5
6 », __file__)
7
8 SECTION(«Terminology»)
9
10 - *Cluster* (often also called *grid*): a group of machines cooperating
11 to do some work
12 - *Job* : what you want the cluster to do for you
13 - *Nodes* (also called exec hosts): The machines that actually do
14 the work
15 - *Master*: machine that knows all jobs, all nodes, their capabilities
16 and current load
17 - *SGE* (Sun gridengine): Software that runs on all relevant machines
18 - *Submit host*: takes a list of jobs to be executed and sends them
19 to the master (ilm). The master then distributes them across the
20 available nodes
21 - *Slot*: a single computing unit (one CPU core)
22
23 <div>
24 <svg
25         width="300" height="150"
26         viewBox="0 0 200 100"
27         xmlns="http://www.w3.org/2000/svg"
28         xmlns:xlink="http://www.w3.org/1999/xlink"
29 >
30         <!-- Upper exec host -->
31         <rect
32                 fill="none" stroke="black" stroke-width="1"
33                 x="6" y="8" width="45" height="40" rx="5"
34         />
35         <rect fill="white" height="10" width="34" x="12" y="13" rx="3"/>
36         <rect fill="#aaa" height="6" width="2" x="17" y="15"/>
37         <rect fill="#aaa" height="6" width="2" x="22" y="15"/>
38         <rect fill="#aaa" height="6" width="2" x="27" y="15"/>
39         <rect fill="#aaa" height="6" width="2" x="32" y="15"/>
40         <circle cx="38" cy="16" fill="#c00" r="2"/>
41         <circle cx="43" cy="16" fill="#0a5" r="2"/>
42
43         <!-- Users and jobs -->
44         <rect
45                 fill="#ff0" stroke="black"
46                 x="9" y="31" width="10" height="10" rx="10"
47         />
48         <rect
49                 fill="lightgreen" stroke="black"
50                 x="15" y="38" width="5" height="5"
51         />
52         />
53         <rect
54                 fill="#aa0" stroke="black"
55                 x="22" y="31" width="10" height="10" rx="10"
56         />
57         <rect
58                 fill="orange" stroke="black"
59                 x="28" y="38" width="5" height="5"
60         />
61         <rect
62                 fill="#ae3" stroke="black"
63                 x="35" y="31" width="10" height="10" rx="10"
64         />
65         <rect
66                 fill="red" stroke="black"
67                 x="42" y="38" width="5" height="5"
68         />
69
70         <!-- Lower exec host -->
71         <rect
72                 fill="none" stroke="black" stroke-width="1"
73                 x="6" y="56" width="45" height="40" rx="5"
74         />
75         <rect fill="white" height="10" width="34" x="12" y="61" rx="3"/>
76         <rect fill="#aaa" height="6" width="2" x="17" y="63"/>
77         <rect fill="#aaa" height="6" width="2" x="22" y="63"/>
78         <rect fill="#aaa" height="6" width="2" x="27" y="63"/>
79         <rect fill="#aaa" height="6" width="2" x="32" y="63"/>
80         <circle cx="38" cy="64" fill="#c00" r="2"/>
81         <circle cx="43" cy="64" fill="#0a5" r="2"/>
82
83         <rect
84                 fill="green" stroke="black"
85                 x="12" y="79" width="10" height="10" rx="10"
86         />
87         <rect
88                 fill="white" stroke="black"
89                 x="19" y="86" width="5" height="5"
90         />
91         <rect
92                 fill="cyan" stroke="black"
93                 x="32" y="79" width="10" height="10" rx="10"
94         />
95         <rect
96                 fill="black" stroke="black"
97                 x="39" y="86" width="5" height="5"
98         />
99
100         <--! left arrow -->
101         <path
102                 d="
103                         M 46 52
104                         l 20 0
105                         m 0 0
106                         l -4 -3
107                         l 0 6
108                         l 4 -3
109                         z
110                 "
111                 stroke-width="2"
112                 stroke="black"
113                 fill="black"
114         />
115
116         <!-- Master -->
117         <rect
118                 fill="none" stroke="black"
119                 x="71" y="13" width="45" height="65" rx="5"
120         />
121         <rect fill="gold" height="10" width="34" x="76" y="17" rx="3"/>
122         <rect fill="#aaa" height="6" width="2" x="81" y="19"/>
123         <rect fill="#aaa" height="6" width="2" x="86" y="19"/>
124         <rect fill="#aaa" height="6" width="2" x="91" y="19"/>
125         <rect fill="#aaa" height="6" width="2" x="96" y="19"/>
126         <circle cx="102" cy="20" fill="#c00" r="2"/>
127         <circle cx="107" cy="20" fill="#0a5" r="2"/>
128         <rect
129                 fill="lightgreen" stroke="black"
130                 x="83" y="49" width="5" height="5"
131         />
132         <rect
133                 fill="red" stroke="black"
134                 x="94" y="42" width="5" height="5"
135         />
136         <rect
137                 fill="orange" stroke="black"
138                 x="93" y="62" width="5" height="5"
139         />
140         <rect
141                 fill="white" stroke="black"
142                 x="81" y="60" width="5" height="5"
143         />
144         <rect
145                 fill="black" stroke="black"
146                 x="98" y="52" width="5" height="5"
147         />
148         <path
149                 d="
150                         M 80,45
151                         c 10,-10 20,-10 25,-5
152                         c 10,15 10,15 -7,32
153                         c -5,2 -10,5 -17,0
154                         c -2,-2 -3,-1 -5,-10
155                         c -3,-4 -3,-10 4,-17
156                         z
157                 "
158                 stroke-width="2"
159                 stroke="black"
160                 fill="none"
161         />
162         <--! right arrow -->
163         <path
164                 d="
165                         M 121 52
166                         l 20 0
167                         m 0 0
168                         l -4 -3
169                         l 0 6
170                         l 4 -3
171                         z
172                 "
173                 stroke-width="2"
174                 stroke="black"
175                 fill="black"
176         />
177         <!-- exec hosts -->
178         <rect
179                 fill="none" stroke="black"
180                 x="146" y="10" width="45" height="25" rx="5"
181         />
182         <rect fill="grey" height="10" width="34" x="152" y="13" rx="3"/>
183         <rect fill="#aaa" height="6" width="2" x="157" y="15"/>
184         <rect fill="#aaa" height="6" width="2" x="162" y="15"/>
185         <rect fill="#aaa" height="6" width="2" x="167" y="15"/>
186         <rect fill="#aaa" height="6" width="2" x="172" y="15"/>
187         <circle cx="178" cy="16" fill="#c00" r="2"/>
188         <circle cx="183" cy="16" fill="#0a5" r="2"/>
189         <rect
190                 fill="orange" stroke="black"
191                 x="159" y="27" width="5" height="5"
192         />
193         <rect
194                 fill="lightgreen" stroke="black"
195                 x="176" y="27" width="5" height="5"
196         />
197         <rect
198                 fill="none" stroke="black"
199                 x="146" y="39" width="45" height="25" rx="5"
200         />
201         <rect fill="grey" height="10" width="34" x="152" y="42" rx="3"/>
202         <rect fill="#aaa" height="6" width="2" x="157" y="44"/>
203         <rect fill="#aaa" height="6" width="2" x="162" y="44"/>
204         <rect fill="#aaa" height="6" width="2" x="167" y="44"/>
205         <rect fill="#aaa" height="6" width="2" x="172" y="44"/>
206         <circle cx="178" cy="45" fill="#c00" r="2"/>
207         <circle cx="183" cy="45" fill="#0a5" r="2"/>
208         <rect
209                 fill="white" stroke="black"
210                 x="167" y="55" width="5" height="5"
211         />
212         <rect
213                 fill="none" stroke="black"
214                 x="146" y="68" width="45" height="25" rx="5"
215         />
216         <rect fill="grey" height="10" width="34" x="152" y="71" rx="3"/>
217         <rect fill="#aaa" height="6" width="2" x="157" y="73"/>
218         <rect fill="#aaa" height="6" width="2" x="162" y="73"/>
219         <rect fill="#aaa" height="6" width="2" x="167" y="73"/>
220         <rect fill="#aaa" height="6" width="2" x="172" y="73"/>
221         <circle cx="178" cy="74" fill="#c00" r="2"/>
222         <circle cx="183" cy="74" fill="#0a5" r="2"/>
223         <rect
224                 fill="red" stroke="black"
225                 x="159" y="85" width="5" height="5"
226         />
227         <rect
228                 fill="black" stroke="black"
229                 x="176" y="85" width="5" height="5"
230         />
231 </svg>
232 </div>
233
234 <p> Users (circles) submit their jobs (squares) from the submit hosts
235 (white) to the master (yellow). The Master assigns for each job a
236 suitable execution host (grey) on which the job is scheduled. </p>
237
238 <br>
239
240 EXERCISES()
241 - Read this
242 XREFERENCE(«https://web.archive.org/web/20160506102715/https://blogs.oracle.com/templedf/entry/sun_grid_engine_for_dummies»,
243 «introduction to SGE»)
244
245 SECTION(«Cluster hardware and setup»)
246 - 48/64 core AMD (Opteron and Epyc), 512G-2T RAM, 25Gbit ethernet
247 - separate network (no internet, limited campus services)
248 - NFS root, local /tmp, two global temp file systems
249 - SGE
250
251 EXERCISES()
252
253 - Look at XREFERENCE(«http://ilm.eb.local/ganglia/», «web
254   frontend») of the ganglia monitoring system.
255 - Run the CMD(qhost), CMD(lscpu), CMD(free), CMD(w), CMD(htop)
256   commands to list nodes, print CPUs, available memory and
257   swap, and the load average.
258 - Examine all columns of the CMD(«q-charge --no-joblist
259   --no-globals») output.
260 - Open two terminals and ssh into two different cluster nodes
261   (note: the CMD(qhost) command prints the names of all nodes),
262   run CMD(touch ~/foo-$LOGNAME) on one of them to create a
263   file in your home directory. Check whether the file exists on
264   the other node by executing CMD(«ls -l ~/foo-$LOGNAME»). Do
265   the same with CMD(touch /tmp/foo-$LOGNAME).
266 - Read the section on the accounting system of the
267   XREFERENCE(«http://ilm.eb.local/clusterdoc/The-Accounting-System.html#The-Accounting-System»,
268   «cluster documentation») to learn how charges are computed.
269
270 HOMEWORK(«
271 Find three different ways to determine how many CPU cores
272 the cluster has.
273 », «
274 - Log in to any cluster node and read the message of the day.
275 - Run CMD(«qhost») and add up the third column.
276 - Run CMD(«nproc, lscpu») or CMD(«cat /proc/cpuinfo») on each
277   node and sum up the results.
278 - Run CMD(«qconf -se <nodexxx>») for each node and
279   sum up the values shown as CMD(«num_proc»).
280 - Run CMD(«q-gstat -s») and add the slot counts.
281 - Read the first sentence on the
282   XREFERENCE(http://ilm.eb.local/clusterdoc/, cluster documentation
283   main page).
284 - Visit the XREFERENCE(«http://ilm.eb.local/ganglia/», «ganglia»)
285   page and subtract from the number shown as "CPUs Total" the CPU count
286   of the (two) servers which are not cluster nodes.
287 »)
288
289
290 HOMEWORK(«
291 Read the CMD(«q-charge») manual page and learn about the
292 CMD(«--no-joblist») option. Write a config file for CMD(«q-charge»)
293 to activate this option automatically. Hand in your config file.
294 », «
295 Simply create the file named CMD(«.q-chargerc») in the home directory
296 which contains a single line CMD(«no-joblist»). However, with this
297 file in place, there is no easy way to EMPH(«enable») the job list.
298 »)
299
300 SECTION(«Submitting and Monitoring»)
301
302 - interactive and non-interactive (batch) jobs
303 - CMD(«qsub»): submitting job scripts
304 - CMD(«qstat»): monitoring job state
305 - CMD(«h_vmem»), CMD(«h_rt»): Specify memory and running time
306 - CMD(«qdel»): removing running or waiting jobs
307
308 EXERCISES()
309
310 - Execute CMD(«qlogin -l h_rt=60») to get a shell on a
311 random(?) cluster node.
312 - Write in a file called REFERENCE(«testscript.sh»,
313 «testscript.sh») with the content below.
314 - Look at the CMD(«qsub») man page to tell which of the following
315 options of CMD(«qsub») might be useful to set. CMD(«-l h_vmem -l
316 h_rt -cwd -j -V -N -pe»).
317 - Submit CMD(«testscript.sh») with CMD(«qsub -cwd testscript.sh»)
318 - Quick! Type CMD(qstat). Depending on the current cluster load you
319 will either see your job in the queue (waiting), running, or no longer
320 there (already finished).
321 - After your job has finished, find out if it was successful using
322 CMD(qacct -j "jobID"). If you can't remember, look at the files that
323 were created.
324 - How much memory did your job use?
325 - Let's see what our CMD(«testscript.sh») did. Where and what is
326 the output of the three commands?
327 - Submit the same job script again and remove it with CMD(«qdel»)
328 while the job is running or waiting.
329
330 HOMEWORK(«
331 Write a submit script which prints out the host it is running
332 on. Submit the script and request a running time of one minute, and
333 500M of memory.  Hand in the script, the command you specified for
334 submitting the script, and the output.
335 », «
336 The script only needs to contain the single line CMD(«hostname»). In
337 particular, the shebang (CMD(«#!/bin/sh»)) may be omitted.
338 »)
339
340 SECTION(«Array jobs and parallel jobs»)
341
342 - array job: a single job with many subjobs. Equivalent to a set of
343 jobs which all run the same job script.
344 - parallel job: jobs that use more than one slot (CPU core)
345
346 EXERCISES
347 - Run CMD(«mkdir array_job_dir») and create 20 files in that
348 directory called CMD(«input-1») to CMD(«input-20») (hint: example
349 from last week).
350 - Create REFERENCE(«array_job.sh», «array_job.sh») and discuss
351 what the script does.
352 - Submit an array job to the cluster using CMD(«qsub -t 1-20
353 array_job.sh»). Once all array tasks have finished, you'll find that
354 all your files were renamed.
355 - You might want to check if the jobs succeeded. Use CMD(qacct) to
356 check the exit codes of all jobs. Think about pipes and the commands
357 CMD(sort), CMD(uniq) and CMD(grep) to make it easier for you.
358 - Run CMD(«echo stress -c 2 | qsub -l h_rt=100») to submit a job.
359 Use CMD(«qstat») to find the node on which the job in running. Run
360 CMD(«ssh -t <nodeX> htop») and check how many stress processes
361 are running and the share of CPU time they get. Repeat, but this
362 time submit a parallel job by adding CMD(«-pe parallel 2») to the
363 options for CMD(«qsub»).
364
365 HOMEWORK(«
366 Discuss when it makes sense to restrict the number of simultaneously
367 running jobs.
368 », «
369 One reason is to be nice to others: if you limit the number of your
370 jobs you don’t block other users by occupying the whole cluster. This
371 is only important for long running jobs though, as the SGE software
372 tries to balance jobs between users. Another reason is to not overload
373 the file server in case your jobs do heavy I/O.
374 »)
375
376 HOMEWORK(«
377 Submit the REFERENCE(«array_job.sh», «array_job.sh») script
378 again as an array job, but make sure that only at most two of the
379 10 tasks are going to run simultaneously. Hand in the corresponding
380 CMD(«qsub») command.
381 », «
382 The command CMD(«qsub -t 1-20 -tc 2 array_job.sh») will run at most
383 two of the 10 tasks simultaneously.
384 »)
385
386 SECTION(«Job running time and memory consumption»)
387
388 - Default: hard limit of 1G RAM, killed after one day
389 - Q: How long will my job run? How much memory does it need? A:
390 CMD(«qacct»)
391 - Long job waiting times for high requests
392 - Short queue
393
394 EXERCISES()
395
396 - If a job needs much memory, the default of 1G might not be
397 enough. Find out how much memory one terminated job of yours actually
398 needed by running CMD(«qacct -j <jobname>»). In particular,
399 look at CMD(«exit status») (not zero if something went wrong)
400 and CMD(«maxvmem») (actual memory consumption of your process).
401 - Submit the job script again, but this time specify CMD(«-l
402 h_vmem») to request more memory. Once the job is complete, compare
403 the CMD(«maxvmem») field of the CMD(«qacct») output and the value
404 specified with CMD(-l h_vmem).
405 - Jobs could also be much longer than the default value allows (1
406 day). Use CMD(«-l h_rt») to request a longer running time.  Run a
407 test job with default settings or a rough estimation and see if it
408 fails (CMD(«qacct»), exit status not zero). Look at start and end
409 time and compare with CMD(-l h_rt) value. Adjust CMD(«-l h_rt»)
410 and run the job again. Reevaluate until your job ran successfully.
411 - If your job is very short, you might set CMD(«-l h_rt») below
412 1h to enter the short queue, for example CMD(«-l h_rt=0:30:0»)
413 for 30mins maximum run time. By setting a small value for CMD(«-l
414 h_rt») you could use this resource and possibly get your job queued
415 earlier than with default values. The command CMD(«qconf -sql»)
416 lists the names of all queues, and CMD(«qconf -sq <queuename> | grep
417 "^._rt"») shows you the soft and the hard limit of running time.
418 See the section on resource limits of the CMD(«queue_conf») manual
419 page to learn more about the two types of limits.
420
421 SECTION(«Queues, Queue Instances»)
422
423 <p> A queue is named description of the requirements a job must have to
424 be started on one of the nodes, like the maximal running time or the
425 number of slots. The queue descriptions are organized in plaintext
426 files called <em> queue configurations </em> which are managed by the
427 qmaster and which can be modified by privileged users by means of the
428 <code> qconf(1)</code> command. </p>
429
430 <div>
431
432 <!-- The viewBox scales the coordinates to the specified range -->
433 <svg
434         width="400" height="264"
435         viewBox="0 0 167 110"
436         xmlns="http://www.w3.org/2000/svg"
437         xmlns:xlink="http://www.w3.org/1999/xlink"
438 >
439         <!-- vertical boxes -->
440         <rect
441                 fill="none" stroke="black"
442                 x="60" y="10" width="15" height="85" rx="5"
443         />
444         <rect
445                 fill="none" stroke="black"
446                 x="85" y="10" width="15" height="85" rx="5"
447         />
448         <rect
449                 fill="none" stroke="black"
450                 x="110" y="10" width="15" height="85" rx="5"
451         />
452         <rect
453                 fill="none" stroke="black"
454                 x="135" y="10" width="15" height="85" rx="5"
455         />
456         <!-- horizontal boxes -->
457         <rect
458                 fill="none" stroke="black"
459                 x="55" y="20" width="100" height="14" rx="5"
460         />
461         <rect
462                 fill="none" stroke="black"
463                 x="80" y="45" width="75" height="14" rx="5"
464         />
465         <rect
466                 fill="none" stroke="black"
467                 x="55" y="70" width="100" height="14" rx="5"
468         />
469         <!-- circles -->
470         <rect
471                 fill="yellow" stroke="black"
472                 x="63" y="22" width="10" height="10" rx="10"
473         />
474         <rect
475                 fill="yellow" stroke="black"
476                 x="88" y="22" width="10" height="10" rx="10"
477         />
478         <rect
479                 fill="yellow" stroke="black"
480                 x="113" y="22" width="10" height="10" rx="10"
481         />
482         <rect
483                 fill="yellow" stroke="black"
484                 x="138" y="22" width="10" height="10" rx="10"
485         />
486         <rect
487                 fill="cyan" stroke="black"
488                 x="88" y="47" width="10" height="10" rx="10"
489         />
490         <rect
491                 fill="cyan" stroke="black"
492                 x="113" y="47" width="10" height="10" rx="10"
493         />
494         <rect
495                 fill="cyan" stroke="black"
496                 x="138" y="47" width="10" height="10" rx="10"
497         />
498         <rect
499                 fill="orange" stroke="black"
500                 x="63" y="72" width="10" height="10" rx="10"
501         />
502         <rect
503                 fill="orange" stroke="black"
504                 x="88" y="72" width="10" height="10" rx="10"
505         />
506         <rect
507                 fill="orange" stroke="black"
508                 x="113" y="72" width="10" height="10" rx="10"
509         />
510         <rect
511                 fill="orange" stroke="black"
512                 x="138" y="72" width="10" height="10" rx="10"
513         />
514         <text x="5" y="10" font-size="5">
515                 Queue Instances
516         </text>
517         <!-- Queue instaces lines -->
518         <line
519                 stroke="black"
520                 x1="50" y1="4" x2="142" y2="27"
521         />
522         <line
523                 stroke="black"
524                 x1="50" y1="7" x2="117" y2="27"
525         />
526         <line
527                 stroke="black"
528                 x1="50" y1="10" x2="92" y2="27"
529         />
530         <line
531                 stroke="black"
532                 x1="50" y1="13" x2="67" y2="27"
533         />
534         <text x="5" y="47" font-size="5">
535                 Cluster Queue:
536         </text>
537         <text x="5" y="52" font-size="5">
538                 Set of Queue
539         </text>
540         <text x="5" y="57" font-size="5">
541                 Instances
542         </text>
543         <!-- Cluster Queue lines -->
544         <line
545                 stroke="black"
546                 x1="47" y1="49" x2="57" y2="26"
547         />
548         <line
549                 stroke="black"
550                 x1="48" y1="52" x2="83" y2="52"
551         />
552         <line
553                 stroke="black"
554                 x1="47" y1="55" x2="57" y2="77"
555         />
556         <text x="5" y="100" font-size="5">
557                 Hosts
558         </text>
559         <!-- Hosts lines -->
560         <line
561                 stroke="black"
562                 x1="25" y1="99" x2="143" y2="99"
563         />
564         <line
565                 stroke="black"
566                 x1="68" y1="99" x2="68" y2="92"
567         />
568         <line
569                 stroke="black"
570                 x1="93" y1="99" x2="93" y2="92"
571         />
572         <line
573                 stroke="black"
574                 x1="118" y1="99" x2="118" y2="92"
575         />
576         <line
577                 stroke="black"
578                 x1="143" y1="99" x2="143" y2="92"
579         />
580 </svg>
581 </div>
582
583 <p> Among other configuration parameters, a queue configuration always
584 contains the list of execution hosts. On each on each node of this
585 list one relalization of the queue, a <em> queue instance</em>, is
586 running as part of the execution damon <code> sge_execd(8)</code>.
587 The list is usually described in terms of <em> hostgroups</em>
588 where each hostgroup contains execution hosts which are similar in
589 one aspect or another. For example, one could define the hostgroup
590 <code> @core64 </code> to contain all nodes which have 64 CPU cores.
591 The diagram to the left tries to illustrate these concepts. </p>
592
593 <p> While a running job is always associated with one queue instance,
594 it is recommended to not request a specific queue at job submission
595 time, but to let the qmaster pick a suitable queue for the job.  </p>
596
597 <p> An execution host can host more than one queue instance, and queues
598 can be related to each other to form a <em> subordination tree</em>.
599 Jobs in the superordinate queue can suspend jobs in the subordinated
600 queue, but suspension always takes place at the queue instance level.
601 </p>
602
603 <br>
604
605 EXERCISES()
606
607 - Run CMD(«qconf -sql») to see the list of all defined queues. Pick a
608 queue and run CMD(«qconf -sq <queue_name>») to show the parameters of
609 the queue. Consult the CMD(«queue_conf(5)») manual page for details.
610 - Read the CMD(«prolog») section in CMD(«queue_conf(5)») manual
611 page. Examine the CMD(«/usr/local/sbin/prolog») file on the nodes and
612 try to understand what it actually does.  See commit CMD(«0e44011d»)
613 in the user-info repostitory for the answer.
614 - Run CMD(«echo stress -c 2 | qsub») to submit a job which starts two
615 threads. Determine the node on which the job is running, log in to
616 this node and examine the CPU utilization of your job.
617
618 SECTION(«Accounting»)
619
620 - accounting file contains one record for each _finished_ job
621 - plain text, one line per job, entries separated by colons
622 - qacct: scans accounting file
623 - summary or per-job information
624 - buggy
625 - easy to parse "by hand"
626
627 EXERCISES()
628
629 - Run CMD(«qacct -o») to see the full user summary and CMD(«qacct
630 -o $LOGNAME -d 90») to see the summary for your own user, including
631 only the jobs of the last 3 months.
632 - Check the CMD(«accounting(5)») manual page to learn more about
633 the fields stored in the accounting records.
634 - Submit a cluster job with CMD(«echo sleep 100 | qsub -l h_vmem=200M
635 -l h_rt=10»), wait until it completes, then check the accounting
636 record for your job with CMD(«qacct -j <jobid>»). In particular,
637 examine the CMD(«failed») and CMD(«maxvmem») fields. Compare
638 the output with CMD(«print_accounting_record.bash <jobid>»),
639 where the CMD(«print_accounting_record.bash») script is shown
640 REFERENCE(«print_accounting_record.bash», «below»).
641 - Check out the XREFERENCE(«http://ilm.eb.local/stats/», «statistics
642 page»).  Tell which histograms were created from the accounting file.
643 - Search for CMD(«com_stats») in the
644 XREFERENCE(«http://ilm.eb.local/gitweb/?p=user-info;a=blob;f=scripts/admin/cmt;hb=HEAD»,
645 «cluster management tool») and examine how these statistics are
646 created.
647
648 SECTION(«Complex Attributes»)
649
650 - used to manage limited resources
651 - requested via CMD(«-l»)
652 - global, or attached to a host or queue
653 - predefined or user defined
654 - each attribute has a type and a relational operator
655 - requestable and consumable
656
657 EXERCISES()
658
659 - Run CMD(«qconf -sc») to see the complex configuration.
660 - Check the contents of
661 CMD(«/var/lib/gridengine/default/common/sge_request»).
662 - Run CMD(«qconf -se node444») to see the complex configuration
663 attached to node444.
664 - Discuss whether it would make sense to introduce additional complex
665 attributes for controlling I/O per file system.
666
667 SECTION(«Tickets and Projects»)
668
669 - tickets: functional/share/override
670 - project: (name, oticket, fshare, acl)
671 - jobs can be submitted to projects (CMD(«qsub -P»))
672
673 EXERCISES()
674
675 - Read the CMD(«sge_project») manual page to learn more about SGE
676 projects.
677 - Examine the output of CMD(«qconf -ssconf») with respect to the three
678 types of tickets and their weights.
679 - Check the CMD(«sge_priority(5)») manual page to learn more about the
680 three types of tickets.
681 - Discuss whether the SGE projects concept is helpful with respect
682 to accounting issues and grants (e.g., ERC).
683 - Discuss whether introducing override or functional share tickets
684 for projects is desirable.
685
686 SECTION(«Scheduler Configuration»)
687
688 - fair share: heavy users get reduced priority
689 - share tree: assign priorities based on historical usage
690 - reservation and backfilling
691
692 EXERCISES()
693
694 - Run CMD(«qstat -s p -u "*"») to see all pending jobs. Examine
695 the order and the priority of the jobs.
696 - Run CMD(«qconf -ssconf») to examine the scheduler configuration. In
697 particular, look at the CMD(«policy_hierarchy») entry. Consult
698 the CMD(«sched_conf(5)») and CMD(«share_tree(5)») manual pages
699 for details.
700 - Discuss the various scheduling policies described in this
701 XREFERENCE(«http://gridscheduler.sourceforge.net/howto/geee.html»,
702 «document»).
703 - Discuss the pros and cons to schedule preferentially to hosts which
704 are already running a job. That is, should CMD(«load_formula»)
705 be CMD(«np_load_avg») (the default) or CMD(«slots»)? See
706 XREFERENCE(«http://arc.liv.ac.uk/SGE/howto/sge-configs.html»,
707 «sge-configs») and CMD(«sched_conf(5)») for details.
708
709 SUPPLEMENTS()
710
711 SUBSECTION(«testscript.sh»)
712
713 <pre>
714         #!/bin/sh
715         sleep 100 # wait to give us time to look at the job status
716         echo "This is my output" > ./outputfile
717         echo "Where does this go?"
718         ls ./directorythatdoesnotexisthere
719 </pre>
720
721 SUBSECTION(«array_job.sh»)
722
723 <pre>
724         #!/bin/sh
725         # Lines beginning with #$ tell the program to use the following as
726         # option for the command.  By the way, you don't need to write this
727         # line into "testscript.sh" ;)
728         #$ -cwd
729         #$ -j y
730         #$ -l h_rt=0:1:0
731         mv input-$SGE_TASK_ID ./output-$SGE_TASK_ID
732 </pre>
733
734 SUBSECTION(«print_accounting_record.bash»)
735
736 <pre>
737         #!/bin/bash
738         (($# != 1)) && exit 1
739         awk -F: "{if (\$6 == $1) print \$0}" /var/lib/gridengine/default/common/accounting
740 </pre>