+ added small program for intron-position comparison
[qpalma.git] / qpalma / sequence_utils.py
index 0ebb5bc..693d7df 100644 (file)
@@ -1,8 +1,121 @@
 #!/usr/bin/env python 
 # -*- coding: utf-8 -*- 
 
+#
+# This module holds all functions for queries on the dna flat files and the
+# splice score files.
+# Furthermore it contains some utility functions such as reverse complement and
+# unbracketing est strings
+#
 
-def getSpliceScores(chr,strand,intervalBegin,intervalEnd):
+import os
+import pdb
+import re
+import subprocess
+
+from numpy.matlib import inf
+
+from Genefinding import *
+from genome_utils import load_genomic
+
+
+def get_flatfile_size(filename):
+   cmd =  'wc -c %s | cut -f1 -d \' \'' % filename
+   obj = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
+   out,err = obj.communicate()
+   
+   if err != '':
+      print 'Error occurred while trying to obtain file size'
+   return int(out)
+
+
+def reverse_complement(seq):
+   """
+   This function takes a read in plain or bracket notation and returns the
+   reverse complement of it.
+   I.e.
+
+   est = cgt[ac][tg]a
+
+   leads to
+
+   rev_comp = t[ac][tg]acg
+   """
+
+   bpos = seq.find('[')
+   rc = lambda x: {'a':'t','c':'g','g':'c','t':'a'}[x]
+
+   # check first whether seq contains no brackets at all
+   if bpos == -1:
+      ret_val = map(rc,seq)
+      ret_val.reverse()
+      ret_val = "".join(ret_val)
+   else:
+      brc = lambda x: {'a':'t','c':'g','g':'c','t':'a','[':'[',']':']'}[x]
+
+      # first_part is the part of the seq up to the first occurrence of a
+      # bracket
+      first_part = seq[:bpos]
+      first_part = map(rc,first_part)
+      first_part.reverse()
+      first_part = "".join(first_part)
+
+      # inside brackets has to be complemented but NOT reversed
+      inside_brackets = seq[bpos+1:bpos+3]
+      inside_brackets = "".join(map(rc,inside_brackets))
+
+      ret_val = '%s[%s]%s'%(reverse_complement(seq[bpos+4:]),inside_brackets,first_part)
+
+   return ret_val
+
+
+def unbracket_seq(seq):
+   """
+   This function takes a read in bracket notation and restores the read sequence from it.
+   I.e.
+
+   seq = cgt[ac][tg]aa
+
+   leads to
+
+   result = cgtcgaa
+
+   so the second entry within brackets is the base on the read whereas the first
+   entry is the base from the dna.
+   """
+
+   new_seq = ''
+   e = 0
+
+   while True:
+      if e >= len(seq):
+         break
+
+      if seq[e] == '[':
+         new_seq += seq[e+2]
+         e += 4
+      else:
+         new_seq += seq[e]
+         e += 1
+
+   return "".join(new_seq).lower()
+
+
+def create_bracket_seq(dna_seq,read_seq):
+   """
+   This function takes a dna sequence and a read sequence and returns the
+   bracket format of the match/mismatches i.e.
+
+   dna : aaa
+   read: aac
+   is written in bracket notation: aa[ac]
+   """
+   assert len(dna_seq) == len(read_seq),pdb.set_trace()
+   return "".join(map(lambda x,y: ['[%s%s]'%(x,y),x][x==y],dna_seq,read_seq))
+
+
+
+def getSpliceScores(chr,strand,intervalBegin,intervalEnd,total_size=0):
    """
    Now we want to use interval_query to get the predicted splice scores trained
    on the TAIR sequence and annotation.
@@ -20,21 +133,26 @@ def getSpliceScores(chr,strand,intervalBegin,intervalEnd):
 
    # fetch acceptor scores
    sscore_filename = '/fml/ag-raetsch/home/fabio/tmp/interval_query_files/acc/contig_%d%s'
-   acc = doIntervalQuery(chr,strand,intervalBegin,intervalEnd,sscore_filename)
+   acc = doIntervalQuery(chr,strand,intervalBegin,intervalEnd,sscore_filename,total_size)
 
    # fetch donor scores
    sscore_filename = '/fml/ag-raetsch/home/fabio/tmp/interval_query_files/don/contig_%d%s'
-   don = doIntervalQuery(chr,strand,intervalBegin,intervalEnd,sscore_filename)
+   don = doIntervalQuery(chr,strand,intervalBegin,intervalEnd,sscore_filename,total_size)
 
    return acc, don
 
 
-def get_seq_and_scores(chr,strand,genomicSeq_start,genomicSeq_stop,dna_flat_files):
+def get_seq_and_scores(chr,strand,genomicSeq_start,genomicSeq_stop,dna_flat_files,only_seq=False):
    """
    This function expects an interval, chromosome and strand information and
    returns then the genomic sequence of this interval and the associated scores.
    """
 
+   # because splice site scores are predicted using a window of the sequence the
+   # first and the last NO_SCORE_WINDOW_SIZE nucleotides of a genomic sequence
+   # do not have any score predictions
+   NO_SCORE_WINDOW_SIZE = 250
+
    assert genomicSeq_start < genomicSeq_stop
 
    chrom         = 'chr%d' % chr
@@ -48,26 +166,83 @@ def get_seq_and_scores(chr,strand,genomicSeq_start,genomicSeq_stop,dna_flat_file
    no_base = re.compile('[^acgt]')
    genomicSeq = no_base.sub('n',genomicSeq)
 
-   intervalBegin  = genomicSeq_start-100
+   if only_seq:
+      return genomicSeq
+
+   fn = 'chr%d.dna.flat' % chr
+   filename = os.path.join(dna_flat_files,fn)
+   total_size = get_flatfile_size(filename)
+
+   intervalBegin = genomicSeq_start-100
    intervalEnd    = genomicSeq_stop+100
-   seq_pos_offset = genomicSeq_start
 
-   currentAcc, currentDon = getSpliceScores(chr,strand,intervalBegin,intervalEnd)
+   # shorten the intervalEnd to the maximal size of the genomic sequence if it
+   # would exceed this
+   if intervalEnd > total_size:
+      intervalEnd = total_size-1
+
+   # we have assertions below checking whether every gt or ag has a splice score
+   # not equal to -inf if the gt or ag are within the first NO_SCORE_WINDOW_SIZE
+   # nucleotide then they have no scores at all
+   check_assertions = True
+   if intervalEnd > total_size - NO_SCORE_WINDOW_SIZE:
+      check_assertions = False
+      
+   if intervalBegin < NO_SCORE_WINDOW_SIZE:
+      check_assertions = False
+
+   currentAcc, currentDon = getSpliceScores(chr,strand,intervalBegin,intervalEnd,total_size)
 
    currentAcc = currentAcc[100:-98]
    currentAcc = currentAcc[1:]
    currentDon = currentDon[100:-100]
 
    length = len(genomicSeq)
-   currentAcc = currentAcc[:length]
 
-   currentDon = currentDon+[-inf]*(length-len(currentDon))
+   # indices for positive strand
+   if strand == '+':
+      currentAcc = currentAcc[:length]
+      currentDon = currentDon+[-inf]*(length-len(currentDon))
+
+      ag_tuple_pos = [p for p,e in enumerate(genomicSeq) if p>1 and genomicSeq[p-1]=='a' and genomicSeq[p]=='g' ]
+      gt_tuple_pos = [p for p,e in enumerate(genomicSeq) if p>0 and p<len(genomicSeq)-1 and e=='g' and (genomicSeq[p+1]=='t' or genomicSeq[p+1]=='c')]
+
+   # take care of different indexation if on negative strand
+   if strand == '-':
+      currentAcc = currentAcc[:length]
+      currentAcc = currentAcc+[-inf]*(length-len(currentAcc))
+      currentDon = currentDon+[-inf]*(length-len(currentDon))
 
-   ag_tuple_pos = [p for p,e in enumerate(genomicSeq) if p>1 and genomicSeq[p-1]=='a' and genomicSeq[p]=='g' ]
-   gt_tuple_pos = [p for p,e in enumerate(genomicSeq) if p>0 and p<len(genomicSeq)-1 and e=='g' and (genomicSeq[p+1]=='t' or genomicSeq[p+1]=='c')]
+      ag_tuple_pos = [p for p,e in enumerate(genomicSeq) if p>1 and p<len(genomicSeq) and genomicSeq[p-1]=='a' and genomicSeq[p]=='g']
+      gt_tuple_pos = [p for p,e in enumerate(genomicSeq) if p>0 and p<len(genomicSeq)-1 and e=='g' and (genomicSeq[p+1]=='t' or genomicSeq[p+1]=='c')]
 
-   assert ag_tuple_pos == [p for p,e in enumerate(currentAcc) if e != -inf and p > 1], pdb.set_trace()
-   assert gt_tuple_pos == [p for p,e in enumerate(currentDon) if e != -inf and p > 0], pdb.set_trace()
-   assert len(currentAcc) == len(currentDon)
+   if check_assertions:
+      assert ag_tuple_pos == [p for p,e in enumerate(currentAcc) if e != -inf and p > 1], pdb.set_trace()
+      assert gt_tuple_pos == [p for p,e in enumerate(currentDon) if e != -inf and p > 0], pdb.set_trace()
+      assert len(currentAcc) == len(currentDon), pdb.set_trace()
+   else
+      for pos in ag_tuple_pos:
+         if currentAcc[pos] == -inf:
+            currentAcc[pos] = 0.01
+
+      for pos in gt_tuple_pos:
+         if currentDon[pos] == -inf:
+            currentDon[pos] = 0.01
 
    return genomicSeq, currentAcc, currentDon
+
+
+def checks():
+   start  = 1001
+   stop   = start+1234
+   dna_flat_files    =  '/fml/ag-raetsch/share/projects/genomes/A_thaliana_best/genome/'
+
+   for chromo in range(1,6):
+         p_seq,_p_acc,_p_don = get_seq_and_scores(chromo,'+',start,stop,dna_flat_files)
+         n_seq,n_acc,n_don = get_seq_and_scores(chromo,'-',start,stop,dna_flat_files)
+
+         print p_seq == reverse_complement(n_seq)
+
+         
+if __name__ == '__main__':
+   checks()