support new literal types in Python 2.6 (PY-317)

python/src/com/jetbrains/python/lexer/Python.flex

@@ -19,11 +19,13 @@ DIGIT = [0-9]
 NONZERODIGIT = [1-9]
 OCTDIGIT = [0-7]
 HEXDIGIT = [0-9A-Fa-f]
+BINDIGIT = [01]
 
 HEXINTEGER = 0[Xx]({HEXDIGIT})+
-OCTINTEGER = 0({OCTDIGIT})+
+OCTINTEGER = 0[Oo]?({OCTDIGIT})+
+BININTEGER = 0[Bb]({BINDIGIT})+
 DECIMALINTEGER = (({NONZERODIGIT}({DIGIT})*)|0)
-INTEGER = {DECIMALINTEGER}|{OCTINTEGER}|{HEXINTEGER}
+INTEGER = {DECIMALINTEGER}|{OCTINTEGER}|{HEXINTEGER}|{BININTEGER}
 LONGINTEGER = {INTEGER}[Ll]
 
 END_OF_LINE_COMMENT="#"[^\r\n]*
@@ -39,7 +41,7 @@ EXPONENT = [eE][+\-]?({DIGIT})+
 
 IMAGNUMBER=(({FLOATNUMBER})|({INTPART}))[Jj]
 
-STRING_LITERAL=[Uu]?({RAW_STRING}|{QUOTED_STRING})
+STRING_LITERAL=[UuBb]?({RAW_STRING}|{QUOTED_STRING})
 RAW_STRING=[Rr]{QUOTED_STRING}
 QUOTED_STRING=({TRIPLE_APOS_LITERAL})|({QUOTED_LITERAL})|({DOUBLE_QUOTED_LITERAL})|({TRIPLE_QUOTED_LITERAL})
 QUOTED_LITERAL="'"([^\\\'\r\n]|{ESCAPE_SEQUENCE}|(\\[\r\n]))*("'"|\\)?

python/src/com/jetbrains/python/lexer/_PythonLexer.java

@@ -1,4 +1,4 @@
-/* The following code was generated by JFlex 1.4.1 on 15.01.10 16:04 */
+/* The following code was generated by JFlex 1.4.1 on 15.01.10 19:16 */
 
 /* It's an automatically generated code. Do not modify it. */
 package com.jetbrains.python.lexer;
@@ -11,7 +11,7 @@ import com.jetbrains.python.PyTokenTypes;
 /**
  * This class is a scanner generated by 
  * <a href="http://www.jflex.de/">JFlex</a> 1.4.1
- * on 15.01.10 16:04 from the specification file
+ * on 15.01.10 19:16 from the specification file
  * <tt>C:/JetBrains/IDEA/tools/lexer/../../python/src/com/jetbrains/python/lexer/Python.flex</tt>
  */
 class _PythonLexer implements FlexLexer {
@@ -25,15 +25,15 @@ class _PythonLexer implements FlexLexer {
    * Translates characters to character classes
    */
   private static final String ZZ_CMAP_PACKED = 
-    "\11\0\1\25\1\10\1\0\1\26\1\10\22\0\1\24\1\66\1\22"+
+    "\11\0\1\30\1\13\1\0\1\31\1\13\22\0\1\27\1\71\1\25"+
-    "\1\7\1\0\1\60\1\61\1\20\1\70\1\71\1\56\1\54\1\77"+
+    "\1\12\1\0\1\63\1\64\1\23\1\73\1\74\1\61\1\57\1\102"+
-    "\1\14\1\12\1\57\1\1\7\3\2\2\1\100\1\102\1\65\1\55"+
+    "\1\17\1\15\1\62\1\1\1\5\6\3\2\2\1\103\1\105\1\70"+
-    "\1\64\1\0\1\76\4\4\1\13\1\4\3\11\1\15\1\11\1\6"+
+    "\1\60\1\67\1\0\1\101\1\4\1\10\2\4\1\16\1\4\3\14"+
-    "\5\11\1\17\2\11\1\16\2\11\1\5\2\11\1\72\1\21\1\73"+
+    "\1\20\1\14\1\11\2\14\1\7\2\14\1\22\2\14\1\21\2\14"+
-    "\1\63\1\11\1\101\1\27\1\36\1\40\1\31\1\33\1\44\1\51"+
+    "\1\6\2\14\1\75\1\24\1\76\1\66\1\14\1\104\1\32\1\41"+
-    "\1\53\1\23\1\15\1\37\1\41\1\50\1\30\1\42\1\46\1\11"+
+    "\1\43\1\34\1\36\1\47\1\54\1\56\1\26\1\20\1\42\1\44"+
-    "\1\34\1\32\1\35\1\43\1\11\1\52\1\45\1\47\1\11\1\74"+
+    "\1\53\1\33\1\45\1\51\1\14\1\37\1\35\1\40\1\46\1\14"+
-    "\1\62\1\75\1\67\uff81\0";
+    "\1\55\1\50\1\52\1\14\1\77\1\65\1\100\1\72\uff81\0";
 
   /** 
    * Translates characters to character classes
@@ -46,15 +46,15 @@ class _PythonLexer implements FlexLexer {
   private static final int [] ZZ_ACTION = zzUnpackAction();
 
   private static final String ZZ_ACTION_PACKED_0 =
-    "\1\0\1\1\2\2\1\3\1\4\1\5\1\6\1\7"+
+    "\1\0\1\1\2\2\2\3\1\4\1\5\1\6\1\7"+
-    "\2\3\1\10\1\11\1\10\1\3\1\12\1\13\1\14"+
+    "\1\3\1\10\1\11\1\10\1\3\1\12\1\13\1\14"+
     "\17\3\1\15\1\16\1\17\1\20\1\21\1\22\1\23"+
     "\1\24\1\25\1\26\1\1\1\27\1\30\1\31\1\32"+
     "\1\33\1\34\1\35\1\36\1\37\1\40\1\41\1\42"+
-    "\1\2\2\0\1\2\1\43\1\0\1\44\1\45\6\10"+
+    "\1\2\4\0\1\2\1\43\1\0\1\44\1\45\6\10"+
     "\1\46\1\47\1\50\16\3\1\51\7\3\1\52\1\53"+
     "\1\54\1\55\1\56\1\57\1\60\1\61\1\62\1\63"+
-    "\1\64\1\65\1\66\1\67\1\70\1\71\1\2\1\43"+
+    "\1\64\1\65\1\66\1\67\1\70\1\71\3\2\1\43"+
     "\1\0\1\10\2\0\1\3\1\72\1\3\1\73\1\74"+
     "\1\75\6\3\1\76\6\3\1\77\4\3\1\100\1\101"+
     "\1\102\1\103\6\0\2\3\1\104\1\105\1\106\10\3"+
@@ -63,7 +63,7 @@ class _PythonLexer implements FlexLexer {
     "\1\121\1\3\1\122\1\3\1\123\1\3\1\124\1\125";
 
   private static int [] zzUnpackAction() {
-    int [] result = new int[197];
+    int [] result = new int[201];
     int offset = 0;
     offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
     return result;
@@ -88,34 +88,35 @@ class _PythonLexer implements FlexLexer {
   private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
 
   private static final String ZZ_ROWMAP_PACKED_0 =
-    "\0\0\0\103\0\206\0\311\0\u010c\0\u014f\0\u0192\0\u01d5"+
+    "\0\0\0\106\0\214\0\322\0\u0118\0\u015e\0\u01a4\0\u01ea"+
-    "\0\u0218\0\u025b\0\u029e\0\u02e1\0\103\0\u0324\0\u0367\0\103"+
+    "\0\u0230\0\u0276\0\u02bc\0\u0302\0\106\0\u0348\0\u038e\0\106"+
-    "\0\103\0\103\0\u03aa\0\u03ed\0\u0430\0\u0473\0\u04b6\0\u04f9"+
+    "\0\106\0\106\0\u03d4\0\u041a\0\u0460\0\u04a6\0\u04ec\0\u0532"+
-    "\0\u053c\0\u057f\0\u05c2\0\u0605\0\u0648\0\u068b\0\u06ce\0\u0711"+
+    "\0\u0578\0\u05be\0\u0604\0\u064a\0\u0690\0\u06d6\0\u071c\0\u0762"+
-    "\0\u0754\0\u0797\0\u07da\0\u081d\0\u0860\0\u08a3\0\u08e6\0\u0929"+
+    "\0\u07a8\0\u07ee\0\u0834\0\u087a\0\u08c0\0\u0906\0\u094c\0\u0992"+
-    "\0\u096c\0\u09af\0\u09f2\0\u0a35\0\103\0\103\0\103\0\103"+
+    "\0\u09d8\0\u0a1e\0\u0a64\0\u0aaa\0\106\0\106\0\106\0\106"+
-    "\0\103\0\103\0\103\0\103\0\103\0\103\0\103\0\103"+
+    "\0\106\0\106\0\106\0\106\0\106\0\106\0\106\0\106"+
-    "\0\u0a78\0\u0abb\0\u0afe\0\103\0\u0b41\0\u0b84\0\103\0\103"+
+    "\0\u0af0\0\u0b36\0\u0b7c\0\u0bc2\0\u0c08\0\106\0\u0c4e\0\u0c94"+
-    "\0\u0bc7\0\u0c0a\0\u0c4d\0\u0c90\0\u0cd3\0\u0d16\0\u010c\0\u010c"+
+    "\0\106\0\106\0\u0cda\0\u0d20\0\u0d66\0\u0dac\0\u0df2\0\u0e38"+
-    "\0\u010c\0\u0d59\0\u0d9c\0\u0ddf\0\u0e22\0\u0e65\0\u0ea8\0\u0eeb"+
+    "\0\u0118\0\u0118\0\u0118\0\u0e7e\0\u0ec4\0\u0f0a\0\u0f50\0\u0f96"+
-    "\0\u0f2e\0\u0f71\0\u0fb4\0\u0ff7\0\u103a\0\u107d\0\u10c0\0\u010c"+
+    "\0\u0fdc\0\u1022\0\u1068\0\u10ae\0\u10f4\0\u113a\0\u1180\0\u11c6"+
-    "\0\u1103\0\u1146\0\u1189\0\u11cc\0\u120f\0\u1252\0\u1295\0\103"+
+    "\0\u120c\0\u0118\0\u1252\0\u1298\0\u12de\0\u1324\0\u136a\0\u13b0"+
-    "\0\103\0\103\0\u12d8\0\103\0\u131b\0\103\0\103\0\103"+
+    "\0\u13f6\0\106\0\106\0\106\0\u143c\0\106\0\u1482\0\106"+
-    "\0\103\0\103\0\u135e\0\103\0\103\0\u13a1\0\103\0\u13e4"+
+    "\0\106\0\106\0\106\0\106\0\u14c8\0\106\0\106\0\u150e"+
-    "\0\u1427\0\u146a\0\103\0\u14ad\0\u14f0\0\u1533\0\u010c\0\u1576"+
+    "\0\106\0\u1554\0\u159a\0\u15e0\0\u1626\0\u166c\0\106\0\u16b2"+
-    "\0\u010c\0\u010c\0\u010c\0\u15b9\0\u15fc\0\u163f\0\u1682\0\u16c5"+
+    "\0\u16f8\0\u173e\0\u0118\0\u1784\0\u0118\0\u0118\0\u0118\0\u17ca"+
-    "\0\u1708\0\u010c\0\u174b\0\u178e\0\u17d1\0\u1814\0\u1857\0\u189a"+
+    "\0\u1810\0\u1856\0\u189c\0\u18e2\0\u1928\0\u0118\0\u196e\0\u19b4"+
-    "\0\u010c\0\u18dd\0\u1920\0\u1963\0\u19a6\0\103\0\103\0\103"+
+    "\0\u19fa\0\u1a40\0\u1a86\0\u1acc\0\u0118\0\u1b12\0\u1b58\0\u1b9e"+
-    "\0\103\0\u19e9\0\u1a2c\0\u1a6f\0\u1ab2\0\u1af5\0\u1b38\0\u1b7b"+
+    "\0\u1be4\0\106\0\106\0\106\0\106\0\u1c2a\0\u1c70\0\u1cb6"+
-    "\0\u1bbe\0\u010c\0\u010c\0\u010c\0\u1c01\0\u1c44\0\u1c87\0\u1cca"+
+    "\0\u1cfc\0\u1d42\0\u1d88\0\u1dce\0\u1e14\0\u0118\0\u0118\0\u0118"+
-    "\0\u1d0d\0\u1d50\0\u1d93\0\u1dd6\0\u010c\0\u010c\0\u1e19\0\u1e5c"+
+    "\0\u1e5a\0\u1ea0\0\u1ee6\0\u1f2c\0\u1f72\0\u1fb8\0\u1ffe\0\u2044"+
-    "\0\u1e9f\0\u1ee2\0\u1f25\0\u1f68\0\u1fab\0\u1fee\0\u2031\0\u2074"+
+    "\0\u0118\0\u0118\0\u208a\0\u20d0\0\u2116\0\u215c\0\u21a2\0\u21e8"+
-    "\0\u010c\0\u20b7\0\u010c\0\u010c\0\u20fa\0\u213d\0\u2180\0\u010c"+
+    "\0\u222e\0\u2274\0\u22ba\0\u2300\0\u0118\0\u2346\0\u0118\0\u0118"+
-    "\0\u21c3\0\u010c\0\u010c\0\u010c\0\u010c\0\u010c\0\u2206\0\u010c"+
+    "\0\u238c\0\u23d2\0\u2418\0\u0118\0\u245e\0\u0118\0\u0118\0\u0118"+
-    "\0\u2249\0\u010c\0\u228c\0\u010c\0\u010c";
+    "\0\u0118\0\u0118\0\u24a4\0\u0118\0\u24ea\0\u0118\0\u2530\0\u0118"+
+    "\0\u0118";
 
   private static int [] zzUnpackRowMap() {
-    int [] result = new int[197];
+    int [] result = new int[201];
     int offset = 0;
     offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
     return result;
@@ -138,192 +139,200 @@ class _PythonLexer implements FlexLexer {
   private static final int [] ZZ_TRANS = zzUnpackTrans();
 
   private static final String ZZ_TRANS_PACKED_0 =
-    "\1\2\1\3\2\4\3\5\1\6\1\7\1\5\1\10"+
+    "\1\2\1\3\2\4\1\5\1\4\2\5\1\6\1\5"+
-    "\1\5\1\11\1\5\1\12\1\13\1\14\1\15\1\16"+
+    "\1\7\1\10\1\5\1\11\1\5\1\12\1\5\1\6"+
-    "\1\17\1\20\1\21\1\22\1\23\1\24\1\25\1\5"+
+    "\1\13\1\14\1\15\1\16\1\17\1\20\1\21\1\22"+
-    "\1\26\1\27\1\30\1\31\1\5\1\32\1\33\1\34"+
+    "\1\23\1\24\1\25\1\5\1\26\1\27\1\30\1\31"+
-    "\1\12\1\35\1\5\1\36\1\37\1\5\1\40\1\41"+
+    "\1\5\1\32\1\33\1\34\1\6\1\35\1\5\1\36"+
-    "\1\5\1\42\1\43\1\44\1\45\1\46\1\47\1\50"+
+    "\1\37\1\5\1\40\1\41\1\5\1\42\1\43\1\44"+
-    "\1\51\1\52\1\53\1\54\1\55\1\56\1\57\1\60"+
+    "\1\45\1\46\1\47\1\50\1\51\1\52\1\53\1\54"+
-    "\1\61\1\62\1\63\1\64\1\65\1\66\1\67\1\70"+
+    "\1\55\1\56\1\57\1\60\1\61\1\62\1\63\1\64"+
-    "\104\0\1\71\1\72\1\71\1\0\1\73\1\74\3\0"+
+    "\1\65\1\66\1\67\1\70\107\0\1\71\1\72\1\71"+
-    "\1\75\1\76\1\0\1\77\15\0\1\76\5\0\1\74"+
+    "\1\0\1\71\1\73\1\74\1\75\1\76\3\0\1\77"+
-    "\3\0\1\73\36\0\3\4\2\0\1\74\3\0\1\75"+
+    "\1\100\1\0\1\101\15\0\1\100\2\0\1\75\2\0"+
-    "\1\76\1\0\1\77\15\0\1\76\5\0\1\74\42\0"+
+    "\1\76\1\74\2\0\1\73\36\0\3\4\1\0\1\4"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\3\0\1\76\3\0\1\77\1\100\1\0\1\101\15\0"+
-    "\1\5\3\0\25\5\27\0\10\6\1\0\72\6\10\0"+
+    "\1\100\5\0\1\76\42\0\11\5\2\0\1\5\1\0"+
-    "\1\7\73\0\3\75\154\0\1\100\26\0\6\5\2\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\25\5\30\0"+
-    "\1\5\1\0\1\5\1\0\2\5\1\13\1\14\1\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\2\5\1\13"+
-    "\1\16\1\5\3\0\5\5\1\13\17\5\30\0\6\5"+
+    "\1\14\1\0\1\16\1\5\3\0\5\5\1\13\17\5"+
+    "\27\0\13\7\1\0\72\7\13\0\1\10\73\0\3\77"+
+    "\1\0\1\77\160\0\1\102\26\0\11\5\2\0\1\5"+
+    "\1\0\1\5\1\0\3\5\1\14\1\0\1\16\1\5"+
+    "\3\0\25\5\27\0\13\103\1\0\7\103\1\104\1\105"+
+    "\61\103\13\106\1\0\10\106\1\107\1\110\60\106\1\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\1\5\1\111\1\5\1\112\11\5\1\113"+
+    "\3\5\1\114\3\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\1\5\1\115"+
+    "\1\5\1\116\21\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\13\5\1\117"+
+    "\11\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\4\5\1\120\20\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\12\5\1\121\3\5\1\122\6\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\1\14"+
+    "\1\0\1\16\1\5\3\0\1\123\3\5\1\124\20\5"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\3\0\1\5\3\0\5\5\1\125\17\5\30\0\11\5"+
+    "\2\0\1\5\1\0\1\5\1\0\2\5\1\13\1\14"+
+    "\1\0\1\16\1\5\3\0\5\5\1\126\17\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\12\5\1\127\1\130\11\5\30\0\11\5"+
+    "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
+    "\3\0\1\131\24\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\5\5\1\132"+
+    "\17\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\133\3\0\5\5\1\134\5\5\1\135"+
+    "\11\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\1\136\24\5\30\0\11\5"+
+    "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\137"+
+    "\3\0\25\5\30\0\11\5\2\0\1\5\1\0\1\5"+
+    "\1\0\3\5\3\0\1\5\3\0\12\5\1\140\12\5"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\3\0\1\5\3\0\24\5\1\141\107\0\1\142\105\0"+
+    "\1\143\105\0\1\144\1\145\104\0\1\146\1\0\1\147"+
+    "\103\0\1\150\105\0\1\151\105\0\1\152\105\0\1\153"+
+    "\105\0\1\154\6\0\1\155\76\0\1\156\6\0\1\157"+
+    "\1\160\75\0\1\161\26\0\1\71\1\72\1\71\1\0"+
+    "\1\71\3\0\1\76\3\0\1\77\1\100\1\0\1\101"+
+    "\15\0\1\100\5\0\1\76\42\0\3\72\1\0\1\72"+
+    "\7\0\1\77\1\100\1\0\1\101\15\0\1\100\50\0"+
+    "\5\162\2\0\1\162\5\0\1\162\13\0\1\162\1\0"+
+    "\1\162\1\0\1\162\2\0\1\162\1\0\1\162\3\0"+
+    "\1\162\37\0\1\163\1\0\1\163\1\0\1\163\101\0"+
+    "\1\164\3\0\1\164\101\0\3\77\1\0\1\77\10\0"+
+    "\1\100\1\0\1\101\15\0\1\100\50\0\3\165\1\0"+
+    "\1\165\11\0\1\166\37\0\1\166\26\0\13\103\1\0"+
+    "\7\103\1\167\1\105\61\103\23\0\1\170\62\0\106\103"+
+    "\13\106\1\0\10\106\1\107\1\167\166\106\25\0\1\171"+
+    "\61\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\3\0\1\5\3\0\17\5\1\172\5\5\30\0\11\5"+
+    "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
+    "\3\0\2\5\1\173\22\5\30\0\11\5\2\0\1\5"+
+    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\3\5"+
+    "\1\174\21\5\30\0\11\5\2\0\1\5\1\0\1\5"+
+    "\1\0\3\5\3\0\1\5\3\0\6\5\1\175\16\5"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\3\0\1\5\3\0\12\5\1\176\2\5\1\177\7\5"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\3\0\1\200\3\0\3\5\1\201\21\5\30\0\11\5"+
+    "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
+    "\3\0\4\5\1\202\4\5\1\203\13\5\30\0\11\5"+
+    "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\204"+
+    "\3\0\25\5\30\0\11\5\2\0\1\5\1\0\1\5"+
+    "\1\0\3\5\3\0\1\5\3\0\6\5\1\205\16\5"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\3\0\1\5\3\0\20\5\1\206\4\5\30\0\11\5"+
     "\2\0\1\5\1\0\1\5\1\0\3\5\1\14\1\0"+
-    "\1\16\1\5\3\0\25\5\27\0\10\101\1\0\7\101"+
+    "\1\16\1\5\3\0\4\5\1\207\20\5\30\0\11\5"+
-    "\1\102\1\103\61\101\10\104\1\0\10\104\1\105\1\106"+
-    "\60\104\1\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\1\5\1\107\1\5\1\110"+
-    "\11\5\1\111\3\5\1\112\3\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\1\5\1\113\1\5\1\114\21\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\13\5\1\115\11\5\30\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\4\5\1\116"+
-    "\20\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\12\5\1\117\3\5\1\120"+
-    "\6\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\1\14\1\0\1\16\1\5\3\0\1\121\3\5"+
-    "\1\122\20\5\30\0\6\5\2\0\1\5\1\0\1\5"+
-    "\1\0\3\5\3\0\1\5\3\0\5\5\1\123\17\5"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\3\0\1\5\3\0\5\5\1\124\17\5\30\0\6\5"+
     "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
-    "\3\0\12\5\1\125\1\126\11\5\30\0\6\5\2\0"+
+    "\3\0\1\210\24\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\1\5\1\211"+
+    "\23\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\21\5\1\212\3\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\1\5\1\213\23\5\30\0\11\5\2\0"+
     "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\1\127\24\5\30\0\6\5\2\0\1\5\1\0\1\5"+
+    "\13\5\1\214\11\5\30\0\11\5\2\0\1\5\1\0"+
-    "\1\0\3\5\3\0\1\5\3\0\5\5\1\130\17\5"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\5\5\1\215"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\17\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\0\1\131\3\0\5\5\1\132\5\5\1\133\11\5"+
+    "\3\5\3\0\1\5\3\0\3\5\1\216\21\5\30\0"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\3\0\1\5\3\0\1\134\24\5\30\0\6\5\2\0"+
+    "\1\5\3\0\4\5\1\217\20\5\30\0\11\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\135\3\0"+
-    "\25\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\12\5\1\136\12\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\24\5\1\137\104\0\1\140\102\0\1\141"+
-    "\102\0\1\142\1\143\101\0\1\144\1\0\1\145\100\0"+
-    "\1\146\102\0\1\147\102\0\1\150\102\0\1\151\102\0"+
-    "\1\152\6\0\1\153\73\0\1\154\6\0\1\155\1\156"+
-    "\72\0\1\157\26\0\1\71\1\72\1\71\2\0\1\74"+
-    "\3\0\1\75\1\76\1\0\1\77\15\0\1\76\5\0"+
-    "\1\74\42\0\3\72\6\0\1\75\1\76\1\0\1\77"+
-    "\15\0\1\76\50\0\4\160\6\0\1\160\13\0\1\160"+
-    "\1\0\1\160\1\0\1\160\2\0\1\160\1\0\1\160"+
-    "\3\0\1\160\37\0\3\75\7\0\1\76\1\0\1\77"+
-    "\15\0\1\76\50\0\3\161\10\0\1\162\37\0\1\162"+
-    "\26\0\10\101\1\0\7\101\1\163\1\103\61\101\20\0"+
-    "\1\164\62\0\103\101\10\104\1\0\10\104\1\105\1\163"+
-    "\163\104\22\0\1\165\61\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\17\5\1\166"+
-    "\5\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\2\5\1\167\22\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\3\5\1\170\21\5\30\0\6\5\2\0"+
     "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\6\5\1\171\16\5\30\0\6\5\2\0\1\5\1\0"+
+    "\13\5\1\220\11\5\30\0\11\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\12\5\1\172"+
+    "\1\5\1\0\3\5\3\0\1\221\3\0\25\5\107\0"+
-    "\2\5\1\173\7\5\30\0\6\5\2\0\1\5\1\0"+
+    "\1\222\105\0\1\223\105\0\1\224\105\0\1\225\26\0"+
-    "\1\5\1\0\3\5\3\0\1\174\3\0\3\5\1\175"+
+    "\5\162\2\0\1\162\1\76\4\0\1\162\13\0\1\162"+
-    "\21\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
+    "\1\0\1\162\1\0\1\162\2\0\1\162\1\0\1\162"+
-    "\3\5\3\0\1\5\3\0\4\5\1\176\4\5\1\177"+
+    "\1\76\2\0\1\162\37\0\1\163\1\0\1\163\1\0"+
-    "\13\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
+    "\1\163\3\0\1\76\32\0\1\76\42\0\1\164\3\0"+
-    "\3\5\3\0\1\200\3\0\25\5\30\0\6\5\2\0"+
+    "\1\164\3\0\1\76\32\0\1\76\42\0\3\165\1\0"+
+    "\1\165\12\0\1\101\66\0\3\165\1\0\1\165\100\0"+
+    "\23\170\1\226\1\227\1\170\1\230\57\170\24\171\1\231"+
+    "\1\232\1\233\57\171\1\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\13\5\1\234"+
+    "\11\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\4\5\1\235\20\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\15\5\1\236\7\5\30\0\11\5\2\0"+
     "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\6\5\1\201\16\5\30\0\6\5\2\0\1\5\1\0"+
+    "\4\5\1\237\20\5\30\0\11\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\20\5\1\202"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\11\5\1\240"+
-    "\4\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
+    "\13\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\4\5\1\203\20\5\30\0"+
+    "\3\5\3\0\1\5\3\0\4\5\1\241\20\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\1\204\24\5\30\0\6\5\2\0\1\5"+
+    "\1\5\3\0\3\5\1\242\21\5\30\0\11\5\2\0"+
-    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\1\5"+
+    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\1\205\23\5\30\0\6\5\2\0\1\5\1\0\1\5"+
+    "\14\5\1\243\10\5\30\0\11\5\2\0\1\5\1\0"+
-    "\1\0\3\5\3\0\1\5\3\0\21\5\1\206\3\5"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\1\244\24\5"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\3\0\1\5\3\0\1\5\1\207\23\5\30\0\6\5"+
+    "\3\0\1\5\3\0\3\5\1\245\21\5\30\0\11\5"+
     "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
-    "\3\0\13\5\1\210\11\5\30\0\6\5\2\0\1\5"+
+    "\3\0\6\5\1\246\16\5\30\0\11\5\2\0\1\5"+
-    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\5\5"+
+    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\7\5"+
-    "\1\211\17\5\30\0\6\5\2\0\1\5\1\0\1\5"+
+    "\1\247\15\5\30\0\11\5\2\0\1\5\1\0\1\5"+
-    "\1\0\3\5\3\0\1\5\3\0\3\5\1\212\21\5"+
+    "\1\0\3\5\3\0\1\5\3\0\1\250\24\5\30\0"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\3\0\1\5\3\0\4\5\1\213\20\5\30\0\6\5"+
+    "\1\5\3\0\21\5\1\251\3\5\30\0\11\5\2\0"+
+    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
+    "\3\5\1\252\21\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\12\5\1\253"+
+    "\12\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\7\5\1\254\15\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\12\5\1\255\12\5\27\0\23\170\1\256"+
+    "\1\227\1\170\1\257\210\170\1\257\1\227\1\170\1\257"+
+    "\57\170\132\171\1\231\1\260\1\261\103\171\1\231\2\261"+
+    "\57\171\1\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\5\5\1\262\17\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\5\5\1\263\17\5\30\0\11\5\2\0"+
+    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
+    "\17\5\1\264\5\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\4\5\1\265"+
+    "\20\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\5\5\1\266\17\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\10\5\1\267\14\5\30\0\11\5\2\0"+
+    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
+    "\3\5\1\270\21\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\271\3\0\25\5\30\0"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\1\5\3\0\2\5\1\272\22\5\30\0\11\5\2\0"+
+    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
+    "\12\5\1\273\12\5\30\0\11\5\2\0\1\5\1\0"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\2\5\1\274"+
+    "\22\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
+    "\3\5\3\0\1\5\3\0\1\275\24\5\30\0\11\5"+
     "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
-    "\3\0\13\5\1\214\11\5\30\0\6\5\2\0\1\5"+
+    "\3\0\4\5\1\276\20\5\27\0\23\170\1\167\1\227"+
-    "\1\0\1\5\1\0\3\5\3\0\1\215\3\0\25\5"+
+    "\1\170\1\0\102\170\1\0\1\227\1\170\1\0\57\170"+
-    "\104\0\1\216\102\0\1\217\102\0\1\220\102\0\1\221"+
+    "\24\171\1\231\1\167\1\0\103\171\1\231\2\0\57\171"+
-    "\26\0\4\160\1\0\1\74\4\0\1\160\13\0\1\160"+
+    "\1\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\1\0\1\160\1\0\1\160\2\0\1\160\1\0\1\160"+
+    "\3\0\1\5\3\0\6\5\1\277\16\5\30\0\11\5"+
-    "\1\74\2\0\1\160\37\0\3\161\11\0\1\77\66\0"+
-    "\3\161\77\0\20\164\1\222\1\223\1\164\1\224\57\164"+
-    "\21\165\1\225\1\226\1\227\57\165\1\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\13\5\1\230\11\5\30\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\4\5\1\231"+
-    "\20\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\15\5\1\232\7\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\4\5\1\233\20\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\11\5\1\234\13\5\30\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\4\5\1\235"+
-    "\20\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\3\5\1\236\21\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\14\5\1\237\10\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\1\240\24\5\30\0\6\5\2\0\1\5\1\0\1\5"+
-    "\1\0\3\5\3\0\1\5\3\0\3\5\1\241\21\5"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\3\0\1\5\3\0\6\5\1\242\16\5\30\0\6\5"+
     "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
-    "\3\0\7\5\1\243\15\5\30\0\6\5\2\0\1\5"+
+    "\3\0\6\5\1\300\16\5\30\0\11\5\2\0\1\5"+
-    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\1\244"+
+    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\6\5"+
-    "\24\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
+    "\1\301\16\5\30\0\11\5\2\0\1\5\1\0\1\5"+
-    "\3\5\3\0\1\5\3\0\21\5\1\245\3\5\30\0"+
+    "\1\0\3\5\3\0\1\5\3\0\1\5\1\302\23\5"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
+    "\30\0\11\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\1\5\3\0\3\5\1\246\21\5\30\0\6\5\2\0"+
+    "\3\0\1\5\3\0\1\5\1\303\23\5\30\0\11\5"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\12\5\1\247\12\5\30\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\7\5\1\250"+
-    "\15\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\12\5\1\251\12\5\27\0"+
-    "\20\164\1\252\1\223\1\164\1\253\202\164\1\253\1\223"+
-    "\1\164\1\253\57\164\124\165\1\225\1\254\1\255\100\165"+
-    "\1\225\2\255\57\165\1\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\5\5\1\256"+
-    "\17\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\5\5\1\257\17\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\17\5\1\260\5\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\4\5\1\261\20\5\30\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\5\5\1\262"+
-    "\17\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\10\5\1\263\14\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\3\5\1\264\21\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\265\3\0"+
-    "\25\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
-    "\3\5\3\0\1\5\3\0\2\5\1\266\22\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\12\5\1\267\12\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\2\5\1\270\22\5\30\0\6\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\1\271\24\5"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\3\0\1\5\3\0\4\5\1\272\20\5\27\0\20\164"+
-    "\1\163\1\223\1\164\1\0\77\164\1\0\1\223\1\164"+
-    "\1\0\57\164\21\165\1\225\1\163\1\0\100\165\1\225"+
-    "\2\0\57\165\1\0\6\5\2\0\1\5\1\0\1\5"+
-    "\1\0\3\5\3\0\1\5\3\0\6\5\1\273\16\5"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
-    "\3\0\1\5\3\0\6\5\1\274\16\5\30\0\6\5"+
     "\2\0\1\5\1\0\1\5\1\0\3\5\3\0\1\5"+
-    "\3\0\6\5\1\275\16\5\30\0\6\5\2\0\1\5"+
+    "\3\0\1\304\24\5\30\0\11\5\2\0\1\5\1\0"+
-    "\1\0\1\5\1\0\3\5\3\0\1\5\3\0\1\5"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\12\5\1\305"+
-    "\1\276\23\5\30\0\6\5\2\0\1\5\1\0\1\5"+
+    "\12\5\30\0\11\5\2\0\1\5\1\0\1\5\1\0"+
-    "\1\0\3\5\3\0\1\5\3\0\1\5\1\277\23\5"+
+    "\3\5\3\0\1\5\3\0\12\5\1\306\12\5\30\0"+
-    "\30\0\6\5\2\0\1\5\1\0\1\5\1\0\3\5"+
+    "\11\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\3\0\1\5\3\0\1\300\24\5\30\0\6\5\2\0"+
+    "\1\5\3\0\14\5\1\307\10\5\30\0\11\5\2\0"+
     "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\12\5\1\301\12\5\30\0\6\5\2\0\1\5\1\0"+
+    "\20\5\1\310\4\5\30\0\11\5\2\0\1\5\1\0"+
-    "\1\5\1\0\3\5\3\0\1\5\3\0\12\5\1\302"+
+    "\1\5\1\0\3\5\3\0\1\5\3\0\4\5\1\311"+
-    "\12\5\30\0\6\5\2\0\1\5\1\0\1\5\1\0"+
+    "\20\5\27\0";
-    "\3\5\3\0\1\5\3\0\14\5\1\303\10\5\30\0"+
-    "\6\5\2\0\1\5\1\0\1\5\1\0\3\5\3\0"+
-    "\1\5\3\0\20\5\1\304\4\5\30\0\6\5\2\0"+
-    "\1\5\1\0\1\5\1\0\3\5\3\0\1\5\3\0"+
-    "\4\5\1\305\20\5\27\0";
 
   private static int [] zzUnpackTrans() {
-    int [] result = new int[8911];
+    int [] result = new int[9590];
     int offset = 0;
     offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
     return result;
@@ -365,13 +374,13 @@ class _PythonLexer implements FlexLexer {
 
   private static final String ZZ_ATTRIBUTE_PACKED_0 =
     "\1\0\1\11\12\1\1\11\2\1\3\11\32\1\14\11"+
-    "\1\1\2\0\1\11\1\1\1\0\2\11\37\1\3\11"+
+    "\1\1\4\0\1\11\1\1\1\0\2\11\37\1\3\11"+
     "\1\1\1\11\1\1\5\11\1\1\2\11\1\1\1\11"+
-    "\2\1\1\0\1\11\2\0\30\1\4\11\6\0\22\1"+
+    "\4\1\1\0\1\11\2\0\30\1\4\11\6\0\22\1"+
     "\4\0\30\1";
 
   private static int [] zzUnpackAttribute() {
-    int [] result = new int[197];
+    int [] result = new int[201];
     int offset = 0;
     offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
     return result;
@@ -454,7 +463,7 @@ class _PythonLexer implements FlexLexer {
     char [] map = new char[0x10000];
     int i = 0;  /* index in packed string  */
     int j = 0;  /* index in unpacked array */
-    while (i < 168) {
+    while (i < 178) {
       int  count = packed.charAt(i++);
       char value = packed.charAt(i++);
       do map[j++] = value; while (--count > 0);

python/src/com/jetbrains/python/validation/StringConstantAnnotator.java

@@ -21,7 +21,7 @@ public class StringConstantAnnotator extends PyAnnotator {
     int index = 0;
     // skip 'unicode' and 'raw' modifiers
     char first_quote = s.charAt(index);
-    if ((first_quote == 'u') || (first_quote == 'U')) index += 1;
+    if (Character.toLowerCase(first_quote) == 'u' || Character.toLowerCase(first_quote) == 'b') index += 1;
     first_quote = s.charAt(index);
     if ((first_quote == 'r') || (first_quote == 'R')) index += 1;
 

python/testData/highlighting/stringBytesLiteralOK.py

@@ -0,0 +1 @@
+print(b'foo')

python/testSrc/com/jetbrains/python/PythonHighlightingTest.java

@@ -6,6 +6,8 @@ import com.intellij.openapi.editor.colors.TextAttributesKey;
 import com.intellij.openapi.editor.markup.EffectType;
 import com.intellij.openapi.editor.markup.TextAttributes;
 import com.jetbrains.python.fixtures.PyLightFixtureTestCase;
+import com.jetbrains.python.psi.LanguageLevel;
+import com.jetbrains.python.psi.impl.PythonLanguageLevelPusher;
 import org.jetbrains.annotations.NonNls;
 
 import java.awt.*;
@@ -90,6 +92,18 @@ public class PythonHighlightingTest extends PyLightFixtureTestCase {
     doTest();    
   }
 
+  public void testStringBytesLiteralOK() throws Exception {
+    PythonLanguageLevelPusher.FORCE_LANGUAGE_LEVEL = LanguageLevel.PYTHON26;
+    PythonLanguageLevelPusher.pushLanguageLevel(myFixture.getProject());
+    try {
+      doTest();
+    }
+    finally {
+      PythonLanguageLevelPusher.FORCE_LANGUAGE_LEVEL = null;
+    }
+  }
+
+
   public void testMalformedStringTripleQuoteUnterminated() throws Exception {
     doTest();
   }

python/testSrc/com/jetbrains/python/PythonLexerTest.java

@@ -113,6 +113,18 @@ public class PythonLexerTest extends TestCase {
     doTest("with=as", "Py:IDENTIFIER", "Py:EQ", "Py:IDENTIFIER");
   }
 
+  public void testBytesLiteral() throws Exception {
+    doTest("b'ABC'", "Py:STRING_LITERAL");
+  }
+
+  public void testOctalLiteral() throws Exception {
+    doTest("0o123", "Py:INTEGER_LITERAL");
+  }
+
+  public void testBinaryLiteral() throws Exception {
+    doTest("0b0101", "Py:INTEGER_LITERAL");
+  }
+
   public void _testWithKeyword() throws Exception {
     // processing of 'from __future__ import' is now done on parser level, so a pure lexer test won't handle
     // this correctly