Subversion Repositories Kolibri OS

Rev

Blame | Last modification | View Log | Download | RSS feed

  1. /**
  2.  * \file bn_mul.h
  3.  *
  4.  * \brief Multi-precision integer library
  5.  */
  6. /*
  7.  *  Copyright (C) 2006-2015, ARM Limited, All Rights Reserved
  8.  *  SPDX-License-Identifier: GPL-2.0
  9.  *
  10.  *  This program is free software; you can redistribute it and/or modify
  11.  *  it under the terms of the GNU General Public License as published by
  12.  *  the Free Software Foundation; either version 2 of the License, or
  13.  *  (at your option) any later version.
  14.  *
  15.  *  This program is distributed in the hope that it will be useful,
  16.  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  17.  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18.  *  GNU General Public License for more details.
  19.  *
  20.  *  You should have received a copy of the GNU General Public License along
  21.  *  with this program; if not, write to the Free Software Foundation, Inc.,
  22.  *  51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  23.  *
  24.  *  This file is part of mbed TLS (https://tls.mbed.org)
  25.  */
  26. /*
  27.  *      Multiply source vector [s] with b, add result
  28.  *       to destination vector [d] and set carry c.
  29.  *
  30.  *      Currently supports:
  31.  *
  32.  *         . IA-32 (386+)         . AMD64 / EM64T
  33.  *         . IA-32 (SSE2)         . Motorola 68000
  34.  *         . PowerPC, 32-bit      . MicroBlaze
  35.  *         . PowerPC, 64-bit      . TriCore
  36.  *         . SPARC v8             . ARM v3+
  37.  *         . Alpha                . MIPS32
  38.  *         . C, longlong          . C, generic
  39.  */
  40. #ifndef MBEDTLS_BN_MUL_H
  41. #define MBEDTLS_BN_MUL_H
  42.  
  43. #if !defined(MBEDTLS_CONFIG_FILE)
  44. #include "config.h"
  45. #else
  46. #include MBEDTLS_CONFIG_FILE
  47. #endif
  48.  
  49. #include "bignum.h"
  50.  
  51. #if defined(MBEDTLS_HAVE_ASM)
  52.  
  53. #ifndef asm
  54. #define asm __asm
  55. #endif
  56.  
  57. /* armcc5 --gnu defines __GNUC__ but doesn't support GNU's extended asm */
  58. #if defined(__GNUC__) && \
  59.     ( !defined(__ARMCC_VERSION) || __ARMCC_VERSION >= 6000000 )
  60.  
  61. /*
  62.  * Disable use of the i386 assembly code below if option -O0, to disable all
  63.  * compiler optimisations, is passed, detected with __OPTIMIZE__
  64.  * This is done as the number of registers used in the assembly code doesn't
  65.  * work with the -O0 option.
  66.  */
  67. #if defined(__i386__) && defined(__OPTIMIZE__)
  68.  
  69. #define MULADDC_INIT                        \
  70.     asm(                                    \
  71.         "movl   %%ebx, %0           \n\t"   \
  72.         "movl   %5, %%esi           \n\t"   \
  73.         "movl   %6, %%edi           \n\t"   \
  74.         "movl   %7, %%ecx           \n\t"   \
  75.         "movl   %8, %%ebx           \n\t"
  76.  
  77. #define MULADDC_CORE                        \
  78.         "lodsl                      \n\t"   \
  79.         "mull   %%ebx               \n\t"   \
  80.         "addl   %%ecx,   %%eax      \n\t"   \
  81.         "adcl   $0,      %%edx      \n\t"   \
  82.         "addl   (%%edi), %%eax      \n\t"   \
  83.         "adcl   $0,      %%edx      \n\t"   \
  84.         "movl   %%edx,   %%ecx      \n\t"   \
  85.         "stosl                      \n\t"
  86.  
  87. #if defined(MBEDTLS_HAVE_SSE2)
  88.  
  89. #define MULADDC_HUIT                            \
  90.         "movd     %%ecx,     %%mm1      \n\t"   \
  91.         "movd     %%ebx,     %%mm0      \n\t"   \
  92.         "movd     (%%edi),   %%mm3      \n\t"   \
  93.         "paddq    %%mm3,     %%mm1      \n\t"   \
  94.         "movd     (%%esi),   %%mm2      \n\t"   \
  95.         "pmuludq  %%mm0,     %%mm2      \n\t"   \
  96.         "movd     4(%%esi),  %%mm4      \n\t"   \
  97.         "pmuludq  %%mm0,     %%mm4      \n\t"   \
  98.         "movd     8(%%esi),  %%mm6      \n\t"   \
  99.         "pmuludq  %%mm0,     %%mm6      \n\t"   \
  100.         "movd     12(%%esi), %%mm7      \n\t"   \
  101.         "pmuludq  %%mm0,     %%mm7      \n\t"   \
  102.         "paddq    %%mm2,     %%mm1      \n\t"   \
  103.         "movd     4(%%edi),  %%mm3      \n\t"   \
  104.         "paddq    %%mm4,     %%mm3      \n\t"   \
  105.         "movd     8(%%edi),  %%mm5      \n\t"   \
  106.         "paddq    %%mm6,     %%mm5      \n\t"   \
  107.         "movd     12(%%edi), %%mm4      \n\t"   \
  108.         "paddq    %%mm4,     %%mm7      \n\t"   \
  109.         "movd     %%mm1,     (%%edi)    \n\t"   \
  110.         "movd     16(%%esi), %%mm2      \n\t"   \
  111.         "pmuludq  %%mm0,     %%mm2      \n\t"   \
  112.         "psrlq    $32,       %%mm1      \n\t"   \
  113.         "movd     20(%%esi), %%mm4      \n\t"   \
  114.         "pmuludq  %%mm0,     %%mm4      \n\t"   \
  115.         "paddq    %%mm3,     %%mm1      \n\t"   \
  116.         "movd     24(%%esi), %%mm6      \n\t"   \
  117.         "pmuludq  %%mm0,     %%mm6      \n\t"   \
  118.         "movd     %%mm1,     4(%%edi)   \n\t"   \
  119.         "psrlq    $32,       %%mm1      \n\t"   \
  120.         "movd     28(%%esi), %%mm3      \n\t"   \
  121.         "pmuludq  %%mm0,     %%mm3      \n\t"   \
  122.         "paddq    %%mm5,     %%mm1      \n\t"   \
  123.         "movd     16(%%edi), %%mm5      \n\t"   \
  124.         "paddq    %%mm5,     %%mm2      \n\t"   \
  125.         "movd     %%mm1,     8(%%edi)   \n\t"   \
  126.         "psrlq    $32,       %%mm1      \n\t"   \
  127.         "paddq    %%mm7,     %%mm1      \n\t"   \
  128.         "movd     20(%%edi), %%mm5      \n\t"   \
  129.         "paddq    %%mm5,     %%mm4      \n\t"   \
  130.         "movd     %%mm1,     12(%%edi)  \n\t"   \
  131.         "psrlq    $32,       %%mm1      \n\t"   \
  132.         "paddq    %%mm2,     %%mm1      \n\t"   \
  133.         "movd     24(%%edi), %%mm5      \n\t"   \
  134.         "paddq    %%mm5,     %%mm6      \n\t"   \
  135.         "movd     %%mm1,     16(%%edi)  \n\t"   \
  136.         "psrlq    $32,       %%mm1      \n\t"   \
  137.         "paddq    %%mm4,     %%mm1      \n\t"   \
  138.         "movd     28(%%edi), %%mm5      \n\t"   \
  139.         "paddq    %%mm5,     %%mm3      \n\t"   \
  140.         "movd     %%mm1,     20(%%edi)  \n\t"   \
  141.         "psrlq    $32,       %%mm1      \n\t"   \
  142.         "paddq    %%mm6,     %%mm1      \n\t"   \
  143.         "movd     %%mm1,     24(%%edi)  \n\t"   \
  144.         "psrlq    $32,       %%mm1      \n\t"   \
  145.         "paddq    %%mm3,     %%mm1      \n\t"   \
  146.         "movd     %%mm1,     28(%%edi)  \n\t"   \
  147.         "addl     $32,       %%edi      \n\t"   \
  148.         "addl     $32,       %%esi      \n\t"   \
  149.         "psrlq    $32,       %%mm1      \n\t"   \
  150.         "movd     %%mm1,     %%ecx      \n\t"
  151.  
  152. #define MULADDC_STOP                    \
  153.         "emms                   \n\t"   \
  154.         "movl   %4, %%ebx       \n\t"   \
  155.         "movl   %%ecx, %1       \n\t"   \
  156.         "movl   %%edi, %2       \n\t"   \
  157.         "movl   %%esi, %3       \n\t"   \
  158.         : "=m" (t), "=m" (c), "=m" (d), "=m" (s)        \
  159.         : "m" (t), "m" (s), "m" (d), "m" (c), "m" (b)   \
  160.         : "eax", "ebx", "ecx", "edx", "esi", "edi"      \
  161.     );
  162.  
  163. #else
  164.  
  165. #define MULADDC_STOP                    \
  166.         "movl   %4, %%ebx       \n\t"   \
  167.         "movl   %%ecx, %1       \n\t"   \
  168.         "movl   %%edi, %2       \n\t"   \
  169.         "movl   %%esi, %3       \n\t"   \
  170.         : "=m" (t), "=m" (c), "=m" (d), "=m" (s)        \
  171.         : "m" (t), "m" (s), "m" (d), "m" (c), "m" (b)   \
  172.         : "eax", "ebx", "ecx", "edx", "esi", "edi"      \
  173.     );
  174. #endif /* SSE2 */
  175. #endif /* i386 */
  176.  
  177. #if defined(__amd64__) || defined (__x86_64__)
  178.  
  179. #define MULADDC_INIT                        \
  180.     asm(                                    \
  181.         "xorq   %%r8, %%r8\n"
  182.  
  183. #define MULADDC_CORE                        \
  184.         "movq   (%%rsi), %%rax\n"           \
  185.         "mulq   %%rbx\n"                    \
  186.         "addq   $8, %%rsi\n"                \
  187.         "addq   %%rcx, %%rax\n"             \
  188.         "movq   %%r8, %%rcx\n"              \
  189.         "adcq   $0, %%rdx\n"                \
  190.         "nop    \n"                         \
  191.         "addq   %%rax, (%%rdi)\n"           \
  192.         "adcq   %%rdx, %%rcx\n"             \
  193.         "addq   $8, %%rdi\n"
  194.  
  195. #define MULADDC_STOP                        \
  196.         : "+c" (c), "+D" (d), "+S" (s)      \
  197.         : "b" (b)                           \
  198.         : "rax", "rdx", "r8"                \
  199.     );
  200.  
  201. #endif /* AMD64 */
  202.  
  203. #if defined(__mc68020__) || defined(__mcpu32__)
  204.  
  205. #define MULADDC_INIT                    \
  206.     asm(                                \
  207.         "movl   %3, %%a2        \n\t"   \
  208.         "movl   %4, %%a3        \n\t"   \
  209.         "movl   %5, %%d3        \n\t"   \
  210.         "movl   %6, %%d2        \n\t"   \
  211.         "moveq  #0, %%d0        \n\t"
  212.  
  213. #define MULADDC_CORE                    \
  214.         "movel  %%a2@+, %%d1    \n\t"   \
  215.         "mulul  %%d2, %%d4:%%d1 \n\t"   \
  216.         "addl   %%d3, %%d1      \n\t"   \
  217.         "addxl  %%d0, %%d4      \n\t"   \
  218.         "moveq  #0,   %%d3      \n\t"   \
  219.         "addl   %%d1, %%a3@+    \n\t"   \
  220.         "addxl  %%d4, %%d3      \n\t"
  221.  
  222. #define MULADDC_STOP                    \
  223.         "movl   %%d3, %0        \n\t"   \
  224.         "movl   %%a3, %1        \n\t"   \
  225.         "movl   %%a2, %2        \n\t"   \
  226.         : "=m" (c), "=m" (d), "=m" (s)              \
  227.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  228.         : "d0", "d1", "d2", "d3", "d4", "a2", "a3"  \
  229.     );
  230.  
  231. #define MULADDC_HUIT                        \
  232.         "movel  %%a2@+,  %%d1       \n\t"   \
  233.         "mulul  %%d2,    %%d4:%%d1  \n\t"   \
  234.         "addxl  %%d3,    %%d1       \n\t"   \
  235.         "addxl  %%d0,    %%d4       \n\t"   \
  236.         "addl   %%d1,    %%a3@+     \n\t"   \
  237.         "movel  %%a2@+,  %%d1       \n\t"   \
  238.         "mulul  %%d2,    %%d3:%%d1  \n\t"   \
  239.         "addxl  %%d4,    %%d1       \n\t"   \
  240.         "addxl  %%d0,    %%d3       \n\t"   \
  241.         "addl   %%d1,    %%a3@+     \n\t"   \
  242.         "movel  %%a2@+,  %%d1       \n\t"   \
  243.         "mulul  %%d2,    %%d4:%%d1  \n\t"   \
  244.         "addxl  %%d3,    %%d1       \n\t"   \
  245.         "addxl  %%d0,    %%d4       \n\t"   \
  246.         "addl   %%d1,    %%a3@+     \n\t"   \
  247.         "movel  %%a2@+,  %%d1       \n\t"   \
  248.         "mulul  %%d2,    %%d3:%%d1  \n\t"   \
  249.         "addxl  %%d4,    %%d1       \n\t"   \
  250.         "addxl  %%d0,    %%d3       \n\t"   \
  251.         "addl   %%d1,    %%a3@+     \n\t"   \
  252.         "movel  %%a2@+,  %%d1       \n\t"   \
  253.         "mulul  %%d2,    %%d4:%%d1  \n\t"   \
  254.         "addxl  %%d3,    %%d1       \n\t"   \
  255.         "addxl  %%d0,    %%d4       \n\t"   \
  256.         "addl   %%d1,    %%a3@+     \n\t"   \
  257.         "movel  %%a2@+,  %%d1       \n\t"   \
  258.         "mulul  %%d2,    %%d3:%%d1  \n\t"   \
  259.         "addxl  %%d4,    %%d1       \n\t"   \
  260.         "addxl  %%d0,    %%d3       \n\t"   \
  261.         "addl   %%d1,    %%a3@+     \n\t"   \
  262.         "movel  %%a2@+,  %%d1       \n\t"   \
  263.         "mulul  %%d2,    %%d4:%%d1  \n\t"   \
  264.         "addxl  %%d3,    %%d1       \n\t"   \
  265.         "addxl  %%d0,    %%d4       \n\t"   \
  266.         "addl   %%d1,    %%a3@+     \n\t"   \
  267.         "movel  %%a2@+,  %%d1       \n\t"   \
  268.         "mulul  %%d2,    %%d3:%%d1  \n\t"   \
  269.         "addxl  %%d4,    %%d1       \n\t"   \
  270.         "addxl  %%d0,    %%d3       \n\t"   \
  271.         "addl   %%d1,    %%a3@+     \n\t"   \
  272.         "addxl  %%d0,    %%d3       \n\t"
  273.  
  274. #endif /* MC68000 */
  275.  
  276. #if defined(__powerpc64__) || defined(__ppc64__)
  277.  
  278. #if defined(__MACH__) && defined(__APPLE__)
  279.  
  280. #define MULADDC_INIT                        \
  281.     asm(                                    \
  282.         "ld     r3, %3              \n\t"   \
  283.         "ld     r4, %4              \n\t"   \
  284.         "ld     r5, %5              \n\t"   \
  285.         "ld     r6, %6              \n\t"   \
  286.         "addi   r3, r3, -8          \n\t"   \
  287.         "addi   r4, r4, -8          \n\t"   \
  288.         "addic  r5, r5,  0          \n\t"
  289.  
  290. #define MULADDC_CORE                        \
  291.         "ldu    r7, 8(r3)           \n\t"   \
  292.         "mulld  r8, r7, r6          \n\t"   \
  293.         "mulhdu r9, r7, r6          \n\t"   \
  294.         "adde   r8, r8, r5          \n\t"   \
  295.         "ld     r7, 8(r4)           \n\t"   \
  296.         "addze  r5, r9              \n\t"   \
  297.         "addc   r8, r8, r7          \n\t"   \
  298.         "stdu   r8, 8(r4)           \n\t"
  299.  
  300. #define MULADDC_STOP                        \
  301.         "addze  r5, r5              \n\t"   \
  302.         "addi   r4, r4, 8           \n\t"   \
  303.         "addi   r3, r3, 8           \n\t"   \
  304.         "std    r5, %0              \n\t"   \
  305.         "std    r4, %1              \n\t"   \
  306.         "std    r3, %2              \n\t"   \
  307.         : "=m" (c), "=m" (d), "=m" (s)              \
  308.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  309.         : "r3", "r4", "r5", "r6", "r7", "r8", "r9"  \
  310.     );
  311.  
  312.  
  313. #else /* __MACH__ && __APPLE__ */
  314.  
  315. #define MULADDC_INIT                        \
  316.     asm(                                    \
  317.         "ld     %%r3, %3            \n\t"   \
  318.         "ld     %%r4, %4            \n\t"   \
  319.         "ld     %%r5, %5            \n\t"   \
  320.         "ld     %%r6, %6            \n\t"   \
  321.         "addi   %%r3, %%r3, -8      \n\t"   \
  322.         "addi   %%r4, %%r4, -8      \n\t"   \
  323.         "addic  %%r5, %%r5,  0      \n\t"
  324.  
  325. #define MULADDC_CORE                        \
  326.         "ldu    %%r7, 8(%%r3)       \n\t"   \
  327.         "mulld  %%r8, %%r7, %%r6    \n\t"   \
  328.         "mulhdu %%r9, %%r7, %%r6    \n\t"   \
  329.         "adde   %%r8, %%r8, %%r5    \n\t"   \
  330.         "ld     %%r7, 8(%%r4)       \n\t"   \
  331.         "addze  %%r5, %%r9          \n\t"   \
  332.         "addc   %%r8, %%r8, %%r7    \n\t"   \
  333.         "stdu   %%r8, 8(%%r4)       \n\t"
  334.  
  335. #define MULADDC_STOP                        \
  336.         "addze  %%r5, %%r5          \n\t"   \
  337.         "addi   %%r4, %%r4, 8       \n\t"   \
  338.         "addi   %%r3, %%r3, 8       \n\t"   \
  339.         "std    %%r5, %0            \n\t"   \
  340.         "std    %%r4, %1            \n\t"   \
  341.         "std    %%r3, %2            \n\t"   \
  342.         : "=m" (c), "=m" (d), "=m" (s)              \
  343.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  344.         : "r3", "r4", "r5", "r6", "r7", "r8", "r9"  \
  345.     );
  346.  
  347. #endif /* __MACH__ && __APPLE__ */
  348.  
  349. #elif defined(__powerpc__) || defined(__ppc__) /* end PPC64/begin PPC32  */
  350.  
  351. #if defined(__MACH__) && defined(__APPLE__)
  352.  
  353. #define MULADDC_INIT                    \
  354.     asm(                                \
  355.         "lwz    r3, %3          \n\t"   \
  356.         "lwz    r4, %4          \n\t"   \
  357.         "lwz    r5, %5          \n\t"   \
  358.         "lwz    r6, %6          \n\t"   \
  359.         "addi   r3, r3, -4      \n\t"   \
  360.         "addi   r4, r4, -4      \n\t"   \
  361.         "addic  r5, r5,  0      \n\t"
  362.  
  363. #define MULADDC_CORE                    \
  364.         "lwzu   r7, 4(r3)       \n\t"   \
  365.         "mullw  r8, r7, r6      \n\t"   \
  366.         "mulhwu r9, r7, r6      \n\t"   \
  367.         "adde   r8, r8, r5      \n\t"   \
  368.         "lwz    r7, 4(r4)       \n\t"   \
  369.         "addze  r5, r9          \n\t"   \
  370.         "addc   r8, r8, r7      \n\t"   \
  371.         "stwu   r8, 4(r4)       \n\t"
  372.  
  373. #define MULADDC_STOP                    \
  374.         "addze  r5, r5          \n\t"   \
  375.         "addi   r4, r4, 4       \n\t"   \
  376.         "addi   r3, r3, 4       \n\t"   \
  377.         "stw    r5, %0          \n\t"   \
  378.         "stw    r4, %1          \n\t"   \
  379.         "stw    r3, %2          \n\t"   \
  380.         : "=m" (c), "=m" (d), "=m" (s)              \
  381.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  382.         : "r3", "r4", "r5", "r6", "r7", "r8", "r9"  \
  383.     );
  384.  
  385. #else /* __MACH__ && __APPLE__ */
  386.  
  387. #define MULADDC_INIT                        \
  388.     asm(                                    \
  389.         "lwz    %%r3, %3            \n\t"   \
  390.         "lwz    %%r4, %4            \n\t"   \
  391.         "lwz    %%r5, %5            \n\t"   \
  392.         "lwz    %%r6, %6            \n\t"   \
  393.         "addi   %%r3, %%r3, -4      \n\t"   \
  394.         "addi   %%r4, %%r4, -4      \n\t"   \
  395.         "addic  %%r5, %%r5,  0      \n\t"
  396.  
  397. #define MULADDC_CORE                        \
  398.         "lwzu   %%r7, 4(%%r3)       \n\t"   \
  399.         "mullw  %%r8, %%r7, %%r6    \n\t"   \
  400.         "mulhwu %%r9, %%r7, %%r6    \n\t"   \
  401.         "adde   %%r8, %%r8, %%r5    \n\t"   \
  402.         "lwz    %%r7, 4(%%r4)       \n\t"   \
  403.         "addze  %%r5, %%r9          \n\t"   \
  404.         "addc   %%r8, %%r8, %%r7    \n\t"   \
  405.         "stwu   %%r8, 4(%%r4)       \n\t"
  406.  
  407. #define MULADDC_STOP                        \
  408.         "addze  %%r5, %%r5          \n\t"   \
  409.         "addi   %%r4, %%r4, 4       \n\t"   \
  410.         "addi   %%r3, %%r3, 4       \n\t"   \
  411.         "stw    %%r5, %0            \n\t"   \
  412.         "stw    %%r4, %1            \n\t"   \
  413.         "stw    %%r3, %2            \n\t"   \
  414.         : "=m" (c), "=m" (d), "=m" (s)              \
  415.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  416.         : "r3", "r4", "r5", "r6", "r7", "r8", "r9"  \
  417.     );
  418.  
  419. #endif /* __MACH__ && __APPLE__ */
  420.  
  421. #endif /* PPC32 */
  422.  
  423. /*
  424.  * The Sparc(64) assembly is reported to be broken.
  425.  * Disable it for now, until we're able to fix it.
  426.  */
  427. #if 0 && defined(__sparc__)
  428. #if defined(__sparc64__)
  429.  
  430. #define MULADDC_INIT                                    \
  431.     asm(                                                \
  432.                 "ldx     %3, %%o0               \n\t"   \
  433.                 "ldx     %4, %%o1               \n\t"   \
  434.                 "ld      %5, %%o2               \n\t"   \
  435.                 "ld      %6, %%o3               \n\t"
  436.  
  437. #define MULADDC_CORE                                    \
  438.                 "ld      [%%o0], %%o4           \n\t"   \
  439.                 "inc     4, %%o0                \n\t"   \
  440.                 "ld      [%%o1], %%o5           \n\t"   \
  441.                 "umul    %%o3, %%o4, %%o4       \n\t"   \
  442.                 "addcc   %%o4, %%o2, %%o4       \n\t"   \
  443.                 "rd      %%y, %%g1              \n\t"   \
  444.                 "addx    %%g1, 0, %%g1          \n\t"   \
  445.                 "addcc   %%o4, %%o5, %%o4       \n\t"   \
  446.                 "st      %%o4, [%%o1]           \n\t"   \
  447.                 "addx    %%g1, 0, %%o2          \n\t"   \
  448.                 "inc     4, %%o1                \n\t"
  449.  
  450.         #define MULADDC_STOP                            \
  451.                 "st      %%o2, %0               \n\t"   \
  452.                 "stx     %%o1, %1               \n\t"   \
  453.                 "stx     %%o0, %2               \n\t"   \
  454.         : "=m" (c), "=m" (d), "=m" (s)          \
  455.         : "m" (s), "m" (d), "m" (c), "m" (b)    \
  456.         : "g1", "o0", "o1", "o2", "o3", "o4",   \
  457.           "o5"                                  \
  458.         );
  459.  
  460. #else /* __sparc64__ */
  461.  
  462. #define MULADDC_INIT                                    \
  463.     asm(                                                \
  464.                 "ld      %3, %%o0               \n\t"   \
  465.                 "ld      %4, %%o1               \n\t"   \
  466.                 "ld      %5, %%o2               \n\t"   \
  467.                 "ld      %6, %%o3               \n\t"
  468.  
  469. #define MULADDC_CORE                                    \
  470.                 "ld      [%%o0], %%o4           \n\t"   \
  471.                 "inc     4, %%o0                \n\t"   \
  472.                 "ld      [%%o1], %%o5           \n\t"   \
  473.                 "umul    %%o3, %%o4, %%o4       \n\t"   \
  474.                 "addcc   %%o4, %%o2, %%o4       \n\t"   \
  475.                 "rd      %%y, %%g1              \n\t"   \
  476.                 "addx    %%g1, 0, %%g1          \n\t"   \
  477.                 "addcc   %%o4, %%o5, %%o4       \n\t"   \
  478.                 "st      %%o4, [%%o1]           \n\t"   \
  479.                 "addx    %%g1, 0, %%o2          \n\t"   \
  480.                 "inc     4, %%o1                \n\t"
  481.  
  482. #define MULADDC_STOP                                    \
  483.                 "st      %%o2, %0               \n\t"   \
  484.                 "st      %%o1, %1               \n\t"   \
  485.                 "st      %%o0, %2               \n\t"   \
  486.         : "=m" (c), "=m" (d), "=m" (s)          \
  487.         : "m" (s), "m" (d), "m" (c), "m" (b)    \
  488.         : "g1", "o0", "o1", "o2", "o3", "o4",   \
  489.           "o5"                                  \
  490.         );
  491.  
  492. #endif /* __sparc64__ */
  493. #endif /* __sparc__ */
  494.  
  495. #if defined(__microblaze__) || defined(microblaze)
  496.  
  497. #define MULADDC_INIT                    \
  498.     asm(                                \
  499.         "lwi   r3,   %3         \n\t"   \
  500.         "lwi   r4,   %4         \n\t"   \
  501.         "lwi   r5,   %5         \n\t"   \
  502.         "lwi   r6,   %6         \n\t"   \
  503.         "andi  r7,   r6, 0xffff \n\t"   \
  504.         "bsrli r6,   r6, 16     \n\t"
  505.  
  506. #define MULADDC_CORE                    \
  507.         "lhui  r8,   r3,   0    \n\t"   \
  508.         "addi  r3,   r3,   2    \n\t"   \
  509.         "lhui  r9,   r3,   0    \n\t"   \
  510.         "addi  r3,   r3,   2    \n\t"   \
  511.         "mul   r10,  r9,  r6    \n\t"   \
  512.         "mul   r11,  r8,  r7    \n\t"   \
  513.         "mul   r12,  r9,  r7    \n\t"   \
  514.         "mul   r13,  r8,  r6    \n\t"   \
  515.         "bsrli  r8, r10,  16    \n\t"   \
  516.         "bsrli  r9, r11,  16    \n\t"   \
  517.         "add   r13, r13,  r8    \n\t"   \
  518.         "add   r13, r13,  r9    \n\t"   \
  519.         "bslli r10, r10,  16    \n\t"   \
  520.         "bslli r11, r11,  16    \n\t"   \
  521.         "add   r12, r12, r10    \n\t"   \
  522.         "addc  r13, r13,  r0    \n\t"   \
  523.         "add   r12, r12, r11    \n\t"   \
  524.         "addc  r13, r13,  r0    \n\t"   \
  525.         "lwi   r10,  r4,   0    \n\t"   \
  526.         "add   r12, r12, r10    \n\t"   \
  527.         "addc  r13, r13,  r0    \n\t"   \
  528.         "add   r12, r12,  r5    \n\t"   \
  529.         "addc   r5, r13,  r0    \n\t"   \
  530.         "swi   r12,  r4,   0    \n\t"   \
  531.         "addi   r4,  r4,   4    \n\t"
  532.  
  533. #define MULADDC_STOP                    \
  534.         "swi   r5,   %0         \n\t"   \
  535.         "swi   r4,   %1         \n\t"   \
  536.         "swi   r3,   %2         \n\t"   \
  537.         : "=m" (c), "=m" (d), "=m" (s)              \
  538.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  539.         : "r3", "r4", "r5", "r6", "r7", "r8",       \
  540.           "r9", "r10", "r11", "r12", "r13"          \
  541.     );
  542.  
  543. #endif /* MicroBlaze */
  544.  
  545. #if defined(__tricore__)
  546.  
  547. #define MULADDC_INIT                            \
  548.     asm(                                        \
  549.         "ld.a   %%a2, %3                \n\t"   \
  550.         "ld.a   %%a3, %4                \n\t"   \
  551.         "ld.w   %%d4, %5                \n\t"   \
  552.         "ld.w   %%d1, %6                \n\t"   \
  553.         "xor    %%d5, %%d5              \n\t"
  554.  
  555. #define MULADDC_CORE                            \
  556.         "ld.w   %%d0,   [%%a2+]         \n\t"   \
  557.         "madd.u %%e2, %%e4, %%d0, %%d1  \n\t"   \
  558.         "ld.w   %%d0,   [%%a3]          \n\t"   \
  559.         "addx   %%d2,    %%d2,  %%d0    \n\t"   \
  560.         "addc   %%d3,    %%d3,    0     \n\t"   \
  561.         "mov    %%d4,    %%d3           \n\t"   \
  562.         "st.w  [%%a3+],  %%d2           \n\t"
  563.  
  564. #define MULADDC_STOP                            \
  565.         "st.w   %0, %%d4                \n\t"   \
  566.         "st.a   %1, %%a3                \n\t"   \
  567.         "st.a   %2, %%a2                \n\t"   \
  568.         : "=m" (c), "=m" (d), "=m" (s)          \
  569.         : "m" (s), "m" (d), "m" (c), "m" (b)    \
  570.         : "d0", "d1", "e2", "d4", "a2", "a3"    \
  571.     );
  572.  
  573. #endif /* TriCore */
  574.  
  575. /*
  576.  * Note, gcc -O0 by default uses r7 for the frame pointer, so it complains about
  577.  * our use of r7 below, unless -fomit-frame-pointer is passed.
  578.  *
  579.  * On the other hand, -fomit-frame-pointer is implied by any -Ox options with
  580.  * x !=0, which we can detect using __OPTIMIZE__ (which is also defined by
  581.  * clang and armcc5 under the same conditions).
  582.  *
  583.  * So, only use the optimized assembly below for optimized build, which avoids
  584.  * the build error and is pretty reasonable anyway.
  585.  */
  586. #if defined(__GNUC__) && !defined(__OPTIMIZE__)
  587. #define MULADDC_CANNOT_USE_R7
  588. #endif
  589.  
  590. #if defined(__arm__) && !defined(MULADDC_CANNOT_USE_R7)
  591.  
  592. #if defined(__thumb__) && !defined(__thumb2__)
  593.  
  594. #define MULADDC_INIT                                    \
  595.     asm(                                                \
  596.             "ldr    r0, %3                      \n\t"   \
  597.             "ldr    r1, %4                      \n\t"   \
  598.             "ldr    r2, %5                      \n\t"   \
  599.             "ldr    r3, %6                      \n\t"   \
  600.             "lsr    r7, r3, #16                 \n\t"   \
  601.             "mov    r9, r7                      \n\t"   \
  602.             "lsl    r7, r3, #16                 \n\t"   \
  603.             "lsr    r7, r7, #16                 \n\t"   \
  604.             "mov    r8, r7                      \n\t"
  605.  
  606. #define MULADDC_CORE                                    \
  607.             "ldmia  r0!, {r6}                   \n\t"   \
  608.             "lsr    r7, r6, #16                 \n\t"   \
  609.             "lsl    r6, r6, #16                 \n\t"   \
  610.             "lsr    r6, r6, #16                 \n\t"   \
  611.             "mov    r4, r8                      \n\t"   \
  612.             "mul    r4, r6                      \n\t"   \
  613.             "mov    r3, r9                      \n\t"   \
  614.             "mul    r6, r3                      \n\t"   \
  615.             "mov    r5, r9                      \n\t"   \
  616.             "mul    r5, r7                      \n\t"   \
  617.             "mov    r3, r8                      \n\t"   \
  618.             "mul    r7, r3                      \n\t"   \
  619.             "lsr    r3, r6, #16                 \n\t"   \
  620.             "add    r5, r5, r3                  \n\t"   \
  621.             "lsr    r3, r7, #16                 \n\t"   \
  622.             "add    r5, r5, r3                  \n\t"   \
  623.             "add    r4, r4, r2                  \n\t"   \
  624.             "mov    r2, #0                      \n\t"   \
  625.             "adc    r5, r2                      \n\t"   \
  626.             "lsl    r3, r6, #16                 \n\t"   \
  627.             "add    r4, r4, r3                  \n\t"   \
  628.             "adc    r5, r2                      \n\t"   \
  629.             "lsl    r3, r7, #16                 \n\t"   \
  630.             "add    r4, r4, r3                  \n\t"   \
  631.             "adc    r5, r2                      \n\t"   \
  632.             "ldr    r3, [r1]                    \n\t"   \
  633.             "add    r4, r4, r3                  \n\t"   \
  634.             "adc    r2, r5                      \n\t"   \
  635.             "stmia  r1!, {r4}                   \n\t"
  636.  
  637. #define MULADDC_STOP                                    \
  638.             "str    r2, %0                      \n\t"   \
  639.             "str    r1, %1                      \n\t"   \
  640.             "str    r0, %2                      \n\t"   \
  641.          : "=m" (c),  "=m" (d), "=m" (s)        \
  642.          : "m" (s), "m" (d), "m" (c), "m" (b)   \
  643.          : "r0", "r1", "r2", "r3", "r4", "r5",  \
  644.            "r6", "r7", "r8", "r9", "cc"         \
  645.          );
  646.  
  647. #elif (__ARM_ARCH >= 6) && \
  648.     defined (__ARM_FEATURE_DSP) && (__ARM_FEATURE_DSP == 1)
  649.  
  650. #define MULADDC_INIT                            \
  651.     asm(
  652.  
  653. #define MULADDC_CORE                            \
  654.             "ldr    r0, [%0], #4        \n\t"   \
  655.             "ldr    r1, [%1]            \n\t"   \
  656.             "umaal  r1, %2, %3, r0      \n\t"   \
  657.             "str    r1, [%1], #4        \n\t"
  658.  
  659. #define MULADDC_STOP                            \
  660.          : "=r" (s),  "=r" (d), "=r" (c)        \
  661.          : "r" (b), "0" (s), "1" (d), "2" (c)   \
  662.          : "r0", "r1", "memory"                 \
  663.          );
  664.  
  665. #else
  666.  
  667. #define MULADDC_INIT                                    \
  668.     asm(                                                \
  669.             "ldr    r0, %3                      \n\t"   \
  670.             "ldr    r1, %4                      \n\t"   \
  671.             "ldr    r2, %5                      \n\t"   \
  672.             "ldr    r3, %6                      \n\t"
  673.  
  674. #define MULADDC_CORE                                    \
  675.             "ldr    r4, [r0], #4                \n\t"   \
  676.             "mov    r5, #0                      \n\t"   \
  677.             "ldr    r6, [r1]                    \n\t"   \
  678.             "umlal  r2, r5, r3, r4              \n\t"   \
  679.             "adds   r7, r6, r2                  \n\t"   \
  680.             "adc    r2, r5, #0                  \n\t"   \
  681.             "str    r7, [r1], #4                \n\t"
  682.  
  683. #define MULADDC_STOP                                    \
  684.             "str    r2, %0                      \n\t"   \
  685.             "str    r1, %1                      \n\t"   \
  686.             "str    r0, %2                      \n\t"   \
  687.          : "=m" (c),  "=m" (d), "=m" (s)        \
  688.          : "m" (s), "m" (d), "m" (c), "m" (b)   \
  689.          : "r0", "r1", "r2", "r3", "r4", "r5",  \
  690.            "r6", "r7", "cc"                     \
  691.          );
  692.  
  693. #endif /* Thumb */
  694.  
  695. #endif /* ARMv3 */
  696.  
  697. #if defined(__alpha__)
  698.  
  699. #define MULADDC_INIT                    \
  700.     asm(                                \
  701.         "ldq    $1, %3          \n\t"   \
  702.         "ldq    $2, %4          \n\t"   \
  703.         "ldq    $3, %5          \n\t"   \
  704.         "ldq    $4, %6          \n\t"
  705.  
  706. #define MULADDC_CORE                    \
  707.         "ldq    $6,  0($1)      \n\t"   \
  708.         "addq   $1,  8, $1      \n\t"   \
  709.         "mulq   $6, $4, $7      \n\t"   \
  710.         "umulh  $6, $4, $6      \n\t"   \
  711.         "addq   $7, $3, $7      \n\t"   \
  712.         "cmpult $7, $3, $3      \n\t"   \
  713.         "ldq    $5,  0($2)      \n\t"   \
  714.         "addq   $7, $5, $7      \n\t"   \
  715.         "cmpult $7, $5, $5      \n\t"   \
  716.         "stq    $7,  0($2)      \n\t"   \
  717.         "addq   $2,  8, $2      \n\t"   \
  718.         "addq   $6, $3, $3      \n\t"   \
  719.         "addq   $5, $3, $3      \n\t"
  720.  
  721. #define MULADDC_STOP                                    \
  722.         "stq    $3, %0          \n\t"   \
  723.         "stq    $2, %1          \n\t"   \
  724.         "stq    $1, %2          \n\t"   \
  725.         : "=m" (c), "=m" (d), "=m" (s)              \
  726.         : "m" (s), "m" (d), "m" (c), "m" (b)        \
  727.         : "$1", "$2", "$3", "$4", "$5", "$6", "$7"  \
  728.     );
  729. #endif /* Alpha */
  730.  
  731. #if defined(__mips__) && !defined(__mips64)
  732.  
  733. #define MULADDC_INIT                    \
  734.     asm(                                \
  735.         "lw     $10, %3         \n\t"   \
  736.         "lw     $11, %4         \n\t"   \
  737.         "lw     $12, %5         \n\t"   \
  738.         "lw     $13, %6         \n\t"
  739.  
  740. #define MULADDC_CORE                    \
  741.         "lw     $14, 0($10)     \n\t"   \
  742.         "multu  $13, $14        \n\t"   \
  743.         "addi   $10, $10, 4     \n\t"   \
  744.         "mflo   $14             \n\t"   \
  745.         "mfhi   $9              \n\t"   \
  746.         "addu   $14, $12, $14   \n\t"   \
  747.         "lw     $15, 0($11)     \n\t"   \
  748.         "sltu   $12, $14, $12   \n\t"   \
  749.         "addu   $15, $14, $15   \n\t"   \
  750.         "sltu   $14, $15, $14   \n\t"   \
  751.         "addu   $12, $12, $9    \n\t"   \
  752.         "sw     $15, 0($11)     \n\t"   \
  753.         "addu   $12, $12, $14   \n\t"   \
  754.         "addi   $11, $11, 4     \n\t"
  755.  
  756. #define MULADDC_STOP                    \
  757.         "sw     $12, %0         \n\t"   \
  758.         "sw     $11, %1         \n\t"   \
  759.         "sw     $10, %2         \n\t"   \
  760.         : "=m" (c), "=m" (d), "=m" (s)                      \
  761.         : "m" (s), "m" (d), "m" (c), "m" (b)                \
  762.         : "$9", "$10", "$11", "$12", "$13", "$14", "$15", "lo", "hi" \
  763.     );
  764.  
  765. #endif /* MIPS */
  766. #endif /* GNUC */
  767.  
  768. #if (defined(_MSC_VER) && defined(_M_IX86)) || defined(__WATCOMC__)
  769.  
  770. #define MULADDC_INIT                            \
  771.     __asm   mov     esi, s                      \
  772.     __asm   mov     edi, d                      \
  773.     __asm   mov     ecx, c                      \
  774.     __asm   mov     ebx, b
  775.  
  776. #define MULADDC_CORE                            \
  777.     __asm   lodsd                               \
  778.     __asm   mul     ebx                         \
  779.     __asm   add     eax, ecx                    \
  780.     __asm   adc     edx, 0                      \
  781.     __asm   add     eax, [edi]                  \
  782.     __asm   adc     edx, 0                      \
  783.     __asm   mov     ecx, edx                    \
  784.     __asm   stosd
  785.  
  786. #if defined(MBEDTLS_HAVE_SSE2)
  787.  
  788. #define EMIT __asm _emit
  789.  
  790. #define MULADDC_HUIT                            \
  791.     EMIT 0x0F  EMIT 0x6E  EMIT 0xC9             \
  792.     EMIT 0x0F  EMIT 0x6E  EMIT 0xC3             \
  793.     EMIT 0x0F  EMIT 0x6E  EMIT 0x1F             \
  794.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCB             \
  795.     EMIT 0x0F  EMIT 0x6E  EMIT 0x16             \
  796.     EMIT 0x0F  EMIT 0xF4  EMIT 0xD0             \
  797.     EMIT 0x0F  EMIT 0x6E  EMIT 0x66  EMIT 0x04  \
  798.     EMIT 0x0F  EMIT 0xF4  EMIT 0xE0             \
  799.     EMIT 0x0F  EMIT 0x6E  EMIT 0x76  EMIT 0x08  \
  800.     EMIT 0x0F  EMIT 0xF4  EMIT 0xF0             \
  801.     EMIT 0x0F  EMIT 0x6E  EMIT 0x7E  EMIT 0x0C  \
  802.     EMIT 0x0F  EMIT 0xF4  EMIT 0xF8             \
  803.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCA             \
  804.     EMIT 0x0F  EMIT 0x6E  EMIT 0x5F  EMIT 0x04  \
  805.     EMIT 0x0F  EMIT 0xD4  EMIT 0xDC             \
  806.     EMIT 0x0F  EMIT 0x6E  EMIT 0x6F  EMIT 0x08  \
  807.     EMIT 0x0F  EMIT 0xD4  EMIT 0xEE             \
  808.     EMIT 0x0F  EMIT 0x6E  EMIT 0x67  EMIT 0x0C  \
  809.     EMIT 0x0F  EMIT 0xD4  EMIT 0xFC             \
  810.     EMIT 0x0F  EMIT 0x7E  EMIT 0x0F             \
  811.     EMIT 0x0F  EMIT 0x6E  EMIT 0x56  EMIT 0x10  \
  812.     EMIT 0x0F  EMIT 0xF4  EMIT 0xD0             \
  813.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  814.     EMIT 0x0F  EMIT 0x6E  EMIT 0x66  EMIT 0x14  \
  815.     EMIT 0x0F  EMIT 0xF4  EMIT 0xE0             \
  816.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCB             \
  817.     EMIT 0x0F  EMIT 0x6E  EMIT 0x76  EMIT 0x18  \
  818.     EMIT 0x0F  EMIT 0xF4  EMIT 0xF0             \
  819.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x04  \
  820.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  821.     EMIT 0x0F  EMIT 0x6E  EMIT 0x5E  EMIT 0x1C  \
  822.     EMIT 0x0F  EMIT 0xF4  EMIT 0xD8             \
  823.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCD             \
  824.     EMIT 0x0F  EMIT 0x6E  EMIT 0x6F  EMIT 0x10  \
  825.     EMIT 0x0F  EMIT 0xD4  EMIT 0xD5             \
  826.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x08  \
  827.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  828.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCF             \
  829.     EMIT 0x0F  EMIT 0x6E  EMIT 0x6F  EMIT 0x14  \
  830.     EMIT 0x0F  EMIT 0xD4  EMIT 0xE5             \
  831.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x0C  \
  832.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  833.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCA             \
  834.     EMIT 0x0F  EMIT 0x6E  EMIT 0x6F  EMIT 0x18  \
  835.     EMIT 0x0F  EMIT 0xD4  EMIT 0xF5             \
  836.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x10  \
  837.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  838.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCC             \
  839.     EMIT 0x0F  EMIT 0x6E  EMIT 0x6F  EMIT 0x1C  \
  840.     EMIT 0x0F  EMIT 0xD4  EMIT 0xDD             \
  841.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x14  \
  842.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  843.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCE             \
  844.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x18  \
  845.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  846.     EMIT 0x0F  EMIT 0xD4  EMIT 0xCB             \
  847.     EMIT 0x0F  EMIT 0x7E  EMIT 0x4F  EMIT 0x1C  \
  848.     EMIT 0x83  EMIT 0xC7  EMIT 0x20             \
  849.     EMIT 0x83  EMIT 0xC6  EMIT 0x20             \
  850.     EMIT 0x0F  EMIT 0x73  EMIT 0xD1  EMIT 0x20  \
  851.     EMIT 0x0F  EMIT 0x7E  EMIT 0xC9
  852.  
  853. #define MULADDC_STOP                            \
  854.     EMIT 0x0F  EMIT 0x77                        \
  855.     __asm   mov     c, ecx                      \
  856.     __asm   mov     d, edi                      \
  857.     __asm   mov     s, esi                      \
  858.  
  859. #else
  860.  
  861. #define MULADDC_STOP                            \
  862.     __asm   mov     c, ecx                      \
  863.     __asm   mov     d, edi                      \
  864.     __asm   mov     s, esi                      \
  865.  
  866. #endif /* SSE2 */
  867. #endif /* MSVC */
  868.  
  869. #endif /* MBEDTLS_HAVE_ASM */
  870.  
  871. #if !defined(MULADDC_CORE)
  872. #if defined(MBEDTLS_HAVE_UDBL)
  873.  
  874. #define MULADDC_INIT                    \
  875. {                                       \
  876.     mbedtls_t_udbl r;                           \
  877.     mbedtls_mpi_uint r0, r1;
  878.  
  879. #define MULADDC_CORE                    \
  880.     r   = *(s++) * (mbedtls_t_udbl) b;          \
  881.     r0  = (mbedtls_mpi_uint) r;                   \
  882.     r1  = (mbedtls_mpi_uint)( r >> biL );         \
  883.     r0 += c;  r1 += (r0 <  c);          \
  884.     r0 += *d; r1 += (r0 < *d);          \
  885.     c = r1; *(d++) = r0;
  886.  
  887. #define MULADDC_STOP                    \
  888. }
  889.  
  890. #else
  891. #define MULADDC_INIT                    \
  892. {                                       \
  893.     mbedtls_mpi_uint s0, s1, b0, b1;              \
  894.     mbedtls_mpi_uint r0, r1, rx, ry;              \
  895.     b0 = ( b << biH ) >> biH;           \
  896.     b1 = ( b >> biH );
  897.  
  898. #define MULADDC_CORE                    \
  899.     s0 = ( *s << biH ) >> biH;          \
  900.     s1 = ( *s >> biH ); s++;            \
  901.     rx = s0 * b1; r0 = s0 * b0;         \
  902.     ry = s1 * b0; r1 = s1 * b1;         \
  903.     r1 += ( rx >> biH );                \
  904.     r1 += ( ry >> biH );                \
  905.     rx <<= biH; ry <<= biH;             \
  906.     r0 += rx; r1 += (r0 < rx);          \
  907.     r0 += ry; r1 += (r0 < ry);          \
  908.     r0 +=  c; r1 += (r0 <  c);          \
  909.     r0 += *d; r1 += (r0 < *d);          \
  910.     c = r1; *(d++) = r0;
  911.  
  912. #define MULADDC_STOP                    \
  913. }
  914.  
  915. #endif /* C (generic)  */
  916. #endif /* C (longlong) */
  917.  
  918. #endif /* bn_mul.h */
  919.