precision

Für Fragen zur numerischen Genauigkeit in der Programmierung.
3
Antworten

setzt die Standardpräzision C ++ zurück

Ich möchte die Genauigkeit für ein Double während eines Vergleichs steuern und dann mit C ++ auf die Standardpräzision zurückkommen. Ich möchte setPrecision() verwenden, um die Genauigkeit festzulegen. Was ist dann die Syntax, um die Genau...
24.09.2012, 07:03
4
Antworten

C # int wird im doppelten Genauigkeitsproblem "==" gespeichert

___ answer4290766 ___ Ja. 32-Bit-Ganzzahlen können genau als 64-Bit-Gleitkommazahlen dargestellt werden.      ___ answer4290784 ___ Ich habe Visual Studio geöffnet und getestet. Hier ist mein Code: %Vor% Das Ergebnis waren zwei Messageb...
27.11.2010, 08:31
3
Antworten

Kann C # genauere Daten speichern als doppelt?

double in C # ist nicht genau genug für meine Bedürfnisse. Ich schreibe ein Fraktalprogramm, und nachdem ich ein paar Male gezoomt habe, ist mir die Präzision ausgegangen. Ich habe dort einen Datentyp, der präzisere Fließkomma-Informatione...
29.03.2011, 13:19
3
Antworten

SQL Server schneidet Dezimalpunkte eines neu erstellten Felds in einer Ansicht ab

Ich habe eine Sicht in SQL Server, etwa so: %Vor% Das Ergebnis ist 1.967741 (Anmerkung 6 Dezimalpunkte) - & gt; decimal (38,6) Ich versuche dasselbe in einem Taschenrechner, aber das Ergebnis ist 1.967741935483871xxxx Ich möc...
22.03.2011, 00:24
4
Antworten

MATLAB - Stockwerkfrage

Ich bin ein MATLAB-Anfänger. Hier ist das Problem: %Vor% c sollte 1 sein, oder? Warum ist es 0 ??? Es ist anders, wenn b = 2 direkt wie folgt eingegeben wird: %Vor%     
26.06.2009, 06:07
4
Antworten

Matlab und c unterscheiden sich mit der cos-Funktion

Ich habe ein Programm in Matlab und das gleiche Programm in c implementiert, und die Ergebnisse unterscheiden sich. Ich bin etwas verwirrt, dass die cos-Funktion nicht das exakt gleiche Ergebnis liefert. Ich benutze in beiden Fällen densel...
01.10.2011, 18:07
1
Antwort

Inkompatibler Typenfehler Java zwischen short und int. Unsicher der Ursache

Im folgenden Code habe ich einen Fehler "möglicher Verlust der Präzision gefunden: int benötigt: kurz ". Ich verstehe, was der Fehler bedeutet, aber ich frage mich nur, warum ich es verstehe. Sicherlich sollte die Funktion einen kurzen Typ zurüc...
14.04.2012, 22:09
3
Antworten

Drucken Sie entweder eine Ganzzahl oder ein Gleitkomma mit n Dezimalstellen

Wie kann man in Python eine Zahl ausgeben, die eine Ganzzahl oder einen echten Typ sein kann, wenn ich im letzteren Fall meinen Ausdruck auf eine bestimmte Anzahl von Ziffern beschränken muss? Lange Rede, kurzer Sinn, sagen wir haben das folg...
27.02.2017, 15:49
1
Antwort

Fortran - Festlegen der Art / Genauigkeit einer Variablen zur Laufzeit

Ist es möglich, die Genauigkeit einer Variablen selbst zu einer Variablen zu machen, die zur Laufzeit definiert wird? Sprich, wenn ich versuche zu kompilieren: %Vor% Die Compilerausgabe ist: %Vor% Wie auch immer herum? Ich verstehe, dass...
10.05.2012, 01:47
1
Antwort

Wie kann ich die Genauigkeit für Perls Bignum einstellen?

Ich versuche, das bignum-Modul in Perl zu verwenden und die Genauigkeit einzustellen. Ich weiß, dass dies über einen einzigen Liner erfolgen kann, wie auf der CPAN-Seite des Moduls : %Vor% ... welches die Quadratwurzel mit 20 bis 50 Stellen...
25.01.2010, 22:57